성희롱 인신공격, 막말을 들었는데 증거가 없을 땐 어떻게 해야 할까요?

공무원이고 5월에 시도 교류로 전남에서 전북으로 왔습니다. 온 날부터 해서 행정과에서 근무하는 사람이 제 서류를 볼 권한도 없는데 한 장 한 장 다 살펴보고 제 몸무게부터 해서 근무평가점수랑 마음 진료 청구 한 거까지 전무 소문 퍼트려 놓고 제가 일하는 센터에서는 근무평가가 곧 승진이기 때문에 저를 이간질시키고 사람을 죽였다는 둥 전남에 아는 직원한테 전화해서 제가 전남에서 이상한 소문(임신, 낙태)에 시달린 걸 알아와서 센터에 퍼트렸습니다. 또 첫날부터 구급차에 같이 탄 남자 반장이 구급차만 타면 나랑 자자는 성희롱을 서슴없이 했고 저는 그만하라고 수차례 말했지만 멈추지 않았습니다. 자기는 좋아해서 그랬답니다... 중요한 건 저에게는 녹취록이 없고 그 이후에 제가 저능아 아니냐고 욕 한 부분을 상대방이 녹음하고 저를 고소하겠다고 하였습니다. 이 경우에 저에겐 아무 증거가 없는데 어떻게 해야 하나요??... ㅠ