곰팡이 발견으로 인한 전세집 계약 파기 가능한가요? 잔금지급과 입주 전입니다.

주택 전세 계약을 했습니다. 집을 볼 당시 벽은 폼블럭 도배로 마감 된 상태라 육안으로는 곰팡이가 있단 사실을 인지하지 못했고, 이후 계약서 작성 시에 공인중개사 또한 '곰팡이는 없다'라고 구두로 말했습니다. (계약서에 곰팡이에 관한 부분은 기재하지 못했습니다.) 계약서 작성 후 계약금과 중개비를 지불했고 대출 신청을 위해 전입신고를 해두었습니다. 이후 잔금지급 전 셀프 도배를 위해 전세집에 들러 벽지를 뜯어냈는데 오래된 곰팡이들이 벽 전체에 걸쳐 피어있는 걸 발견했습니다. 사진을 보여드리고 싶은데...방치된 반지하나 방공호보다 심한 곰팡이입니다ㅠ. 단열벽지는 방수 재질이라 시멘트 벽의 곰팡이가 드러나지 않았던 상황이고요. 창틀 샷시 주변으로 시멘트 마감이 덜 되어 그 부분에는 더 집중적으로 곰팡이가 있던 상태고요. 급한대로 자비를 들여 락스와 곰팡이 제거제를 사용했으나 개선되지 않았습니다. 몇 업체에 문의해봤는데 이대로 합지벽지 도배를 해도 다시 벽지 위로 곰팡이가 배어 나올 수 밖에 없는 상태라고 하더라구요. 현재는 중개인과 임대인에게 잔금 지급일 전까지 곰팡이 제거와 재발 방지 시공을 요구해둔 상태입니다. 허나 비협조적으로 나올 우려가 큰 상황입니다. 만약 곰팡이 제거 및 재발 방지 시공을 임대인이 거부하거나 터무니 없는 가격만 보조해준다고 할 경우 계약 파기가 가능한지, 계약금 반환이 가능한지 궁금합니다.