위반건축물 전세계약과 대출 문제, 어떻게 해야 할까요?

2억 전세집에 대출 받는 조건으로 대출 조건인 5% 1천만원 지급하고 계약서 작성했습니다. 특약에 아래와 같이 넣어놨습니다. ‘전세자금대출건으로 대출불승인시 계약금 전액 반환하는 조건임(단, 임차인 변심 제외)‘ 계약서 작성할 때 일반건축물대장을 보니 노란색으로 ’위반건축물‘ 이라고 써있었는데, 제가 이게 뭔가요? 라고 물어보니 중계인이 해결 가능한거라 말씀하셔서 무지하게 1천만원 + 중계수수료까지 다 입금했어요. 집에와서 아무래도 찝찝해서 인터넷 찾아보니 위반건축물은 절대 들어가면 안되고, 대출도 안나온다더라구요… 잠도 못자고 다음날 문자로 위반건축물인데 어떻게 대출이 가능하냐 물어보니 바로 전화와서 ‘다중주택 취사시설(싱크대, 인덕션) 넣은 것 때문에 위반건축물이 된 건데, 건물주가 건축하는사람이라 싱크대랑 인덕션 없앤 뒤 구청에 다시 허가 받은 다음 다시 설치해줄거다. 그렇게 되면 본인이 계약하는 집은 위반에서 제외될 것이라 대출 가능하다. 대출 받을 곳도 본인이 지정해주는 은행이 가면 부지점장이 안내해줄거다’ 라고 하더라고요. 일단 알겠다하고 전화 끊었는데 아무리 생각해도 불안하고 초조해서 이 집 계약을 더이상 진행하고 싶지 않아요. 이렇게 들어가면 나중에 제가 나갈 때 세입자 찾기도 힘들 게 보이고, 전세사기 당할 것 같은 느낌도 강해서 대출 안되는 위반건축물이니 계약금 돌려달라 말하고 싶은데 ‘전세자금대출건으로 대출불승인시 계약금 전액 반환하는 조건임(단, 임차인 변심 제외)‘ 부동산에서 본인이 소개시켜주는 은행가면 되는데 너가 대출 진행도 안하고 파기하는거니 임차인 변심 제외 라고 말할 것 같아 도움을 구하고 싶습니다. + 추가) 계약 전 집 볼때부터 저는 청년버팀목전세대출 받을 것이라 말했고, 제 연봉과 갖고 있는 현금 물어보더니 2억짜리 전세집을 1.6억 대출 받을 수 있다. 은행도 우리은행 oo지점으로 가면 된다 라고 말하며 특약도 넣어주겠다 먼저 말했어요