월세 가계약 해지 시 위약금 문제 해결 방법

안녕하세요 보유중인 아파트를 월세로 내놨다가 들어오신다는 세입자분이 있었습니다. 그 세입자분이 월세 보증금 1억원중 10%인 1천만원을 먼저 입금하셨고 이후 이사날짜와 도배 진행 유무 , 간단한 자가 집수리 승인등등 집주인인 저희와 조율하셨고 서로 맞췄습니다. 다만 그이후(계약금 입금 받은 약 5일 정도 이후) 저희가 사정이 있어 월세 계약은 없던걸로 하자고 양해를 구했습니다. 인터넷도 찾아보고 했을때 상호간에 계약서를 작성( 계약서를 언제 쓰자는 얘기는 했으나 아직 작성전) 했거나 문자 , 혹은 구두로 위약벌에 관해 논한적이 없으면 받은 계약금만 돌려주면 된다고 하여 저희는 계약금을 돌려드리고 저희 사정으로 인한 취소이니 도의적으로 주셨던 계약금의 10% 보상금 드리겠다고 제안했으나 상대방은 변호사 통해 자문 받은 내용이라며 상호간 계약서 작성은 하지 않았지만 계약금 금액이 일부가 아닌 보증금의 10%인점 , 계약서 작성일 협의 , 특약사항 , 잔금일 , 내부수리 , 입주일등 위 사항을 구체적으로 협의한것으로 계약은 체결된것으로 봐야 한다는 자문을 받아 2배인 2천만원을 받아야 하지만 서로 분쟁하지 말고 500만원의 위약금을 요청하는 상태 입니다. 저희가 10%인 1천만원을 요청한적도 없으며(본인들이 그냥 책정해서 입금함) 계약서 미작성 및 위약벌에 관해 논한적이 없는점등을 토대로 저희는 그 금액을 주고 끝내는게 좋은건지 소송까지 불사해야 하는것인지 궁금합니다.