분양권 다운거래와 잔금 관련 상담

11월 초 분양권거래를 다운계약하기로하고 계약금 4000만원 입금했습니다. 프리미엄 8000만원 양도소득세 1100만원 총 9100만원 하기로했습니다. 계약신고는 2천만원만 프리미엄 신고하고 프리미엄 6000만원 + 양도소득세 1100만원 총 7100만원 현금 지급하기로했습니다. 그런데 처음부터 너무비싼거 같아서 계속 깍아달라고 하는데 안깍아주고해서 지금 시세도 더싸게나오기도 하니 아까워서 솔직하게 잔금날 7100만원을 안주고 남은 계약서상 금액은 계좌 지급후 5000만원만 현금으로 주고 이 이상 못준다고 하면 제잘못으로 계약파기가될수도있나요.? 어차피 불법인데 배째라는식으로 밀어부치면 제가 불리하게 계약 파기가될까요...?