건축물대장에 기재되지 않은 위법건축물 철거 비용은 누가 내야 하는지요?

건물을 매입했습니다. 저는 당연히 매입 후에 리모델링을 할 생각이었기 때문에 위법건축물을 원상복구해 줘야 한다고 얘기했고 특약을 넣었습니다. 계약서 특약에 <매도인은 대출이 원활하게 진행될 수 있도록 잔금 전에 위법건축물을 원상복구한다. >고 넣었습니다. 그리고 얼마 전에 건축사와 함께 건물을 다녀왔는데요. 건물 뒤편에 생각지도 않은 위법 건축물로 보이는 부분이 있더라고요. (계약 시점에는 뒤로 가는 문이 잠겨져 있어서 건물 뒤쪽을 보지 못한 채로 건물을 매입했습니다. )건물이 사각형이면 뒷부분이 똑 떨어져야 하는데 쪽방처럼 된 부분이 건물 뒤쪽으로 쭉 붙어 있었습니다. 제가 이 부분은 위법건축물일 것 같다고 철거를 요청하니 건물주는 대출 진행을 위한 대장상의 위법건축물은 모두 철거했으니 책임이 없다고 합니다. 이러한 상황에 건물주는 책임이 없는지, 대장에 없는 위법건축물은 제가 철거비용을 대야 하는지 궁금합니다.