오피스텔 부가세 환급금 문제 해결 방법

안녕하세요, 오피스텔(업무용)을 투자 목적으로 구입하여 임대를 주고 있습니다. 임대를 줄때 임대차계약서에 늘 전입신고는 안된다고 적어놨고 임차인들과도 합의가 된 부분입니다. 하지만 이번 임차인께서 외국인 지인이 거소 신고를 해야해서 제 오피스텔을 주소지로 적었습니다. 임차인께서는 알아보셨을 때 출입국사무소에서의 거소신고와 전입신고가 다른거고 문제가 되지 않을거라고 생각해서 외국인 지인에게 가능하다고 하셨는데, 얼마전에 오피스텔 매매 당시 받은 부가세 환급금을 다시 돌려내라고 하는 고지서가 왔더라고요(주거용으로 사용된게 확인이 되어). 세무사들 몇분을 만났는데 다 어쩔 수 없이 제가 토해내야한다고 하셨는데, 변호사 분들의 조언도 듣고 싶습니다.