부동산 임대차 계약 해지 가능성과 소음 문제 대처 방안

제가 임대인이고 계약해지를 해보려고 합니다. 새로입주하신 세입자분이 약간 소리에 민감하신 분인데 처음에는 아래층 분과 층간 소음 관련해서 조금 트러블이 있었습니다. 두 세입자 분 모두 저에게 중재를 요청하신터라 이야기를 들어보니 아래층분은 생활소음 수준이다. 일부러 소음을 내지도 않을뿐더러 여태껏 윗집집에서 층간 소음으로 항의 받아본 적이 없다. 심지어 자기는 윗집 소리 그냥 그러려니 산다. 하시네요. 새로이사오신 분은 모든게 다 소음이다라고 주장하시는 상황입니다. 문닫는 소리, 윗층 소리, 심지어 저주파도 들리는데 아랫집에서 자기를 내쫒으려고 일부러 소리를 내고 있다고 하시네요. 그런데 일이 터진게 윗집집분이 보복소음을 내시기 시작하신겁니다. 24시간 내내 티비소리를 끝까지 키우세요. 당연히 다른 세입자분들에게도 연락이 왔고 저는 티비 소리를 좀 줄여주시면 좋겠다. 라고 말씀드리니 들은체도 안하시네요. 그러다가 결국 경찰까지 출동하고 난리도 아니였습니다. 윗집 분은 경찰 신고자가 누구나며 저에게 항의를 하시는데 저도 홧김에 그러실꺼면 나가라고 싸웠습니다. 그러니 윗집 분이 법대로 해라. 난 잘못한게 없다. 임대인이 나가라고 하면 좋다. 이사비용이랑 위자료 피해보상금 다 내놔라. 아니면 소송걸겠다. 라고 협박 받는 중입니다. 그래서 전세대 계약서를 확인해보니 특약사항에 소음관련 문제 발생시 당사자간 원만하게 협의하여야 하고 민원 발생시 임대인이 퇴거를 요청할수 있다. 라는 문구가 적혀있었습니다. 전후 사정은 모르겠지만 신고하신분(다른 세대 거주하시는분)이 신고처리내역서? 이런걸 저한테 보여주더라구요. 경찰 방문시 윗집 분이 경찰분의 이야기를 묵살하고 오히려 더 소리를 키웠다고 적혀 있습니다. 이내용이면 윗집분이 고의로 소음을 내는 증거가 되나요? 저한테 증거로 쓰라고 주신다는데 이걸 이유로 계약해지가 가능한가요? 보상금이고 뭐고 그냥 나가주시면 좋겠습니다. 참고로 경찰 출동횟수만 벌써 4건 이네요.