공장월세 미납으로 인한 건물주의 강제철거

현재 공장세가 보증금을 넘어선 미납으로 인해서 공장주와 갈등중입니다.. 모든 잘못은 본인에게 있어 할말은 없으나.. 궁금한점이 있어 상담드립니다. 공장 월세 미납으로 인한 공장주와 갈등중 최대한 협의해서 다달이 두달치씩이라도 보내주기로 하고 약속을 이행 안했을경우 공장주의 뜻에 따르겠다 라는 "이행각서" 까지 작성해준후(공증같은거 없음..) 수습을 했습니다.. 문제는 이달말까지 약속을 했으나 문제가 있어 일부금액이 모자라서 100%이행이 어려운 상황에서 공장주가 강하게 나올꺼 같습니다.. 이부분은 제가 감수해야죠... 궁금한점이 제가 이행각서까지 작성해서 건내줬는데.. 그 이행이 안될경우... 공장주가 명도소송 들을 거치지 않고 바로 공장으로 들어와서 물건들을 다 들어내고 공장문 막고 잠그고 하는게 법적으로 문제 없나요..? (말그대로 공장주가 다때려부순다고 장담을 해놓은상태입니다.) 한쪽에서는 이행각서를 써줘서 공장주의 행동에 동의를 한거니까 공장주는법적으로 문제없다... 한쪽에서는 아무리 그래도 명도소송을 통하지 않고 하는건 불법이다 라고 하는데..어떤것이 맞는것인가요?