아르바이트 후임자 구하기 전 그만둬도 상관없나요?

안녕하세요 프랜차이즈 빵집 알바생입니다. 경력자여서 수습시간 없이 바로 근로계약서 쓰고 일 시작했구요 주말알바라서 2주차인데 일이 생각보다 너무 바쁘고 힘들어 학생신분에서 병행할수가 없을것같아 더 늦기전에 그만두겠다고 사장님께 말했습니다(말한 날 화요일. 일은 주말알바) 2주뿐이 못했으니 인수인계할것도 없도 후임자구하기전까지 나오라고 사장님은 말씀하시는데, 통화과정에서 서로 감정싸움으로 번졌고, 다시 가고싶은 생각도, 갈 수도 없는 상황이 되어버렸어요. 그래서 저는 못간다하는 상황이고 사장님은 완고하고 강압적으로 저에게 이번주 주말알바하러 나오기를 원하시는 상황인데..솔직히 갈생각이 없습니다. 다시 연락 주시겠다 하고 전화끊긴 했지만 지금 제가 나올줄로 알고계시는것같은데..전화로 다시한번 얘기를 하자니 남의말을 전혀 안들으시는 분이라 대화로 풀 자신도 없고..알바당일날 되면 전화로 왜 안나오냐 하실텐데 당시 상황이 걱정이 되네요. 혹시라도 제가 받게될 불이익이 있을지 이런경우 어떻게 하면되는지 도움 청할데가 없어서 이렇게 글 남깁니다. 한마디로 정리하자면, 근로계약서(1년)는 썼구요 일한기간은 2주동안 (최저시급)이구 지금 전화로 일 못나간다 말씀드린 상황에서 무조건 이번주까지는 후임자 구할동안 나오라하시는데 제가 안나가도 법적으로 아무 문제가 없을지 여쭤보고싶습니다. 참고로 2주동안 일한돈은 주면 받긴하겠지만 굳이 그렇게 받아낼생각없어요..그저 제가 지금 원하는건 알바를 그만 두는겁니다. 빠른 답변 부탁드립니다. 긴 글 읽어주셔서 감사합니다.