사내 불륜도 징계 사유가 되나요?

대기업에 다니고 있는 팀장입니다. 이혼 소송 진행 중에 회사 같은 팀 부하 직원과 외도를 했습니다. 현재는 이혼이 마무리된 상태입니다. 외도 상대방과의 불륜 관계 역시 현재는 종료된 상태입니다. 저는 팀장이고 외도 상대방은 제 팀원이었는데 불륜 관계가 종료되면서 그 팀원은 개인사유로 퇴사를 했습니다. 참고로 그 팀원은 퇴사 이후 지속적으로 저를 스토킹하여 현재 구치소 수감 상태로 재판을 기다리고 있습니다. 이 경우 회사에서 저와 퇴사한 직원의 과거 불륜 사실을 이유로 저를 징계할 수 있나요? 저를 스토킹하던 그 직원이 석방 이후 저와의 불륜 관계를 회사 사람들에게 폭로하거나 인터넷 등을 통해 발설하는 등의 보복을 할 가능성이 높아 걱정됩니다.