陰口というのは地位のある人間のあることないことを陰で言うことです。
たかだかバイトがそれに当たるわけがありません。単なるうわさ話です。
誰かが私のことを悪く言っている、いやだあというのが退職理由として全うかどうかは自分で考えてみてください。そういう勤務態度の人間がどう思われるかを想像すべきです。
ただ、それは別として、やめたいという事情が発生したのであればやめることは仕方がないことです。それぞれが家庭にいろいろ事情を持っていますので。
だから、やめます、はやめます、で通ります。しかし、シフトのサイクルがありますので、よほどのことがない限り今日そういって明日からこない、というのは常識人のやることではありません。やめたいと表明して、いつから、というのは相談することです。
そのときに同僚のおばさんの悪口なんか言うと、あなたの品性が疑われるだけです。
補足
最近雇用契約更新してしまったのですがそれでもやめれますか?