心配なのですね。
うーんでもどうでしょうか。車に女性を乗せるのは別に浮気でも二股でもないと思いますが。
というのが男性の言い分。さらに二人で食事してもやましい関係で無い事も大いにあります。同じ職場ならさらに。関係があるなら二人で行動するところを見られないように現地集合とか，ホテルで待ち合わせとかにするかも知れないですよね。
まず男性目線で言えば，この程度で浮気とか二股とか言われる時点で引き気味になってしまいます。ちょっとこの女性束縛が激しすぎるのではないか？と感じるからです。しかもキッパリ否定してもそれを信じないので，ああ信頼関係も無いなぁ。となりつつあるのではないでしょうか。
つまり，質問の答えになってないかもしれませんが
二股をしていなくても，あなたとはちょっとこの先無理かも知れない。
と言った言葉が彼から出てくる可能性があるなぁと，同年代の男性として思います。そしてそれはすべてあなたの対応が原因です。
またもし50代女性と関係があったとして。その場合達が悪くて。
50代の女性はあなたと彼が付き合っているのを知った上でやっているわけですから，彼は50代の女性は切りません。切る必要がないのです。
したいときにすれば良いからです。50代女性からすれば30代女性よりも上の立場で，つまりある意味心理的に上から目線であなたを見ているわけですから，楽しくて仕方がない状態です。優越感が強いでしょうね。
30代であれば男性は自分のものになるという感覚がまだ強いと思いますがあと10年も立つと男性との関わり方が変わってきます。50代の女性に独占欲はありません。面倒くさいからです。あるのは性欲と，自分を女と認めてくれる男性の必要性だけ。彼がそれを同時に満たしてくれれば，しかもあなたよりもお前の方がいいよ。と口だけでも言ってくれれば満足ですので，
そう考えると両方のケースで
どちらにせよあなたから先に切られてしまう可能性が高い気がしました。
そうならないために誤解だったね。ごめんね。といって一旦許してあげるのが一番いいと思いますよ。まだ彼のことが好きなのであれば。そして振られるのが嫌であれば。
お礼
回答ありがとうございます！何度も勘違いだと言われました。ちゃんと話がしたいと…でも、2人で会う事自体有り得ないと思うし…狭い職場で、バレてしまっても隠れて連絡とったり、会ったりする事ありますかね？私とそのパートさんはよく話す仲です。そのパートさんは、私と彼が繋がっている事を知りません。