もうひとり女性が居たのが微妙に判断を鈍らせますね。
つまり、あなたに最低、不倫とかありえない。という言葉がでてきたら、二度と関係を持てない。という判断基準になるのでしょうけど、そのような会話のやりとりで、もうひとりの女性があなた達二人の関係を疑う可能性を彼はなぜ排除しなかったのか？というのが疑問です。
可能性としてはいくつか想像できますよね。
もうひとりの女性とも実は関係をもっていて、彼としていたずらごころが芽生えてしまった。まあこれは真面目に考えると地獄絵図ですが、例えば今もうひとりのほうと関係をもっていて、その女性がかなりのひとだと、あなたと彼が関係をもったことを知っているので、その会話さえ優越感をもって聞いていたという可能性です。男性の中には自分に近い距離の女性に手をだし、しかもその女性の中にはあの人よりも私が上。といった変な優越感を楽しむ変な人がいるので、時々こういった混沌とした状況が起こりえます（ないと信じたいですね）
もう一つは、あなたが、その一回の関係をどう持っているのかを確かめたいという思いが強すぎて、もうひとりの女性のことなど考えられなくなっている。
これは性欲がかなり支配しているか、状況がわるいと思っているのか（あなたの関係はかなり強引で、同意を得られていない可能性もあるなど）そのへんは詳しくはわかりませんが、焦って出てきた言葉の可能性です。
最後に、これはエロオヤジと言われる部類の人ですが、ちょっとしたエッチなネタ、エッチな状況を匂わすようなことをいうと女性は喜ぶと思っている人種。
今回は不倫、ホテルでのエッチを言葉にすることで、二人の女性が喜ぶと思って話を振った。どっちもがドン引きしたら嫌ですが、一人は自分とエッチしてもいいと思った人なので、きっと会話についてきてくれると思っての振りの可能性です。
上述の通り、あなたが不快な思いをするとは一切考えられず、普通に味方として同調して会話を合わせてくれると信じているか（だから手をだした）、あのときは強引だったけど、もう許してくれているだろうか？という探りに必死だったのか、どちらかの可能性を強く感じました。
ご参考までに
