普段の相手の態度や行動によります。元々信頼関係が成り立っているのであれば、別に気にしません。
黙って行かれたらなんだかイヤですけど、事前に言ってくれれば「そうなんだ~。行ってらっしゃい。」でお終いです。
あまり信用できない相手であれば、許せないかもしれませんが、その前にそういう人とは付き合ってないと思います(^_^;)。
私は異性の友達と飲みに行ったり、映画+居酒屋もよく行きます。
特に映画は、ジャンルや出演者によって、もしくは単に都合が合うからという理由で、誘う相手を選んでいます。映画だけでバイバイというのもそっけないので、映画の前なら食事、後ならお酒も飲みます。
私は後ろめたいことが無いですし、彼にも信用されている自信があるので、事前に「明日友達と映画観に行ってくるね。男の人だけど心配いらないから」くらいの報告はしておきます。