いくつか考えられますね。
他の回答者さんも仰ってる、質問者さんに好意があるとすれば、判りやすい嫉妬心ですね。
「男」の動機とすれば、これが最も一般的ではないか?と思いますよ。
裏返すと、ホモセクシャルで、男性社員に気がある可能性も無いとは言えませんけどね。(^^:)
でも、それは無い!とすれば、引き続きまずジェンダーの問題として考えますと、男として非常に狭量と言うことになってしまいます。
質問者さんへの恋愛感情など無くとも、とにかく自分以外の男が、女性と会話している姿を見るのがイヤ!と言うことですから。
あるいは、古い人ですと「男女七歳にして席を同じゅうせず」みたいな考え方の人もいますが・・・。
ジェンダーの要素を省いて考えますと、単なる自己中なのかも知れません。
会話の中に、自分が存在しないことがイヤ!とか、会話に加われない状態がイヤと言う、仲間ハズレ的な不快感ですね。
上司としては、幼稚過ぎる動機ではあります。
これらは上司の主義・主観・感情ですから、どうしようもないです。
ジェンダーの問題ではないとしますと、質問者さんか、その男性社員に対し、何等かネガティブな感情がある可能性が考えられます。
極論しますと、質問者さんのコトが嫌いで、声が聞こえるだけで不快とか。
あるいは、会話の内容自体に、不興の原因がある可能性もありますね。
たとえば「そういうコトは、オレに相談しろよ!」などと考え、勝手に不快になってるのかも知れません。
いずれにせよ、豪胆な印象は全く感じませんし、むしろ概ね狭量で、猜疑心が強かったり、神経質な人格では?と感じます。
やや特殊で幼稚(?)な人格の様ですから、上司とは言え、そういう特殊性に引っ張られず、あまり気にしない方が良いでのはないでしょうか?
お礼
確かに無駄話として聞こえると苛立つのも分かりますね。会話と言っても仕事の話しだけなんですが…、楽しそうに話していたら無駄話として見えてしまうのでしょうか?