質問者様の状況と違うかもしれませんが、私の経験した例を思い出して挙げますと、
知人が私を全く無視して私の横にいる人と話し続け、口を挿んでも何の反応もないか、顔も向けずに五月蠅そうに「違う」とか言われたりする時、自尊心を傷つけられ、腹が立ったりします。
会議や講習の場で私が発言した時、他の発言者に頭ごなしに「それは違う」と言われ、本当は違ってないのに、何故違うのか説明もされないまま、私に発言する資格がないかのように扱われた時、自分という存在を無視されたようで腹が立ちます。
後で考えて見ますと、自分に原因は無いように感じられます。
私に不快な思いをさせた起因者は、けっこう日頃から自分勝手な性格の人物で、常に自分中心に物事をすすめる人が多いようです。
不思議なことに、本人は決してそう思っていないのですが、周囲の人達はそう思っている人が多いようです。相手や周りの人に常識程度の気配りもできない人が多いようです。
そうでない場合は、本当に精神的に追い詰められた状態で余裕がなかったようでした。
そんな場合は後から事情がわかったりしました。
私は当たり前のことですが、気にしないようにしています。
自分としては、礼儀に悖らない行動を取っているからです。
世の中には、ずいぶん失礼な自分勝手な人がいるんだな、また出会っちゃったと思います。
そんな方とは、当然ながら、それなりの付き合いしかしません。
ただ、本人に自覚がないので、あるいは初めから悪意を持ってやっているので、そのことを荒立てたりはしません。
そっちがそのつもりなら、わかったよ、こっちもそのつもりで行くからと思います。
自分と関係のない人間だと思えば、少しは腹の虫も収まります。
世の中すべてのことに悩む時間も必要はありませんから、自分にとってもっと大切なことに集中するようにいたします。