これから絶対回復不可能ということまでは言えませんが
今の時点では脈なしだと思います。
よほどあけすけな方でなければ、職場なら断ったからこそ
エチケットとして笑顔を心がけるのが普通だと思います。
私も若い頃90%以上男性の職場にいてそういう事も多かったので
次以降その相手に会う時は特別気合いれて笑顔してました。
気まずくなる…これは、何回か断って更に誘われて嫌になって、とか
自分は意思表示をしてるのにわかってくれないとか、
そんなのに限るでしょう。
もしも誘ってくれて嬉しいならば、よほど内気でない限り、
次回誘える権みたいな、意思表示をしてくれるはず。
「えー!その日じゃなければいいんですけど残念!今度他の日に」とか
「すごく嬉しいのに・・・○○でダメだわー・・次回必ず」とかです。
いきなり2人は困るけど、少しずつだったら・・・と考えたら
「今回ダメですけど、一回○○のときに△△さんたちと一緒に食べに行きたいですねー?」とか。
それ以外は、嫌いとか永遠に可能性無しではありませんが
今は特にお付き合いしたい意志がないんだと思います。