>一度しか会ったことのない男性から、2人で飲みに行こうと誘われました。
これって恋愛対象に入っていますか？
↓
本人にしか分からない＆知り得ない（場合によっては、本人にも分からず、知り得ない）深層心理の問題だと思います。
また、刻々と心は揺れ動き、誘った時の気持ちと今現在の気持ち「好意ｏｒ下心」、さらには貴方の返事次第での心境の変化は、誰にも予測出来ません。
しかも、質問文の中に有る程度の分析と答えが出ているように思います。
◇一度しか会った事がない ・・・お互いを余り知らない、性格や趣味や価値観とか感性を知り得ない、好意好感からの誘い・デートの申し込みなら、飲みに行こうとは結び付かないと思います。
◇2人で飲みに行こう ・・・最初のデートならば、貴方の希望や相談しての提案に成る、デートの後で飲みに行くなら流れで成り行きで有り得るでしょうが、最初の誘い＆提案が飲みに行くなら、下心（モノにしよう＆落とせそう）やダメ元のナンパ的な発想の確率が高いのでは？
広い意味なら恋愛対象や恋愛に進展する可能性もあるでしょうが、動機や目的や心理状況を推測すると、真剣な真面目に恋愛対象に対する態度・アプローチと言うよりは、思い付き・ダメ元の引っ掛け・性欲求の下心を持った仕掛けと見るのが妥当な判断ではないでしょうか？
ポイントは貴方の相手への気持ちだと思います。
リスクは大きいけれど、好印象をお持ちで進展すれば良いと思っておられるなら、思い切って誘いに乗るのもアリですが、迷いがあったり下心（つまみ食い・セフレ・後腐れの無い関係）に警戒心があるなら、他の機会＆場所を逆提案したり、辞退しての相手の出方・態度をウオッチしてからの判断でも、誠実な恋愛対象と考えての誘いならば分ってくれるはず遅くはないと思います。
