精神面でのアドバイスについては、既に適切なご回答がありますので、法的問題に絞ってお答えします。
１ 刑事責任
準強制わいせつ未遂罪（刑法１７９条、１７８条）が成立します。
彼（Ａ氏、とします。）は、霊の話などをdoraemon007さんに信じ込ませて抵抗を著しく困難にし（「抗拒不能に乗じ」）、胸を揉むというわいせつな行為をしています。
もっとも、doraemon007さんは、胸を実際に揉まれたのに未遂なのか、と疑問に思われるかもしれません。
しかし、doraemon007さんは、彼が実際に胸を揉み始める前におかしいと気づかれたわけですから、その時点でＡ氏が意図した「抗拒不能」の状況は解消しています。doraemon007さんにしてみれば、おかしいと気づいても身の危険もあり逃げ出せる状況ではなかったということでしょうが、Ａ氏がdoraemon007さんに物理的危害を加える意図（故意）までもっていたかは疑問です（少なくとも、Ａ氏が否認すれば立証は困難。）。
そうすると、Ａ氏の欺罔行為とdoraemon007さんがＡ氏のわいせつ行為に応じたこととの間には因果関係がありませんから、未遂罪とせざるを得ないのです（例えば、被害者に毒薬を注射したら、被害者は、毒が全身に回る前に持病の心筋梗塞を発作を起こして死亡した、という事例を考えてみてください。）。
なお、準強制わいせつ未遂罪が親告罪［中略］であることは、Islayさんがご指摘のとおりです）。
２ 民事責任
Ａ氏のわいせつ行為を立証できれば、人格権侵害を理由に、不法行為に基づく慰謝料（民法７１０条）を請求することができます。
なお、いくら請求できるの？というご疑問がおありでしょうが、ケース・バイ・ケースです。本件の事実経過と、従前の請求事例からすれば、十数万円程度でしょうか。安すぎる！とご不満でしょうけれど。
また、Ａ氏が今後も同様の手口でdoraemon007さんへの接近を繰り返し試みる場合は、面談強要禁止の仮処分や、ストーカー行為等の規制等に関する法律６条１項所定の仮の命令により対処することができます（この場合、会話内容を録音しておかれれば、有力な証拠が獲得できます。お辛いでしょうが。）。
３ 社会的制裁を加えることはできないか？
今回の件を他人に公言することは避けてください。
そうでないと、逆にＡ氏から、名誉毀損を理由とする刑事上（刑法２３０条１項）及び民事上（民法７１０条）の責任を追及されるおそれがあります（doraemon007さんのおっしゃるとおりの事実経過が立証できれば、免責（刑法２３０条の２）されます。）。
Ａ氏に対する責任追及は、たとえ証拠を獲得できたとしても、上記１の刑事告訴や、同２の民事責任の追及に止めておかれるのが無難です。
以上、実際に上記のような責任追及手段をおとりになるかどうかはdoraemon007さんがご決断になることですが、知っておかれるだけでもきっとお心が休まると思います（そう願っております。）。
ご疑問がおありなら、補足をお願いします。
お役に立てば幸いです。
お礼
早速の回答ありがとうございます。 でも私も馬鹿だったなあと思いつつもその人を見るたびに 複雑になるんです。何の悪びれもなく、と。