わいせつかどうかはさておき、民法上の解釈で回答させて頂きます。
まず、質問者様の金銭消費貸借契約は公序良俗に反するため、無効です。
これは、NO1さんの回答にも触れられてありますが、民法90条(公序良俗に反する事項を目的とする法律行為は無効とする。)によるものです。例、妾契約・闇金・賭博などに関連した借金・・・
さて、ここからですが、通常、契約を「解除」した場合は現状回復義務といって債権者は借用書を相手に返却し、また債務者は金銭を返却しなければなりませんが、
質問者様の場合、貸し付けた金銭は法的には戻ってきません。
理由は民法708条不法原因給付(不法な原因なために給付をした者は、その給付した物の返還を請求をすることができない)という規定に触れる為です。
なぜこんな規定があるのかというと、わざわざ自分から違法な行為をしておいて、いざ自分の為に法を主張するのは図々しいという主旨です。
結論としては、契約自体無効ですし、法的に貸し付けた金銭の返還請求をすることは違法です。
お礼
回答ありがとうございます。 相手にしてみれば担保が無い為にそういう事を 言っていると思うのですが うかつに話しに乗ると痛い目に会うって事ですね。 気をつけます。