本来、仲介業者を通す方が取引上安全だとは思います。
まずは、買主と条件調整のうえ、売買契約書を作成しましょう。
物件の概要、売買価格、支払方法、引渡時期等の他に、ローンの融資承認が出ない場合はどうするのか？引渡後雨漏りが見つかったらどうするのか？引渡前に火事になったらどうするのか？買主が測量してみたら登記簿の面積より小さかった場合はどうするのか？それらは永久になのか、期日を決めるのか？・・・等、考えていくと色々なリスクがあることに気が付いていただけると思います。
買主の住宅ローンについても契約書がないと審査できないと思いますし、まずはここが出発点です。
次に売主の責任として、抵当権を残すわけには行きませんので、公庫と銀行の抹消手続きが必要になります。何月何日に残債を支払うのか？が前提で残債を計算しますのであらかじめ概ねのスケジュールをくんでおく必要があります。
また買主の利用するローンの融資承認がないのに抹消をはじめても意味がありません。ここら辺のスケジュールや具体的な流れ（いつ、誰が、どのような方法で支払い、抹消の書類がいつ、どのように受け取れるのか？）をあらかじめ把握・確認しておかないと、当たり前ですが買主の融資も実行されません。ということは売主としても抹消も出来ません。
特に公庫がからむと間に金融機関を挟む分、話がややこしくなるので、登記をする司法書士を決めて、この辺は調整してもらうと良いかもしれません。
なお、譲渡所得についての基本的な考え方は、売った価格－買った時の価格ですから、マイナスになっていればかかりません。
