帰宅中、家までついてくる友人
いつもお世話になっております。
最近、学校（高校）の授業が終わり、私が帰宅するとき、友人の一人が私の家までついてきます。
なにか用があるの？と聞くと、「暇だから」と言います。
彼は学校の休み時間にも私の席付近にきて、なにかと話をしてきます。
他の友達と話や相談をしたいときも私の後ろをついてきて私たちのグループに入ってきます。
正直この状態では他の子に相談やら身内の話もできないし、困っています。
彼は学校にあまり友人がいないらしく、私たちのグループからもあまりよく思われていません。（空気が読めないところがあるので）
私は特に嫌ったりするわけではありませんが、彼とは趣味とかも合いませんのであまり話が盛り上がったりしません。
彼からはその日のニュースなど世間話です。正直あまり面白くありません。
そして最近、帰宅しようとすると私の家までついてきます。
なにか話すことがあったり用があるならまだしも、特になにもないようで私がさよならを言って家の中に入るとそのまま帰るようです。
彼の家は私とは正反対で学校の校門から出ると方向的には私の家が右、彼の家は左の方向です。
一度、「どうして私の家の方にくるの？家正反対じゃん」と言ったのですが、暇だから、とか用があるから、などといわれて終わりでした。
私はどうすればよろしいのでしょうか。
一緒に帰宅していても、世間話や彼少し電波系なので意味のわからない言葉を並べてきたりして正直疲れます。
学校で散々話を聞いて、帰りもか！みたいな感じです。
違う友人に相談しましたが、「あいつは馬鹿だから無視したほうがいいよ」とは言われましたが、相手から話掛けてきてくれるのに無視はできませんし、あまり彼に強いことを言いたくはありません。
学校での関係は別に大丈夫ですので、家についてくるのだけやめてほしいのですが、なにか良い方法はありませんか？
あまり強く言ったり、相手を悲しませるようなことはできるだけしたくないです。
あと親とか警察とかはなしでお願いします。騒ぎを大きくしたくありませんので。
良い方法を御伝授してください。
皆様のご回答お待ちしております。
他にも足りない事がありましたら補足しますのでお願いします。
お礼
回答ありがとうございます！ 助かりました