まったくの更地に建物を建てると、更地ではなくなった分だけ土地の価格が下がります。これを建て付け地減価といいます。
これとは別に「土地を借りる権利」つまり借地権が建物が住居の場合には発生しますが、土地の使用貸借の場合には発生しません。
土地評価をする際に借地権価格の控除をするのですが、使用貸借の場合には認めません。既述の建て付け地減価分が土地価格から控除されるレベルです。
家賃などは親戚だから払わない、貰わないが固定資産税だけは負担するという場合でも使用貸借契約です。
売買価格相場が3千万円の土地を、タダでもらったというなら贈与税の対象になりますが、今回は土地の使用貸借ですから贈与税の問題は発生しません。
また、仮に贈与税がでるとしたら家を建てた人に課税されます。
元々贈与税は「貰った人」に課税される税金だからです。この点誤った回答があるようです。
ところで、土地の上に建物とくに住居が建った場合には、権利関係が複雑になります。
使用貸借なので借地権など認めないわけですが、では土地所有者がその建物を自由に取り壊しできるかというとできません。
建物は自分のものではないからです。
貸す人間と、貸してもらう人間の間では充分納得していることで「ウダウダいう気は無い」ことですが、数年数十年後に問題になる可能性が大きいです。
土地を相続などで得た者(子や孫)が、どうしてじいちゃんの土地なのに、他の伯父さんが住んでるの?出てってもらえないの?という話題が出ます。
使用貸借ではなく賃貸借契約を結んでおくべきでしょう。
「今使ってないから、賃料なんていいから、固定資産税だけくれよ」という貸し借りは、多くの場合「揉め事の種」になることを知っておかれるべきです。
とりもなおさず「借地権」という権利が発生するからです。
兄弟だから親戚だからと安易に家を建てさせてしまうと、自分の土地なのに自由に使えないので、困ったということになります。土地は貸すぐらいならやったと思えという言葉があります。
今回も「やった」と思うほうがいいかもしれません。すると贈与税が発生しますね。