罰則付き回帰スプライン？について

質問

スプラインを用いた回帰には，私が知る限り以下の3種類あるようです。

(1)回帰スプライン：全データ点を通るスプライン。残差平方和を最小にするように求める。
(2)平滑化スプライン：罰則によって滑らかにしたスプライン。データ点と節点の数が一致する。
(3)Penalized Regression Spline：(2)より節点数の少ないスプライン。

そのうちPenalized Regression Splineは，統計パッケージでよく使われているのですが（例えばRのmgcvライブラリのgam関数），求めるためのアルゴリズムがよく分からないため，詳しく調べてみたいと思っています。ところが，邦訳が見当たりません。

直訳すると「罰則付き回帰スプライン」になるのでしょうが，Googleで1件もヒットしません。

もし，何か情報をお持ちの方がいらっしゃいましたら，教えて頂ければ幸いです。

回答No.1

goma_2000 · ベストアンサー

日本語なら
『罰則付き最尤法』と『スプライン回帰』の
の2つで検索してみてください。

要は、最尤推定する際に正則化項を入れて解くモデルです。
正則化項として変動の大きさ（2階微分）を入れます。

補足

ご回答いただきありがとうございます。
行き詰っていたので、本当に助かりました！
まだ、検索結果に色々あたっているところですが、もしよろしければ追加でお伺いしたいことがありまして、補足を書かせて頂きました。

"Penalized Regression Spline"に関する現在の理解は、対数尤度-正則化項(罰則項)を最大化して求めたスプラインだということです。そうすると、一方の平滑化スプラインは残差平方和+罰則項を最小化して求めたスプラインと理解しておりますので、両者には少なくとも目的関数に違いがあると思います。

ところが、両者には別の違いもあるようなのです。平滑化スプラインがデータ点数と同数の節点を用いるのに対し、Rのmgcvパッケージに実装されている"Penalized Regression Spline"は、計算負荷低減のため、データ点数よりも少数の節点を用いるそうです。この節点の選択を、どのようなアルゴリズムで行っているのか、最終的に知りたいと思っています。

この点に関してもしご存知でしたら、教えて頂ければ幸いです。