実は、「過去分詞」というのは、表面だけ判断しただけの名称なんです。つまり、形が過去形に似ているという理由だけでつけられたんです。でも、古い時代の英語を読んでもらえばわかるように、過去形と過去分詞とはちがった形態を持っていました。まさかとおもったら、ドイツ語を見て欲しいのです。ドイツ語は英語の古い形を保っているので、それをみて、古い時代の英語の姿を思い浮かべていただけばいいのです。
つまり、本来の過去分詞は ge + 過去形 という組み合わせでした。しかし、英語の歴史を読めばわかるように、いろいろな民族が英国を侵略した結果、英語も単純化にされてしまったのです。たとえば、バイキングの侵略、ナポレオンなどの侵略など。。。
ですから、正しくは、「完了分詞」です。どっちも、P.P.です。つまり、perfect participle が正式呼称で past participle と思いこんだ人は英語の歴史を知らない人と思われても仕方がないのです。
さて、「完了分詞」のイメージですが、意味からわかるように、「何かしらの行動が終わった結果の余韻」を表すものです。わかりやすく言えば、「a deep kiss」を単純に過去形にしただけでは、「こんなここともあった」という思い出に過ぎませんが、have + p.p という形式だと、「うゎあ・・・、ものすごい、熱烈なものだったなあ・・・」と現在の気持ち（余韻）を感じる様を述べていることになります。
わかりやすく言えば、「経験、感想、一つのまとまった体験」を表すのに、分詞の形で作らないといけないのです。動詞はある時点だけ、発生した事柄だけ述べるものなので、「have + 動詞」という言い方では、思い出を述べることは出来ないのです。
なぜなら、「経験する」ということは、目の前の事柄を過去にしない（完了する、完了させない）と出来ないことだからです。たとえば、ジェットコスターに乗っているときは、無我夢中で何が起こっているか?を説明できないはずです。つまり、経験できない。。。だから、ゴールに着いてから、つまり、行動を済ませない限り、その感想を述べることは出来ないことを思い出して欲しいのです。
「怖かったなあ」という気持ちを述べるためにも、「いま持っている：has, have」との組み合わせが必要です。しかし、現実には、make, get, keep, like, want などの動詞との組み合わせがありますが、ここでは、「have」との組み合わせの例だけ述べます。詳しくは、他の回答を見てくださいね。
お礼
「現在完了は過去分詞の～」のくだりは私自身がそうではないのかな？と感じたので子供たちに教える時に（中学生）そういう風に説明しています。