「ｙａｈｏｏ」や「ｇｏｏ」の検索サイトについて

質問

「yahoo」や「ｇｏｏ」みたいに検索サイトを作ろうと思ったらなんていうプログラムを勉強したら宜しいと思いますか？
　「yahoo」みたいなのは絶対に作れませんが、「YAHOO」を何千万分の１に小さくしたぐらいのを作りたいと思っています。
　例えば自分のサイトに他業のサイトをリンクを貼ってあげて、自分のサイトから検索したらその貼ってあげている業者のサイトの内容も絞りだすみたいなものを作りたいと思っています。
　説明がわかりづらくてすみません・・（汗）
　何か思い当たるプログラムやそれならこれを勉強したらいいというプログラムがありましたら教えてください！

回答No.6

Dpop · ベストアンサー

#5 です。

> もし、DpopさんにNO.5の教えてもらった内容をするなら、一番最初に説明された「Perl 」や「LWP」は最低でも学習した方がいいのでしょうか？

話しを訳で考えましょう。

まず、ランダムに広告を表示する機能を
持たせるためにも、Perl などの言語を
習得していて、しかも、ある程度の習熟度に
なっていることが必要になってくると思います。

簡単な CGI を自力で10ページ程度は、
作成した位の実績があれば良いと思います。
不明点がでてきたら、らくだ本を参照したり、
端的に質問ができる程度の知識があると
ベストです。

プログラミングPerl(俗称、らくだ本)
http://www.oreilly.co.jp/BOOK/pperl3v1/
http://www.oreilly.co.jp/BOOK/pperl3v2/

また、Perl などの言語の知識だけでなく、
HTTP プロトコルについても、
ある程度の知識が必要になるでしょう。

そう言った知識は、市販の CGI の解説書を
参考にして頂ければ良いと思います。

LWP が必要になるかどうかは、
検索エンジンの仕様によります。

goo や google の様な、ロボット型の
検索エンジンを目指すのであれば、
検索エンジン自体だけでなく、
ページ情報収集ロボットを開発する必要が
でてきます。
そのページ収集ロボットを開発する上で、
LWP が絶対必要になります。

検索ロボットを使用する検索エンジンでは、
ページの収集はロボットによって
自動的に行われます。
goo や google の様に多くのページを収集する必要のある
検索エンジンを目指すのではなく、
管理画面を用意して、そこから手動で
検索対象となるページ情報を入力するタイプであれば、
ロボットを開発する必要は無いので、LWP の知識は不要です。

なので。まずご自分が開発したい検索エンジンが
どう言う仕様のものなのか。明確に定義してあげる
必要があります。(単なる、イメージではなく。と言う意味です。)

> もし、違うのでしたらどのプログラムを学習したらいいと思いますか？

まずは、ご自分が作りたいものの仕様を明確にして、
実現するためには、どう言う機能が必要なのか。
を明確にしてください。
その上で、どう言う知識を学ぶ必要があるのか
見えてくるのではないでしょうか。

ただ。始めの方でも書きましたが、
Perl でも PHP でも JAVA でも良いので
(と言っても、JSP/Servlet をサポートしている
Webサービスは少ないので、
実質 Perl か PHP のどちらかでしょう。)
の習得と、簡単なものでも良いので、
幾つかの CGI を独自開発したり、
フリーのCGIを自分なりに改造することで、
知識を深めて行く必要はあると思います。

> 質問ばっかりで申し訳ございません！

それは、全く問題ありません。
例えば。一度この質問を閉じてから、
質問を整理して、再度質問することも良い事だと思います。

> まだまだ自分の知識が未熟で詳しい質問内容ができませんでしたが、とりあえず何を学習したらいいか、わかりましたらがんばって理解して、したいことをまとめることができましたらその時にもう一度質問をさせていただきます。

そうですね。全体的にご自分が遣りたいことも、
あまり明確になっていないのかな。。。
と言う印象がありますね。
こう言うページが作りたいと言う、
大雑把なイメージはあるのだと思いますから、
それをもっと具体的に示して頂けると良いと思います。

ただ。僕が仕事でお客様とお話しする時も、
大雑把なイメージすら持っていないお客様も
実際にいますので、そう言うレベルから考えると、
torotoro2 さんは、大雑把なイメージだけでも
持っているだけ良いのかも知れません。

# まぁ、そう言うお客様がいて下さるから、
# 僕は食べて行かれるのですが。

疑問点があれば、また質問してくださいね。

お礼

今のところあんまりパっとしませんが今回の説明していただいた内容で何をすればいいかだいたいの想像がつきました。説明を保存してじっくりじっくり理解していきたいと思います。Dpopさんの理解力が良いおかげで僕の言いたいことが伝わり本当に良かったです。ご丁寧にご説明してくれてありがとうございました！専門家に聞いてもらい心強かったです。また質問することがあると思いますが、torotoro２と言う名を発見したときはまた声をかけてくれると嬉しいです。その時は宜しくお願いします！ありがとうございました♪

回答No.5

Dpop

#3 です。

まず、(1) ですが、複数の画像とURLの記述したファイルを読み込んで、それを配列に入れ、乱数を利用して適当な数だけチョイスして配置する。
と言う処理でできると思います。

(2) ですが、どの様にデータ(ページ情報)を管理するかによって違いがあると思います。
単純に考えると、管理画面を用意して、そこからデータ(商品名とか説明とか、そのURLとか)を編集できる様にして、データベースへ書き込めば良いとおもいます。
検索は、そのデータベースを読み込み、正規表現を利用して検索すれば良いのでは無いかな。と感じました。

初めに書いたものは、一般的なページ検索のための話しでして、個別のお店の中の検索の場合、上記の様な方法の方が良いような気がします。

どちらにせよ。やりたいことの詳細が見えきれないので、アドバイスし辛いですね。もう少し説明して頂けると、別のアドバイスもできるかも知れません。

補足

ご説明ありがとうございます。
もし、DpopさんにNO.5の教えてもらった内容をするなら、一番最初に説明された「Perl 」や「LWP」は最低でも学習した方がいいのでしょうか？
もし、違うのでしたらどのプログラムを学習したらいいと思いますか？
質問ばっかりで申し訳ございません！
まだまだ自分の知識が未熟で詳しい質問内容ができませんでしたが、とりあえず何を学習したらいいか、わかりましたらがんばって理解して、したいことをまとめることができましたらその時にもう一度質問をさせていただきます。
　宜しくお願いします！

回答No.4

noname#227796

要件がまとまってないので、何ともアドバイスもしづらいです。
まずは、自分がやりたいことをしっかりとまとめる所から始めてはどうですか？

きちんとやりたいことをまとめられたら、本当にやりたいことは何か、どの程度の規模の機能さえ実装されていれば良いのかなど、絞り込めると思います。
逆に絞り込めていなければ、まだ検討が不十分と言うことです。

例えば、要件によっては、Googleの機能を利用するだけで解決するかも知れません。
http://www.google.co.jp/intl/ja/searchcode.html

あるいは、独自実装（しかも小規模に）程度のもので実現できてしまうかもしれません。

あるいは、#1に書かれているようなディレクトリ型のサーチエンジンだけで実現できるとか、あるいはNamazuなどの全文検索型のサーチエンジンの方が良いとか、それらを若干カスタマイズするだけで実現できるとか、色々考えられるでしょう。
http://www.namazu.org/
＃↑先日クラックされたため、簡素化しちゃってますが、そのうち復旧するはず。

お礼

ご説明ありがとうございます。少し説明不足で皆さんに回答してもらうのに苦労をかけてしまいました。

回答No.3

Dpop

機能にも依りますね。

まず、Perl で書かれたサーチエンジンがあるので、そのソースを読んで見てください。余り複雑なことをやっていない割には、非常に高速&高機能の全文検索エンジンです。

ホームページ内全文検索エンジンmsearch
http://www.kiteya.net/script/msearch/index.html

このソースを熟読してください。それほど難しい作業ではありません。

次に、LWP と言うモジュールについて調べてください。WWWサーバーに接続して、ソースを読み出すことができるモジュールです。

次に、データベースについて学んでください。データベースがどう言う理由で高速検索ができるのか。と言う知識がキット役にたってきます。

その上で、これら3つの知識を総合させると、いわゆる goo の様なものができあがります。(Yahoo はちょっと趣旨が異なるので。。。)

ただし。分類分けや、ページの重要度を分析するとなると、独自アルゴリズムを開発する必要がでてきて、このレベルになると個人の手にはなかなか負えなくなります。

お礼

ご丁寧にプログラムの学習の手順まで教えていただいてありがとうございます。今のところちんぷんかんぷんですが言われたとおりサイトを見てじっくり理解していきたいと思います。

回答No.2

sisya

小規模なディレクトリ型検索エンジンを作りたいと言う事でしょうか？

PHPなどでしたら、
特定のページの内容も読み込めるので
作り易いのではないでしょうか？

リンク集ＣＧＩとして色々公開されているので、
参考にしてみてはいかがでしょうか。

参考URL：

http://www.i-say.net/cgi/sample_view.php3?id=4247&url=http://php365.com/dat/links.html

お礼

参考ＵＲＬありがとうございました！ちょっと難しそうですががんばって調べてみます。

回答No.1

noname#10926

「Yomi-Search」が有名です。

参考URL：

http://yomi.pekori.to/yomi-search.shtml

お礼

良いサイトを教えていただいてありがとうございます！検索について調べてみます。