インターネット検索の方法

質問

インターネット検索サイトではgoogleが有名ですが
その検索結果はgoogleの仕様であらかじめ取捨選択されたものが
表示されます。
そこで、私なりの取捨選択を行って検索をすることはできるのでしょうか？
つまり既存の検索サイトを介さずにインターネット検索をすることはできますか？

回答No.7

youser · ベストアンサー

お礼ありがとうございました。
検索エンジン開発詳細情報は専門のサイトにゆずるとして
お礼にあった質問に再回答します。
※回答はイメージです、実際の検索エンジンプログラム作成とは異なる場合があります

>yahooではヒットしないけどgoogleならヒットするホームページというのも
>存在するわけですよね？
yesです。
厳密には、無作為情報収集のGoogle検索エンジンがそれまでの
作為収集・登録型の他エンジンと比べて情報量が違い過ぎたため
YahooではGoogleのロボット検索エンジンを使わせて貰っている
状況である為、蓄積情報元は同じと言えます。
ただ、質問元にあった［取捨選択］で検索結果に違いは出ますね。

>ところでホームページを作るにはサーバーにアップロードする必要があります。
>そのサーバーというのはまさにデータベースです。
>このサーバーというデータベースから検索をすることはできますか？
おそらくこの質問内容のサーバーのイメージには［蓄積］と［インデックス/目次］
がセットになっていると思いますが、分けて考える必要があります。

サーバーにも役割の違うタイプがあり、一般に蓄積を専門にする
［ファイルサーバー］というものがあります。
この中のデータをさして「データベースである」というのは
ちょっと乱暴で、あくまでもファイルサーバ（蓄積専門）です。

その蓄積ファイルの中に、「このサーバーの中身を検索するプログラム」
があれば検索可能、されていなければ検索不可能。が答えとなります。

「じゃあファイルサーバーのデータ蓄積とデータベースはどう違うの？」
という疑問が生まれると思いますがファイルサーバーのデータはなんでもあり。
画像も文字装飾コード（色や大きさを決める情報）、プログラムなどなど。

検索エンジンで使われる素地は基本的に［テキスト/文字］です。
（Googleの画像検索は基本外って事でご理解くださいｗ）
【場所(url)＋文字(テキスト) 情報だけ】をどんどん、どんどん貯めこむ。
これが検索エンジンの素地になります。

ここまででピン！と来ればイメージは大体あっているでしょう。
ピン！と来なければ…

1.WEBを開いてURLをメモ帳にコピペしてください。

2.次に先ほどのWEBにもどり、CTRLを押しながらAを押し、Aを離しCTRLはそのままCを押します。
次にメモ帳に戻り、わかりやすいようEnterを２回ほど押した後CTRLを押しながらVを押します。

できたメモ帳の中身が検索エンジンで使われる素地の1つです。
2.が検索される「全文検索素材」になり、ヒットされたなら2.の一部と1.がセットで検索結果として表示されるわけです。

文字だけなのでサイズが物凄く小さくなり、圧縮すればさらに小さくできます。
それを何億何兆と、どんどん、どんどん蓄積して行くことで便利な検索サービスを提供することが出来るようになる訳です。

例1：OKWaveのTOPをファイル出力保存したサイズ［875 KB (896,594 バイト)］
例2：OKWaveを上記方法で文字のみ保存したサイズ［4.39 KB (4,502 バイト)］
例3：文字のみ保存をさらにZIP圧縮したサイズ［2.11 KB (2,161 バイト)］

お礼

回答ありがとうございます！
とても詳しく解りやすかったです。
親切に本当にありがとうございました。

回答No.6

t78abyrf9c

個人での検索エンジン構築は難しいと思いますが、こちらのページが参考になるかも知れません。

検索エンジンはいかにして動くのか？
http://gihyo.jp/dev/serial/01/search-engine

検索エンジンを作る
http://gihyo.jp/dev/serial/01/make-findspot

検索エンジンの作り方
http://www.accessup.org/pj/6_B4C9CDFDBFCDA4B5A4F3/6/6_B8A1BAF7A5A8A5F3A5B8A5F3A4CEBAEEA4EACAFD/

上記ページも、Googleの「検索エンジン　構築」から上位に出て来たページを抜粋しました。

所詮は機械作業ですから、目的通りのページが的確に上位に出てくるとは限りませんので、その辺は検索結果を読み解く「経験」と「勘」が必要になってくると思います。

加えて、Googleには「画像」「動画」「ブログ」等の多彩なカテゴリ別検索も用意されてますから、それらとコマンドの組み合わせで目的のページに近づかせる事も充分に可能だと思います。
http://search.web-sun.com/g_help.html

お礼

回答ありがとうございます。
早速閲覧してみます！

回答No.5

youser

>既存の検索サイトを介さずにインターネット検索をすることはできますか？
できません。
もし出来るとするならば、新しい検索プログラムを作り上げるしかありません。

URLを入力して該当ページへ進むことは勿論できますが、検索をすると言うことですと
拾い上げる情報の元となる素地（データベース）が必要です。

つまり、探す場所となるデータがある場所（URL）をわかっていないと探す行為すら
成り立たないということです。Gooや、Yahooを始めとした情報検索サイトを
押しのけてGoogleが検索サイトの最大手となった経緯には「ロボット検索エンジン」
という技術を持っていたからにほかなりません。

「ロボット検索エンジン」が何かというと、検索する場所を掻き集めた
「役に立ちそうな情報」の中だけでなく、誰かさんが見たURLをチェックし
場所と文字情報等を蓄積する無作為情報収集システムをプログラムとして
作り上げたものです。

検索サイトの中ではGoogleが最も「取捨選択」をしていません。
情報は玉石混交で、あるユーザーにとっては石が玉よりも求められる
事がある事を知っていたのです。

とまあ、検索サイトのうんちくはこれくらいにして、質問主の求めている答えが
「検索サイトに欲しい情報が出てこない場合はどうすればいいの？」

という意味合いであれば以下の通りです。

・関連する情報、似た別の情報を検索し情報を探す。
例：自分の使っているパソコンの型式では発生している不具合の報告は無いが、今売っている後継機種で似たような不具合が無いか探してみて、解決方法を試してみる

・情報の属するカテゴリ範囲を広げてみる
例：六本木＋喫茶店名で知りたい情報が見つからない→東京＋喫茶店名で検索してみる→関東＋喫茶店名で（略

・知りたい情報を削ってみる
例：芸能人名＋ブランドバック＋購入店で知りたい情報が見つからない→芸能人名＋ブランド名で検索してみる

お礼

回答ありがとうございます。
＞拾い上げる情報の元となる素地（データベース）が必要です

ということは、googleならgoogleの、yahooならyahooの独自のデータベースが
あるということですよね？

回答者様のお陰で検索エンジンがどういうものか解りかけてきました。
仮に○○というホームページが存在していても、データベースにそのＵＲＬが
記録されていなければ、いくら検索をしてもヒットしないということですよね？
そしてyahooではヒットしないけどgoogleならヒットするホームページというのも
存在するわけですよね？

そして仮に検索エンジンを作るにはまず様々なサイトのＵＲＬを知る必要があるし
そのサイトのＵＲＬとサイト内の情報を記録しておくデータベースが必要があるということですよね？

ところでホームページを作るにはサーバーにアップロードする必要があります。
そのサーバーというのはまさにデータベースです。
このサーバーというデータベースから検索をすることはできますか？

回答No.4

dragon-man

＞検索エンジンは個人で作れるのでしょうか？

マイクロソフトだって最初はビル・ゲイツと数人の友人ではじめました。
グーグルも同じです。数人のパソコンマニアが始めたのです。
だから原理的には個人で出来ないと言うことはありません。
でもビル・ゲイツやラリー・ペイジ（グーグル創始者）は天才的スーパーマンです。
その真似はほとんどの人には出来ません。
つまり、WindowsやGoogleは普通のレベルの個人やＩＴ技術者には作れないと言うことです。
もし出来たら、あなたもゲイツやペイジのような大金持ちになれますよ。
少なくともこういうレベルのＩＴ技術者は、過去現在（おそらく将来も）を通し、日本に一人もいません。
世界でも数人（数十人？）です。

お礼

回答ありがとうございます。

回答No.3

K Kazz（@JazzCorp）

自分専用の検索エンジンをつくる、...または、
ネットで検索するという生活習慣病からは足を洗い、残り少ない人生をもっと有効に使う！

お礼

回答ありがとうございます。
検索エンジンは個人で作れるのでしょうか？

回答No.2

dragon-man

＞この「関連性が高いと思われるものの取捨選択」を私なりのやり方でできないでしょうか？

それは出来ないでしょう。
グーグルでもヤフーでも収益源は広告宣伝費です。
検索リストの上位にあれば、広告宣伝効果が高い。
だからリスト上位のサイトから高い広告宣伝量を取れる。
検索エンジンの性能と検索リストの順序づけは彼らの商売の生命線です。
それを第三者に勝手にさせたら、商売が成り立ちません。
検索サイトを介さない検索をやりたいと思ったら、独自の検索エンジンが必要です。
並のＩＴ企業や、ましてや個人には作れるものではありません。
グーグルがあれだけ大きな会社になったのは、それだけの理由があります。

お礼

回答ありがとうございます。
＞並のＩＴ企業や、ましてや個人には作れるものではありません

検索エンジンを作るのが技術的に難しいという意味ですか？
それともとてもお金がかかるのでしょうか？

仮に作るとしても多くの方に利用してもらうことを目的としません。
ましてやgoogleやyahooと競おうとするわけでもないです。
ただ自分仕様の検索をしたいだけなのですが、それでも無理なのでしょうか？

回答No.1

佐藤 志緒（@g4330）

googleでもユーザが取捨選択できますよ

「新聞」で検索するとトップに「日本経済新聞」が出てきますが
https://www.google.co.jp/webhp?complete=0#hl=ja&complete=0&site=webhp&q=%E6%96%B0%E8%81%9E&oq=%E6%96%B0%E8%81%9E&gs_l=serp.3...3328.4125.4.4734.0.0.0.0.0.0.0.0..0.0...0.0.Be0m5fapG3Y&bav=on.2,or.r_gc.r_pw.r_cp.,cf.osb&fp=8fd6a08479df0426&biw=995&bih=643

「新聞 -経済」で検索すると日本経済新聞は出てきません
https://www.google.co.jp/webhp?complete=0#hl=ja&complete=0&site=webhp&q=%E6%96%B0%E8%81%9E+-%E7%B5%8C%E6%B8%88&oq=%E6%96%B0%E8%81%9E+-%E7%B5%8C%E6%B8%88&gs_l=serp.3...108391.108391.6.108594.0.0.0.0.0.0.0.0..0.0...0.0.cG9xiqyjdk8&bav=on.2,or.r_gc.r_pw.r_cp.,cf.osb&fp=8fd6a08479df0426&biw=995&bih=643

お礼

回答ありがとうございます。
そういう意味の取捨選択ではないのです。
googleで何かを検索すると何百万件とヒットすることがありますが、その全てを見ることはできません。
googleのシステム？がヒットした中から関連性が高いと思われるものを取捨選択して
結果を表示しているのが現状です。

この「関連性が高いと思われるものの取捨選択」を私なりのやり方でできないでしょうか？