HyperEstrainerでfetchが0、ignoredばかり表示

質問

HyperEstrainerでfetchが0、ignoredばかり表示されます。

社内でサーバを立ち上げ、サイト内検索をしようとHyper Estrainerを試しているのですが、
うまくクロールできません。

フォルダをwaverとすると、
> estwaver crawl -revcont waver
2010-01-30T20:11:41Z INFO DB-EVENT: status: name=waver\_index dnum=0 wnum=0 fsiz=9259062 crnum=0 csiz=0 dknum=0
2010-01-30T20:11:41Z INFO crawling started (revcont)
2010-01-30T20:11:41Z INFO fetching: 0: http://localhost/mediawiki/
2010-01-30T20:11:42Z INFO ignored: 301: http://localhost/mediawiki/
2010-01-30T20:11:42Z INFO waiting for threads: 0
2010-01-30T20:11:42Z INFO waiting for threads: 0
2010-01-30T20:11:42Z INFO crawling finished
2010-01-30T20:11:42Z INFO DB-EVENT: closing: name=waver\_index dnum=0 wnum=0 fsiz=9259062 crnum=0 csiz=0 dknum=0
2010-01-30T20:11:42Z INFO finished successfully

http://localhost/mediawiki/cgi-bin/estseek.cgiと入力すると検索画面も問題なく表示されますが、インデックスができていないので検索できません。 fetchが0、ignoredが301というのが問題だとは思いますが、心当たりある方がいれば教えてもらえないでしょうか。

環境は XP sp2, xampp1.7.2(apache2.2.12, php5.3, mysql5.1.37,mod_perl/2.0.4 Perl/v5.10.0 ), mediawiki1.15.1になります。

よろしくお願いします。

回答No.2

uwi · ベストアンサー

MediaWikiは HTTP の 301 Moved Permanently でトップページに飛ばしています。これが「ignored: 301」の301の意味。
例）
http://ja.wikipedia.org/
↓301 HTTP/1.1 301 Moved Permanently
http://ja.wikipedia.org/wiki/%E3%83%A1%E3%82%A4%E3%83%B3%E3%83%9A%E3%83%BC%E3%82%B8

で、estwaver のソースを確認したところ基本的に200 OKの時以外は何もしない（正確には304, 400などでも処理するけど今回は無関係）ので、301のリダイレクトの先には移動しないようです。

ということで、http://localhost/mediawiki/にブラウザでアクセスするとどこかにリダイレクトされると思うので、飛ばされた先のURLを_confに設定するとうまく行くかもしれません。
上で「かもしれない」と濁したのは、MediaWikiが301を利用してページを飛ばしていた場合に正しく登録されない可能性があるからです。そこはMediaWikiに詳しくないのでよくわかりません。

お礼

リダイレクト先をパスにする事で無事クロールする事ができました、ありがとうございました！

回答No.1

uwi

_confの設定ミスが一番疑わしいです。

とりあえず
loglevel: 1
にしてデバッグ情報を出力するようにしてみてはどうでしょうか。

参考URL：

http://hyperestraier.sourceforge.net/cguide-ja.html

補足

loglevel1にしてみましたが、何かわかりますでしょうか。。

>estwaver crawl -revcont waver
2010-02-01T13:33:35Z INFO DB-EVENT: status: name=waver\_index dnum=0 wnum=0 fsiz=9259062 crnum=0 csiz=0 dknum=0
2010-02-01T13:33:35Z INFO crawling started (continue)
2010-02-01T13:33:35Z INFO fetching: 0: http://localhost/mediawiki/
2010-02-01T13:33:35Z INFO ignored: 301: http://localhost/mediawiki/
2010-02-01T13:33:35Z DEBUG seed keywords:
2010-02-01T13:33:35Z DEBUG not modified: http://localhost/mediawiki/
2010-02-01T13:33:35Z INFO waiting for threads: 0
2010-02-01T13:33:35Z INFO crawling finished
2010-02-01T13:33:35Z INFO DB-EVENT: closing: name=waver\_index dnum=0 wnum=0 fsiz=9259062 crnum=0 csiz=0 dknum=0
2010-02-01T13:33:35Z INFO finished successfully

別ディレクトリを作成してestcmdでローカルで収集した際は問題なく検索できたので、このファイルが原因だとは思うのですが。。

_conf で変更した内容は下記2つのみです。

seed: 1.0|http://localhost/mediawiki/
allowrx: ^http://localhost/mediawiki/

よろしくお願いします。