apacheのプロセスが増え続けます

質問

Apache2.0.53環境でWebサーバを運用しています。
普段は問題なく稼働しているのですが、たまに激しく負荷がかかる時があります。
topで確認するとR状態のhttpdで埋め尽くされており、load averageは上昇するばかり。
放置しているとメモリが食いつぶされ、サーバがダウンしてしまいます。

ログを確認したところ、クローラのアクセスが相次いでいたのでiptablesでアクセスを拒否しましたが状況はさほど変化がありません。

このような状況になった場合、皆様はどのように問題の解決に当たっているのでしょうか？
ぜひ先輩方の意見をお聞かせいただきたいです。
よろしくお願いします。

回答No.1

ralf124c

普通であれば負荷は大歓迎なので負荷に耐えられるサーバ環境にするのが普通だと思います。
DDOS攻撃ならまだしもクローラーですのであまり問題ではないかと思います(問題のあるクローラーもあるにはありますが)。
むしろサーバとしてアクセスできないサーバなどナンセンスとしか言いようがありません。
サーバはアクセスされてなんぼのもんです。

とはいえ実際問題サーバを変えるのはなかなか諸事情がからんで往々にして困難なものです。
以下の方法を見直してはどうでしょうか

１．Apacheの設定の見直し
　MaxClients
　MaxRequestsPerChild
　ThreadLimit
　TimeOut
　などのディレクティブの値

２．クローラー対策
　ROBOTS.TXTの設定による拒否

お礼

ご意見ありがとうございます。
よくよくログを見てみるとクローラ以外にもコメントスパムも大量に投下されていたようで…。

ご指摘いただいた箇所も併せ、Apacheの設定を行ったところ負荷が大幅に軽減されました。
数日間はこのままで様子を見たいと思います。