５秒に１回以上アクセスしてくる接続元ＩＰをアクセスログから抽出したい

質問

１分おきにアクセスログを調査し、"/cgi/test.cgi"　というファイルに
過去１分間 に１２回以上（５秒に１回以上）アクセスしている接続元ＩＰがあるかを
検査したいと思っています。

調査するアクセスログファイルは以下のような位置にドメイン名ごとに在ります。

/home/account/ドメイン名１/access_log
/home/account/ドメイン名２/access_log
/home/account/ドメイン名３/access_log

そしてアクセスログのフォーマットは以下のように、
接続元ＩＰ、アクセス日時、アクセス先ファイル、User-agent　の順です。

66.77.88.99 - - [01/Mar/2010:21:56:39 +0900] "GET /cgi/test.cgi?order=&class=1&　HTTP/1.1" 200 3191 "-" "Mozilla/5.0 (compatible; Googlebot/2.1)"

-------------------------------

例えば単純に

#tail -n 100 /home/account/*/access_log |grep "/cgi/test.cgi"

で、過去ログ１００行分の中で　/cgi/test.cgi にアクセスしている
接続元ＩＰの一覧は分かりますが、

「過去１分間に１２回以上出現しているＩＰ」を抽出するには、
うまい方法が分かりません。

shはcronで１分おきに実行させる予定です。

よい方法がありましたら、ぜひご提示頂きましたら嬉しいです。どうぞ宜しく御願いいたします。

回答No.3

uwi · ベストアンサー

AWK で行単位に処理してるだけです。
まず前提としてAWKは行単位で処理して、
66.77.88.99 - - [01/Mar/2010:21:56:39 +0900] "GET /cgi/test.cgi? ...
という行があった場合、空白で分割して
$1 = 66.77.88.99, $2 = -, $3 = -, $4 = [01/Mar/2010:21:56:39, ...
となります。
以下、改行してコメント。

/\/cgi\/test.cgi/ {　# 行に/cgi/test.cgiを含む場合に以下の処理

　# $4 = [01/Mar/2010:21:56:39 を:で分割してdに代入
　split($4,d,/:/);

　# d[2]=時,d[3]=分,$1=IPアドレスをつなげた添字の配列cに1を足す。
　# 添字が同じだった場合は当然、数が増えていく。
　c[d[2]":"d[3]" "$1]++;
}
END {　# 上の処理が終わったあと最後に処理
　for(i in c)　　# 配列cの添字をiに代入してループ
　　if(c[i]>=12)　　# カウントが12以上だった場合
　　　print i" "c[i];　　# 添字、空白、カウントを表示する
}

お礼

ありがとうございます。よく分かりました。
これを自分で書けるようになるには相当時間がかかりそうです。

回答No.2

uwi

cgiをPerlで書いているならPerlでスクリプト作ればいいと思いますが、ここはあえてワンライナーで。

# tail -n 100 /home/account/*/access_log | awk '/\/cgi\/test.cgi/{split($4,d,/:/);c[d[2]":"d[3]" "$1]++;}END{for(i in c)if(c[i]>=12)print i" "c[i];}'

何してるかの説明は端折るので参考程度に。

補足

完璧に動作しました。ありがとうございます。できれば
何をやってるかパーツパーツで解説願えないでしょうか。
ひとつひとつ勉強していっていますがアヤフヤで・・

回答No.1

inu2

grepすれば良いのでは？