awk:LinuxとWindows

質問

ど素人の質問で申し訳ありません。呆れずに読んでいただければ幸いです。

今、WindowsXP上で、awkで.csvファイルの分析をやっています。
5万行くらいの数値データを標準偏差等を計算しながら、標準偏差の0.1倍を元の数値が超えたらその値をマークしろ、0.2倍だとどうか、0.3倍だとどうか、何倍にすれば良いのか等パラメーターを探しております。
計算方法とパラメーターは上記では標準偏差について書きましたが、その他に2～4種類くらいあります。
やっていることは、
1.パラメーターをfor文で逐一変えていく
2.パラメーターと計算方法によって元の数値を計算
3.if文で条件にあったところを抽出
4.最後まで行ったら1.に戻り、パラメーターを変えて再度データを頭から。
ということをしております。

最初はExcel－VBAでやっていたのですが、遅いし、そうだ、awkでできる、と思ってawkで組んでみました。
awkならUnixでも動くよな(本家だし)、と気付きました。
そこで質問です。

UnixとWindowsでawkの実行速度は違うでしょうか？
Windows用のawkでも、プログラムによって速度が結構違うようですが。
Windows用でもLinux用でも、速いawkがありますでしょうか？
あるいは、たぶん情報不足だと思いますが、Perl等の方が速いだろうというようなことはありますでしょうか？(触ったことはありません)

2コアや4コアのパソコン用CPUへの対応はどうなっているでしょうか？
今Athlonのx2を使っているのですが、Windowsのタスクマネージャーを見ると、awkプログラム一つ動かす毎にCPUを50％(CPU片方分目一杯)使っているような感じです。
例えばLinuxだと2CPUが協調して、100％で動作して処理時間が半分になるというようなことはあるでしょうか？
また、WindowsXPですと、コマントプロンプト(DOS窓？)を２つ開けて、二つのawkを同時に実行させるようなこともできているのですが、Linuxだと可能でしょうか？(KDE？のような画面からawkってどうやって実行させるのでしょうか？)

有名だということでVine Linuxのダウンロードを考えておりますが、awkの実行速度という点でこれで良いでしょうか？
インストールしてしまえばファイヤーウォールは標準で動いているんでしょうか？
光ケーブルのLan環境でネットに接続しているのですが、ケーブルを繋げば即ウェブにアクセスできるのでしょうか？
ウィルス対策は標準でどうなっているのでしょうか？
Windowsとは状況が違うと思いますが、アンチウィルスだのウィルスバスターだのそんな感じのソフトをインストールする必要があるのでしょうか？

ご存じの範囲だけで構いませんのでよろしくお願いいたします。

回答No.1

notnot · ベストアンサー

＞UnixとWindowsでawkの実行速度は違うでしょうか？
＞Windows用のawkでも、プログラムによって速度が結構違うようですが。

Windows版だと、gnu-awk(いろんなOSで動く汎用のソース)と、win32用に書き下ろされた版とあると思うので、おそらく後者のほうが速いかと思います。その代わり、言語仕様がLinux版と異なる可能性があります。私はgnu版を使ってますが、速度比較したことは無いですね。何時間もかかる処理はしないので、速度は気にしてません。

＞Windows用でもLinux用でも、速いawkがありますでしょうか？

上に書きましたが、Linuxだとまず間違いなくgnu-awkなので同じです。

＞Perl等の方が速いだろうというようなことはありますでしょうか？

処理内容によるとしか言いようが無いですが、Perlのほうが高度な機能を持っているので、awkだと自分でロジックを書くところがPerlだと言語の機能で簡潔に書けるとしたら、Perlのほうが速いです。
また大きな処理をすることも想定されているので、おそらく同じような処理でもPerlのほうが速いでしょう。

＞2コアや4コアのパソコン用CPUへの対応はどうなっているでしょうか？

内部でマルチプロセスで動くawkは無いと思います。

＞Linuxだと可能でしょうか？(KDE？のような画面からawkってどうやって実行させるのでしょうか？)

OSによって多少違いますが、メニューバーからもしくは画面右クリックで「端末」を選ぶと擬似端末ウィンドウ(シェルプロンプトとでも呼ぶべきもの)が開きます。

＞awkの実行速度という点でこれで良いでしょうか？

Linuxだと同じです。

＞インストールしてしまえばファイヤーウォールは標準で動いているんでしょうか？

Vineは使ったことないのでデフォルトがon/offどちらかわかりませんが、インストール時に選択もしくはインストール後に設定(つまりWindowsと変わらない)。

＞ケーブルを繋げば即ウェブにアクセスできるのでしょうか？

今のメジャーなLinuxだと、DHCP標準でFirefoxも付いてますね。

＞ウィルス対策は標準でどうなっているのでしょうか？

これもWinodwsと同じ。付属はしてないが売っている。

＞アンチウィルスだのウィルスバスターだのそんな感じのソフトをインストールする必要があるのでしょうか？

身元不確かなソフトをダウンロードするなら必要でしょう。

お礼

ありがとうございます。
Perlのコマンドを調べてみました。
sortが面白そうです。
実は出てきたデータの成績上位を抜き出すためにsortしなくてはならないなぁと頭を抱えていたところでした。
これならどうにか組めるかも知れないな、と思いました。
今動かしているプログラムは単純なのか、Perlのコマンドなら、ということは無さそうです。
Pealの方が速いかも、ということですので、Perlでも組んでみたいと思います。
Vineもこちらでどうにか使えそうなことが判りました。

どうもありがとうございました。