英・仏・独語で12文字以上の単語を抽出

質問

英・仏・独語の多数のテキストファイルから12文字以上の単語だけ抽出したいのですが効率のよい方法はないでしょうか。

英語だけならテキストエディタの正規表現を使ったgrepで \w{12,} で12文字以上の単語を含む行を検索したうえで、\w{1,11} を空白と置換して削除してしまえばいいのですが（一緒に表示させるフルパスは別途消す必要がありますが）、仏・独語となるとイロイロ問題が出てきます。

例えば、仏語では a'bc'def のようなパターンの単語があります。これを単に検索するだけなら \w'\w+'*\w* で検索できますが、12文字以上と指定する方法がわかりません（アポストロフィがひとつだけなら \w'\w{10,} で12文字以上ということになるのですが…）。

そこで質問なのですが：

1. 上記の仏語のようにアポストロフィを2つ含む12文字以上の単語を抽出するにはどうしたらいいでしょうか。

2. そもそも12文字以上の単語を含む行をgrepしたうえで、11文字以下の単語を消去したりせずに、最初から12文字以上の単語だけを抽出する方法はないのでしょうか。

できれば、フリーウェなどを導入せずにテキストエディタやOffice系アプリなどだけで対処したいと思います。VBSでもOKですが、その場合は、初歩的なことしかわかりませんので、アドヴァイスというより丸投げしてしまうことになります。

どうかよろしくご助言をお願いします。

回答No.2

trapezium · ベストアンサー

前回もemacs上でテストしたのですが、丁度いいファイルがなかったので、emacsに付属のTUTORIAL.frで試したところ(これはiso-8859-1ですが)

awk '{for (i=1;i<=NF;i++)print $i}' TUTORIAL.fr | egrep "([a-zA-Z&Agrave;-&yacute;][']?){12,}" |sort |uniq

その結果として次のようなものにマッチします。一部抜粋ですが

G&eacute;n&eacute;ralement,
L'emplacement
SUPPL&Eacute;MENTAIRE
SUPPL&Eacute;MENTAIRES
abr&eacute;viations

語尾の(,)とかのゴミはawkに処理させるか、後処理で取り除けばいいと思います。(')は文字数に入れないようにしましたが、これは前回と同様です。

検索対象の文字&Agrave;-&yacute;は、実際には文字コードに合わせて調整する必要があるでしょうし、UTF-8ともなると使うツールが正しく文字コードを認識しないといけない。

逆にUTFとなれば、普通に文字数数えただけでいいわけで、CでもJavaでもプログラムざっくり組んだ方が早いかもしれませんね。

回答No.3

trapezium

ああ、忘れてた。&Agraveとかに置き換えられちゃいましたが、コマンドラインでは実際の文字になってます。

お礼

ご回答ありがとうございます。

初心者の私よりさらにITオンチの人（正規表現って何？という感じの人達）でも扱える仕組みを考えていたので、できればVBSなど実行環境をインストールしなくても動くものを想定していたのですが、VBSって初心者向けの解説書が少ないのであきらめました。

プログラムを組んだことはないのですが、頑張って Perl か AWK を勉強したいと思います。

その際は下記のリストを参考にさせていただきます。

回答No.1

trapezium

正規表現がOSによって少し違うので、環境に合わせなければなりませんが、

FreeBSDだと、
awk '{for (i=1;i<=NF;i++) print $i}' foo.txt| egrep "([a-zA-Z][-\'\`:^]?){12,}" |sort |uniq

複数処理するならループさせれば、これはLinux
for f in *.txt; do
awk '{for (i=1;i<=NF;i++) print $i}' $f| sed -nr "/([a-zA-Z][-\'\`:^]?){12,}/p" |sort |uniq > subdir/$f
done

[:alpha:]や\wだとロケール込みで処理してくれるので、うまく使えば何もしなくてもいいかもしれませんが、ここでは明示的に指定してます。

とここまで書いて気付きましたが、Windows環境ですね。cygwin入れればできそうな気もしますが、それは無しとなるとちょっと分りませんね。

補足

実は、[a-zA-Z] で検索したところ、ウムラウトなど欧文固有文字がヒットしないために、\w を使用した手法に切り替えたという経緯があります。

ただ、\w だとアンダーバーで連結されたストリングID部分も拾ってしまい困っています。

現在、UTF-8の文字コード範囲を指定した検索にトライしているのですが、[\x0x00010000-\x0x0010FFFF] や [\x0x0080-\x0x07FF] としても欧文固有文字にヒットしてくれません。

ä　や ß のような欧文文字を一括して指定する方法ってあるのでしょうか。