文字の数え方

質問

use utf8;
を宣言すると、内部に記述されるリテラルにutf8フラグが立てられて、例えばlengthを用いて文字数を数えた場合に、多バイト文字であっても１文字を１とカウントしてくれるそうです。

次のコードでは、文字列の文字数を数えてみました。。

　　#! /usr/bin/perl

　　use utf8;
　　use Encode;

　　my $str="最初にUTF-8で表示します。次にshift-JISで表示します。";
　　print length $str;
　　print "\n";

　　$str=encode("shiftjis",$str);
　　print length $str;
　　print "\n";

実行結果は以下の通りです。
　　33
　　52

文字列がUTF-8の場合は、シングルバイト文字、多バイト文字関係なく１文字で計算するので33文字です。これに対してshift-JISの場合は、多バイト文字を２文字でカウントするので52文字になります。

なるほど。

しかし、次がよく分からないんですけど、
　　use utf8;
をコメントではずすと、その実行結果は以下のようになりました。
　　71
　　76
これはどういう計算なのでしょうか？

回答No.1

zxcv0000 · ベストアンサー

最初の 71 は、UTF-8表現の "最初にUTF-8で表示します。次にshift-JISで表示します。" のバイト数でしょう。 (日本語文字は、3バイト)

その直後の encode() は、きっと正常に動いてないです。 use utf8; してる時の encode("shiftjis",encode("utf8",$str)); と同じはずですから。
この事を、その結果の length より先に考えましょうよ。

1行目に -w を追加したら、 STDERR に何か出ないですか？

お礼

確かに
　use utf8;
を外した
　$str=encode("shiftjis",$str);
は文字化けを起こしているようです。

　use utf8;
を外した場合にどういう式を書けばいいのか、２～３、試したのですが駄目でした。

でも
　use utf8;
を宣言すればそれで済むことですから、これ以上突っ込むのは止めました。

面白いと思ったのは、シュパングに-wを付けて実行したら、警告が出たのはUTF-8の文字列の方だったこと。

　my $encoded_str=encode("utf8",$str);
としてUTF8フラグを外したらＯＫです。

ありがとうございました。