C++のboostのtokenizerのエラー

質問

現在C++でboostを使用して、テキストファイルから読み込んだ1行分のテキストをtokenizerでセパレーションして、文字列を編集したいと考えています。

それで、次のようなプログラムを作成しました。

char_separator<char> sep(" ");
tokenizer< char_separator<char> > tokens( record, sep );

typedef
tokenizer< char_separator<char> >::iterator Iter;
for( Iter it=tokens.begin(); it!=tokens.end(); ++it )
record = *it + ",";

1行分の文字列は”record”に入っています。
最初に”---------------------------------------------------”という文字列が読み込まれて、このプログラムでは正常に処理されて、
”---------------------------------------------------”で変化はありませんがrecordに正常に格納されます。

しかし、次の行の”001. リモート, 2012/06/12 09:15:49”というのを読み込んだ際に、for文でカンマで区切られた文字列をrecordに格納する際にエラーが出てデバッグが中断してしまいました。

このようなプログラムでの問題点と解決方法を教えて頂けないでしょうか。
どうぞ、よろしくお願いします。

回答No.1

επιστημη（@episteme） · ベストアンサー

#include <iostream>
#include <sstream>
#include <string>
#include <boost/tokenizer.hpp>

using namespace std;
using namespace boost;

void tokenize(const string& record) {
char_separator<char>sep(" ");
typedef tokenizer< char_separator<char> > tokenizer_t;
tokenizer_t tokens( record, sep );
for( tokenizer_t::iterator it=tokens.begin(); it!=tokens.end(); ++it )
cout << '[' << *it << ']' << endl;
}

int main() {
istringstream stream(
"----------------------------------\n"
"001. リモート, 2012/06/12 09:15:49\n"
"002. ローカル, 2012/06/13 10:20:50\n"
"----------------------------------\n");
string line;
while ( getline(stream, line) ) {
tokenize(line);
}
}

/* 実行結果 */
[----------------------------------]
[001.]
[リモート,]
[2012/06/12]
[09:15:49]
[002.]
[ローカル,]
[2012/06/13]
[10:20:50]
[----------------------------------]

...何の問題もありませんねぇ。

お礼

回答頂きありがとうございました！　tokenizerのサンプルプログラムも頂き大変ありがとうございました。　ちゃんとテキストを分けることができるようになりました。今こんな感じで利用しています。

char_separator<char> sep(" ");

//分割結果の表示

string record_test;

typedef
tokenizer< char_separator<char> >::iterator Iter;

tokenizer< char_separator<char> > tokens( record, sep );
for( Iter it=tokens.begin(); it!=tokens.end(); ++it )
record_test = record_test + *it + ",";

impl_->record = record_test.substr(0);

iterator_range<string::iterator> r = find_first( impl_->record,"------" );

if(r)
impl_->record = "\r\n";
//impl_->data << *it << ",";

}