python リストのプログラムがうまくいかない

質問

閲覧ありがとうございます。
学校の講義にてgoogle colaboでpythonを使っています。

課題
複数の記事を読み込んで、行を記事、単語を列とした単語数カウントの行列を作成せよ
（ファイルは　単語:単語数 単語:単語数... で、行末尾にnegativeとなっていて、1行に1記事ずつ入っている）

import numpy as np
import matplotlib.pyplot as plt

with open('/content/drive/MyDrive/train.processed') as f:
articles = f.readlines() # 記事を読み込む
list_articles = [] # 記事単位のリスト
list_words = [] # 単語単位のリスト
list_count = [] # 単語数カウントの行列
x = len(articles)

for article in articles:
list_articles.append(article.split()) # 記事ごとに[単語:単語数]で配列に入れる(二次元)

for i in range(x): # x=記事数
for j in range(len(list_articles[i])-1): # negativeを除いた1記事当たりの単語数
if not '::' in list_articles[i][j]: # 単語として[：]があるとバグるのでない場合のみ処理を行う(::3みたいになってる)
col = list_articles[i][j].find(':') # 単語と単語数の間の：の位置を求める
word = list_articles[i][j][:col] # コロン未満(単語部分)をwordに代入する
if not word in list_words: # list_wordsにない場合、追加する
list_words.append(word)
list_count.append([0 for k in range(x)]) # 記事数分のリストを追加する(行列に1行追加)
list_count[i][list_words.index(word)] = int(list_articles[i][j][col+1:]) # 何記事目かを行、何の単語かを列として単語数を代入
print(word)

list_count[i][list_words.index(word)] = int(list_articles[i][j][col+1:])
ここでIndex out of rangeが出ます。print(word)で途中まで出力されるので、エラーが起きながら動いていたのか、途中でエラーが起きて止まったのかもわかりません。

色付きのプログラムを写真に添付します。
かなり時間をかけて考えたのですが、理解できなかったので質問させていただきました。
よろしくお願いします。

回答No.1

m-take0220 · ベストアンサー

＞ list_count[i][list_words.index(word)] = int(list_articles[i][j][col+1:])

list_countはlist_wordsに入っていないwordが現れたときに追加されるので、最初の添え字はlist_wordsのindexとなるから、添え字の順序が逆です。

間違いではないけど、改めた方が良い部分もかなりあります。

＞ with open('/content/drive/MyDrive/train.processed') as f:
＞ articles = f.readlines() # 記事を読み込む

ここでファイルの読み込みは終わっているので、その後の処理はwithの外にしたほうがいいとか、

＞ for article in articles:
＞ list_articles.append(article.split()) # 記事ごとに[単語:単語数]で配列に入れる(二次元)

これは、

list_articles = [article.split() for article in articles]

にできるとか、

＞ for i in range(x): # x=記事数

とするよりも

for i, article in enumerate(artilce_list):

とすればarticle_list[i]をarticleにすることができてわかりやすくなるとか。

さらに、find(':')で位置を求めて分割するよりも、split(':')を使ったほうが便利です。

splitted_article = list_articles[i][j].split(':')

こうすると、'::3'のようなデータの場合はlen(splitted_article)==3となるので、

if len(splitted_article)==2:
word = splitted_article[0]
word_count = splitted_article[1]
elif len(splitted_article)==3:
word = ':'
word_count = splitted_article[2]
else:
print('error')

のような処理ができます。

お礼

す、すごい!!動きました！！！ enumerateとかsplitとかプログラムの改善方法まで教えてくれてありがとうございます！！！これからも勉強頑張ります！ありがとうございました！

Powered by GRATICA