バラツキが大きすぎたデータの処理

質問

泣きたいです。
誰か助けていただけるかたいませんか。

統計処理を勉強し直し中ですが、今までの実験データの変動係数（CV）を計算してみたら、大きい方で４０％にまで達してしまっています。

一年あまりも取り組んで集めてきたデータです。
どういう風に処理（？）、或いは解釈すれば良いでしょうか。

もしかして、０からやり直すしかないかと思うと、時間もないし、おしまいです．．．．．．．

回答No.8

Oxalis

人工気象機での栽培結果ならまだ理解できますが・・・・
今いえること。
・特定要因のみの違いならCVの必要性はありません。
・一気に時系列の分析手法を使うのではなく、個々に統計解析をしてください。
（試験が読みきれないのですが、まさか、A区、B区の処理期間は一緒なのでしょうから）
・なぜサンプリング数が最小で５個なんでしょう？統計処理をするなら２０は必要、マキシマムでも１０
（つい最近、課題研究でサンプリング数５個で処理してきた学生にだめだしをしました。
どうも何回か書いた自由度はご理解なされないような・・・）

とにかく学生さんならここでどうのこうの言うより指導教官と相談してください。
（統計処理に対する質問というより、すでに論文のまとめ方の範疇です。）

回答No.7

Oxalis

ごめんなさい。
何をしたいのか・・・何と何を比較したいのかまったくわからない。
データの記載なんですが・・・・
同時期に生育した2つの区を見るのでは無くて、別々の時期に作物を育てたデータ比較
なのでしょうか？

統計学は基本的に特定条件のみ異にした２群の比較が基本です。
多変量とか多重分析でやらないで２つの群で同一時期に栽培したものを分散分析してみなさいと
アドバイスしようとしたのですが・・・・
やり方が読めません。
（そもそも担当教官（？）と実験設計を検討しましたか？）
それも平均を比較しているし・・・

補足

>何と何を比較したいのか
Aとb　二つの処理により作物のある成分がどういう経過で、どう変動するのかを見るものです。
＞同時期に生育した2つの区を見るのでは無くて、別々の時期に作物を育てたデータ比較
なのでしょうか？
同時期に育てたものに同時に二通りの処理するのがベストですが、条件の制限もあるし、同時だと二つの処理はお互いに干渉されるので、別々の時期に行うしかありませんでした。ただ、生育条件はきちんとしていて、温度など外界の干渉を殆ど受けません。

作物を対象とした実験ではこんなふうに処理するのが良くある事だと思い込んでいました。

回答No.6

Oxalis

自分の学生だったら一言、まともな設計しないで実験計画を組むからだ！
と一喝してしまうのですが・・・
まず、どんなデータをどのように処理しましたか？
比較した元データとサンプル数

CVを使ったのであれば、平均値が違うものの比較ですよね？

平均値が異なるもの同士の散らばりを比較するには標準偏差をそのまま用いたのでは
効果がない。標準偏差を算術平均値で割る必要がある。こうして求めた相対的散布度
を変動係数といい CV で示す。

生物統計学で気をつけさせているのは実験計画を組む段階で
・サンプリング数とサンプル方法は良く考える。
・実験前にデータが予測できないものは統計処理は出来ない。
(極論ですが・・・・）

苦言を言えば、「まともに統計が理解できなくてもパソコンが処理してしまうから
理解していなくても統計処理を使う学生が多い。」恩師の言葉でした。

お礼

>一喝してしまうのですが・・・
まさに一喝されてしまわれるものです。が、早速内容補足をさせていただきます。
　　　　　　実験日　処理前　１週間後　２週間後　３週間後
　　一回目　１月　　10 10 10 8
A処理区
　　二回目　２月 10 10 10 5
　　合計 20 20 　 20 13

　　一回目　4月　　10 15 　 15 15
A処理区
　　二回目　5月 10 15 　 13 13
　　合計 20 30 　 28 28
表中の数字は分析した本数です。一本から一個のデータが取れます（比較する成分）。ｎ＝１３－３０
A区で、処理前と処理後の平均値a0,a1,a2,a3,（Mean±SE、ｎ＝１３－２０）をTukeyの多重比較を行いました。作物は切り取って分析するので、対応ないと見なした。
B区で、b0,b1,b2,b3（Mean±SE、ｎ＝２０－３０）を多重比較しました。
両区の間はa1とb1をa2とb2をそれぞれ（一元配置分散分析を行い分散が等しいかどうか判断してから）ｔ検定を行いました。
実は、CVだけではなく、この検定方法も問題ないかと不安です。

回答No.5

ESE_SE

処理方法について何も語られていないところをみると線形分布として処理されているのだと思いますが、
どういったデータとの相関を取られていますか？
相関を取るデータは別のものの方が良い、理屈で考えて指数関数の方が良い、なんてことはありませんか？

当方統計学は10年以上前に単位取りのために学んだだけですので
これ以上の回答は出来ませんが・・・。

ちなみに農業の経験（実家が農家です）から言わせていただくと、
田畑の端か真ん中か、だけでも害虫・害鳥の被害が違うので
一株単位で比較するのは意味無いんじゃないか、と思います。

回答No.4

nrb

作物ならばバラつきがでるのが当たり前です

同じ作物１つ１つ微妙に遺伝子が違うので良く効くのもあれば効かないのもあります

そのまま処理しても問題無いです

毎回数本を任意に選択
単にサンプル数の不足によるバラつきです

個体サンプル本数が少ないだけの話です

これが数百本あれはほぼ正確な傾向はでますが

この前段階のサンプル研究ですから大まかな傾向が判れば良いのです

傾向から本格的に研究する必要性があるのか無いのかが重要なことです

これを判断するですね

お礼

再びご回答ありがとうございます。

急いで読ませていただきました。
とりあえずほっとしています（ちょっとだけだけど）。

すべての実験を０からやり直すしかないとなると、正直、いろんな意味で無理です。

もう一つ良かったら教えてください。

＞単にサンプル数の不足によるバラつきです

きちんとした研究者でしたら、（学術誌に投稿するレベル）このサンプル数をどれぐらいにしなきゃいけない等のラインとかあるでしょうか。

また、極端に外れた値はやはり検定をした上で外すかどうかを判断し、データを処理し直すべきだと思われますでしょうか。

よろしく御願いします。

回答No.3

nrb

統計処理以前の問題です

バラつき大きい原因は

ミスがどこかにあるからです

・補正処理のしわすれ
・測定環境が毎回変わる
・使う測定器の誤差が大きい物を使用している
・使う測定器が毎回違う
・測定器が壊れている（校正がされてない）
・測定器の取り扱いミス
・人為的なミス
　　測定レンジを間違えて読む
　　記載ミス

・正しい測定方法をしてない
・サンプル事態の取出しが不適切
・ノイズの測定など誤測定
など沢山あります

とんでもないデータが数％ならばこれは測定ミスをして処理するしか無いですね

他には
温度補正を掛ける必要があるのに抜けている
などもありますね

回答願います

何を測定したんですか

どんなふうに

データ分布はどうなってます

以上即答宜しくです

お礼

早速のご回答ありがとうございます。

特に機械を使ってのデータではなく、化学分析して得られたデーターです。
インキュベートに育てた作物に、AとBの二種類の処理を行い、作物のTTという成分変動に及ぼす影響の違いを見ました。
栽培は数回行い、毎回数本を任意に選択し、処理を行いました。栽培環境はきちんとしていたとおみます。当初からデータのバラツキに気になっていたが、作物だし、処理も違うし、特にどうかしようとしませんでした。

たった今統計の本を読んで、著しく小さかったり大きかったりしたデータは標本から外せる？とかいてあります。
とにかく混乱しています。

回答No.2

Cupper

結果を決め込んでのデータ取りでしたか…
得てしてそんな結果が待っているもんです

データをそのまま受け入れることをお奨めします
変動係数が大きいのであれば、そのデータを取得した時間/日時を含めて、その前後で起きている事象を考察すればOK
「本来、こうならなければいけない」と分かっているならば、意図しないデータが取得されたことを喜ぶべきです
とても貴重なデータですよ

お礼

早速のご回答ありがとうございます。

たしかに或る程度は予測した結果通りのデータだったんです。
ただ、バラツキは大きかったのは気にはなっていたが、統計的な処理がきちんと行われていなかったため、そのまま結論を出してしまいまい、主張してしまっています。

今になり、もうどうしようもない悔しい気持ちです。はやく勉強していれば．．．．．．

回答No.1

SilverThaw

ある個所だけであれば、測定方法の間違い。
特定個所以降であれば、上記に加えて、何らかの環境変化(農学だから)があった。
但し、後者の場合にはそれを立証する必要がある。