エクセルでノイズ値を除去する方法。

質問

エクセルでノイズ値を除去できませんか。
ノイズ値除去をしたく、ネットで調べるとフーリエ変換という言葉が出てきます。
しかし、今一よくわかりません。
具体的には、
「2、5、7、5、8、21、6、10」という8個の数値があった場合に、
「21」をノイズ値として除去したいです。
実際にできるのでしょうか。
やり方を教えてください。宜しくお願いします。

回答No.6

kamiyasiro · ベストアンサー

#1です．

３σの外を切るような乱暴な方法とか，
はたまた，外れ値は自動的には除去できないとか，無責任な回答があったので，
修正しておきます．

私は，「ノイズを除去しても欠測値にはしない」という立場で書いてきましたが，
除去でよいのなら，次のような取り除き方があります．

まずベースラインを補正します．
これは例えば，小学生の身長のように，学年に比例する観測値なら
学年に比例する分を取り除き，一定信号に基準化する作業です．

次に全体のヒストグラムを作ります．
これが，フーリエ変換のような作業だと考えて下さい．

運よく二山になったら，山の隙間のどこかに閾値（しきい値）をとって，上側の山を切り落とします．
これはローパスフィルタのような作業です．

二山にならず，肩のこぶのようになっていたら，
ここから先はエクセルでは無理かと思いますが，
ガウス分布やガンマ分布をあてはめて，二山をフィットします．
次にそれらの関数を使って，閾値を決めます．
閾値は，第１種の過誤（α）と第２種の過誤（β）が同じになるように決め，
原信号の犠牲比率とノイズの混入比率を同等にします．
次に，閾値から上側を切り落とします．

このように，ノイズの除去には原信号の犠牲が伴い，
それに対する配慮が必要であることを分かって頂けたと思います．
３σの外を切るような乱暴な話ではありません．

回答No.5

kamiyasiro

#1です．

#4さん，文献の補足，ありがとうございました．

ノイズの定義と言う逆質問があったので回答を書いておきますね．

そもそも観測データを信号として，
信号をなぜ「復元」しなければならないかというと
信号が変形しているからです．この変形を広義の「ノイズ」といいます．

しかし，変形には，ひずみと狭義のノイズ（誤差）があって，
ひずみは，原信号に対して時間的空間的規則性があったり原信号との相関性がありますが，
ノイズは，原信号に対して時間的空間的規則性がなく，原信号との相関もありません．
ノイズとは，外来成分や確率的劣化というものが重畳（チョウジョウ）していることをいいます．
（これが，ノイズの定義です．アンプの性能などで，歪率とSN比が分けて書いてありますよね）

よって，復元には前者に対する「補正」と後者に対する「平滑化・フィルタリング」があり，
規則性があるひずみは補正で戻りますが，ノイズは規則性がないので原信号を犠牲にしながら
均（なら）したり取り除くことが必要になります．

補正対象となるものには，（順不同（記憶から））
・ディレイ（遅延）
・反射
・オーバーシュート
・リンギング（ハンチング）
・立ち上がり（時定数付き応答）
・クロストーク
・サグ
などがあります．
これらは，負帰還などにより，消すことができます．
（最近のTVは画像補正をいっぱいやっているから，実際より絵が遅れて出ています．）

平滑化・フィルタリングの対象は，
・インパルスノイズ
・ガウシアンノイズ
などがあります．

回答No.4

eclipse2maven

No.1 さんの　かかれてる話と関連すると思われる資料があったので、揚げておきますね

http://www.ieice.org/jpn/books/kaishikiji/2005/200512.pdf

回答No.3

noname#157574

ノイズ値は外れ値を意味するとして説明しますが，外れ値を自動的に除去する方法はありません。

回答No.2

misawajp

質問者の「ノイズ」の定義が不明確です

定義を明確にすれば、それに則った処理を行うだけです
（例えば3σの範囲外とか）

定義を明確にすることです（質問者は、情緒的定性的にしか捉えられず、定量的な定義が必要なことに気付けていないようです）

回答No.1

kamiyasiro

何をおやりになりたいのか良くわかりませんが，
参考までに書きます．

平滑化・フィルタリングにはさまざま種類があります．
２次元データの「メディアンフィルタ」くらいならエクセルでできるかもしれません．
メディアンフィルタについては，下記説明をご覧下さい．

最初に，フーリエ変換というのは，簡単な例を上げれば，
音楽（音の波形）を周波数分布のグラフに描き直すような操作です．
それをリアルタイムでやるのが，高速フーリエ変換（FFT）です．
例えば，せっかくの音楽に，ブーンというハム（電源ノイズ）が
混ざっていたとしましょう．
そのときは，音楽の音の波形から，そのブーンの周波数のところを
除けばいいのです．
もっと簡単には，ハイパスフィルタなんてのもあります．

おやりになりたいことが，通常の信号に対して，時々大きいノイズが
パツン，パツンと入っていて，それを除きたい，というのなら，
パツン，パツンはインパルスノイズといいまして，
それに有効なのがメディアンフィルタです．
中学で平均，モード（最頻値），メディアン（中央値）というのを
学びましたが，その値を使います．
画像であれば，あるピクセルの値とその隣接するピクセルの値を使って
メディアンをとり，中央のピクセルの値にするという方法です．

だんだん難しくなりますが，簡単に説明します．
ノイズがインパルスではなく，レンズのボケのような場合，
これをガウシアンノイズといいますが，ガウシアンフィルタというのをつかいます．
原理は移動平均のようなやりかたです．

さらに高度になれば，カルマンフィルタというものや
最新の手法では粒子フィルタという技法もありますが，
説明は樋口知之先生などの専門書に譲ります．