HDDのデータ劣化の可能性について

質問

不良セクタが無いHDDなのに、データが微妙に壊れている事があります。
動画ファイルの再生中にブロックノイズが出るものがあったり、jpgの画像を開くと画像が乱れているものがあったり(グラフィックデザインっぽい、カラフルでスタイリッシュな感じになる)する現象です。
ハードディスクの不良セクタの発生以外で、ファイル破損の原因は何が考えられますでしょうか？

昔から保有しているファイルである程、上記のような微妙な壊れ方をする確率が高くなるようです。
ファイルがこのような状態になる事はファイルの総数からすると本当に極まれなので、日常では支障が無いのですが、どうしてこうなるんだろう？という好奇心からの質問です。
もちろん保有しているハードディスクを全てHD Tuneなどでエラースキャン(クイックスキャンではありません)しても不良セクタは見つかりませんでした。

原因として思い当たるのが、時々大規模にファイル整理をするので、古いファイルほど他のハードディスクへのコピー回数が多いです。
ですので、コピーをする際にデータが破損する可能性があるのではないかと予想しています。
その根拠として、圧縮ファイルを別の正常なHDDにコピーしたら、圧縮ファイルが破損して開けなくなったという現象がありました。(コピー元の圧縮ファイルは開けました)
もちろん、そのハードディスクにコピーすると必ず壊れるというワケでもなく、その現象が起きたのは一回だけです。

デジタルデータは理論上は劣化しないはずですが、事実として劣化する事があります。
私の環境では不良セクタは見つからなかったので、USB接続を含むハードディスク間のコピーの際など、データが劣化する原因にはどのようなものがあるのかが知りたいです。
ハードウェアが故障しているからデータが劣化するのか、故障していなくてもデータは劣化する事があるものなのか、詳しい方よろしくお願いします。

回答No.5

noname#194317 · ベストアンサー

誤り訂正を行わなかった場合は、純粋にデバイスのエラー発生率に依存することになります。これらはゼロではありませんから、故障など発生していなくてもデータエラーを起こす可能性があります。エラーに至りそうな要因は複数考えられ、

1）HDDそのもののエラー発生率
2）SATAインターフェース上でのエラー発生率
3）ディスクキャッシュに使用しているDRAMのエラー発生率

ハードディスクのデータ信頼性と言うかエラー発生率が、日立製HDDだと10の14乗ビットに1個の割合とデータシートに書かれているので、昨今のTB級HDDにぎっちりデータを入れて、それをよく移動させているんだったらエラーの一つや二つ、あってもおかしくない計算になりますね。10の14乗bit＝100Tbit≒12.5TBです。この数字は片方向だけ、つまり読み出しあるいは書き込みだけの値であり、コピーの場合は読み書きが両方発生するため、ファイル容量ではこの数字の半分になります。

データシートのURL
http://www.hitachigst.com/tech/techlib.nsf/techdocs/33586ADC145D59A086257603007B022E/$file/DS7K1000.C_DS_final.pdf

SATAインターフェースでのエラー発生率は、多分データがないと思うので、これより高い数値かも知れないし、低いかも知れません。DRAMはまじめに捜せば出てくるかも知れませんが、チップ単体での値しか解らない気がします。でも、HDD単体であの数値ですから、システム全体で考えると、もっと悪い数値になりそうだな程度の想像はできるでしょうね。

お礼

ありがとうございます。

やはり睨んだとおり、デジタルだからといって誤動作の可能性はゼロではなく、100%完璧にコピーされるワケではないのですね。
大量にデータを扱うユーザーほど、単純に確率として破損の可能性が高いと…。

SATAインターフェース側でも、データ破損の可能性があるのですね。
とりあえず破損を見つけやすい圧縮ファイルを大量にコピーするテストして、破損が特定のハードディスクだけなのかどうか、原因を切り分ける作業をしてみたいと思います。
データ保存用のハードディスクよりも、PC本体の方が年期が入ってるので本体側も怪しいかもしれませんね。

＞3）ディスクキャッシュに使用しているDRAMのエラー発生率

↑はつまり、いわゆるハードディスク本体に搭載されているキャッシュ用メモリの事でよろしいでしょうか？

回答No.8

noname#194317

No5です。

> ハードディスク本体に搭載されているキャッシュ用メモリの事でよろしいでしょうか？

それもありますし、PCのメインメモリからキャッシュとして確保されているメモリのエラーレートもあります。少なくともPCのメインメモリは、エラーチェックを行っていません（ほぼできない）。サーバ用のパリティやECC付きメモリなら、チェックできますが。HDDが持っているキャッシュでエラーチェックしているかどうかは、ちょっとわかんないですね。容量が小さいので、チェックは難しくないとは思いますが。

お礼

再度ありがとうございます。

ファイルコピーの時は、メインメモリの領域も使っているのですね。(メインメモリを利用してファイルコピーを高速化するツールがあるので、逆に特に設定しない限りはメインメモリを使わないものだと思っていました。)
ECCなどは、自分には関係無い機能だと思っていたのですが、データエラーによるファイル破損を防ぐという役割もあるのですね。

＞少なくともPCのメインメモリは、エラーチェックを行っていません（ほぼできない）

他の方はパリティなどのエラーチェックしてるとおっしゃいますが、ますますnon-ECCなどの一般的な個人向けPCの場合どこの時点でチェックしているのか疑問が沸いてしまいました。(汗)
ちなみにOSはXP Home SP3です。

回答No.7

にゃ ♪（@p84902612）

劣化と言う表現が正しいかはわかりませんが、
ファイルが微妙に破損する事は稀にありますね。

良くある例が、CD-RやDVD-Rに焼いた画像ファイルや
動画ファイルを数年後に読み込んだ場合など。
一部破損した部分のリトライを繰り返した後、
異常なデータをさも正常であるかのように送り出してきます。

画像データなどは綺麗な緑のグラデーションになったり
動画であれば、キーフレームまでの間の一部が崩れます。

基本的にデジタルデータはエラー訂正やパリティ、CRCチェック
によって、元のデータを復元したり差異をチェックしていますが、
完璧と言うわけではないようです。

・パリティチェックは元データとパリティで構成されるため、
　最悪、2bit破損した場合にはエラーである事を検出できません。
・CRCチェックは元データと元データより導き題した計算結果で構成
　されるため、計算結果が同一となるような破損をした場合には
　それが破損であることを検出できません。

また、デジタルデータの劣化でなく、デジタルデータを記憶している
媒体の劣化...と言う事であれば、これはYESです。
0、1の境界が曖昧になる、又は反転する事があります。
例としては、
・CD-R/DVD±Rなどの有機色素を利用したもの
　年月が経過するにつれて、色素がある種感光してしまい
　元のデータの0と1が判別できなくなってしまいます。
　これを防ぐには、定期的に新しいメディアに記録し直すか、
　CD-RW/DVD±RW等の相変化記録メディアに保存するのが良いでしょう。
・古いHDD(垂直磁気記録でない)
　古いHDDはS極/N極を水平に記録しますが、これは
　S極とS極、またはN極とN極が並んで記録される場合がある
　と言う事で、当然反発します。これが長期間つづくと
　データが反転する場合があります。古いHDDではアクセス時に
　磁力の低下がわかった場合には、再書き込みをするようになっています。
　なので、古いHDDにデータを記録し電源OFFで保管しておくのは
　データ破損の可能性があります。これを防ぐにはHDD Walker等の
　ソフトにより定期的に全領域のSCANを掛ける事で対応できます。

お礼

ありがとうございます。

ファイルの破損と表現すると、No.1の回答者様のように破損とはファイルが開けなくなる事、デジタルデータをAll or Nothingなものだと思ってる人がいるので、開ける微妙な破損をどう表現するのかは難しい所です。

光学メディアのデータの劣化は有名ですよね。
そもそも光学メディアの焼付けはホコリとか汚れとか微妙なキズに晒されているのに、データの変化が起こらない方が変ですよね。
私も光学メディアで動画のフレームが壊れたり、カラフルになちゃった画像とか色々経験して、光学メディアは正確に記録するモノではないとハナから認識しているのですが、内臓ハードディスクでもそれが起こっちゃうので、HDDはどれほどの信頼性があるのか気になりました。
今まで、HDDに記録されたデータはデジタルデータだから、不良クラスタが無い限りは正確に記録してくれるものだと信じていたので…。

水平磁気記録型のHDDは長期保管しておくのは危ないのですね。
HDDを長持ちさせるには電源を入れる回数は少ない方が良いと思っていたので、余った古いHDDを電源OFFにしてデータ保管用にしようとしていた所なので助かりました。
データに『鮮度』というモノがあるとは…。
説明がとても分かりやすかったです。
古いデータほど微妙に壊れている可能性が高い原因は、コレがあるかもしれません。
垂直磁気記録のハードディスクは電源OFFで長期保存しても劣化する可能性は無いのでしょうか？

＞基本的にデジタルデータはエラー訂正やパリティ、CRCチェック
によって、元のデータを復元したり差異をチェックしていますが、
＞完璧と言うわけではないようです。

これはどの時点で差異チェックしているのでしょうか？
コピーの際でしょうか？
コピーの際にチェックしていると仮定した場合、それでも破損してしまった場合、エラー訂正、パリティ、CRCでは検出できなかった破損という事でしょうか。
その場合、手動でベリファイしても、データの変化の検出は出来ないという事でしょうか？(ベリファイで引っかかるのなら、コピーの際にチェックしていないという事になりますよね？)

回答No.6

bardfish

パリティとは
http://ja.wikipedia.org/wiki/%E3%83%91%E3%83%AA%E3%83%86%E3%82%A3#.E6.83.85.E5.A0.B1.E9.80.9A.E4.BF.A1.E3.83.BB.E6.83.85.E5.A0.B1.E5.B7.A5.E5.AD.A6.E3.81.AB.E3.81.8A.E3.81.91.E3.82.8B.E3.83.91.E3.83.AA.E3.83.86.E3.82.A3
いわゆる「エラー訂正」。

２進数で「１」になっている桁の数が奇数か偶数かをチェックしているだけなのでパリティチェックだけでは不十分なことがほとんど。
その為パリティ以外のエラー訂正ロジックを併用している場合がほとんどです。

デジタルデータというのは伝送路上で電気信号が「劣化」したとしてもエラー訂正プロトコルで元の状態に「復元」することが可能です。

ノイズ対策をしていないケーブルを使用するとデータが変化する可能性はあります。エラー訂正といっても万能ではありませんからね。

シールドされているケーブルを使用していたとしても余りにも安いモノは信頼性が低く、しっかりとノイズ対策されたケーブルは信頼性も高く高価です。
アナログRGBのモニター用ケーブルでも同じ長さで３千円のモノと２万円のモノとでは、使用しているパソコンとモニターが同じでも写りにハッキリとした差が出ます。

質問者様なようなケースでは、原因をハードディスクだけに求めても見当違いかもしれません。
コピーしただけでデータが化けてしまう場合は、電源からハードディスクを接続するケーブル、メインメモリ、筐体内の配線の取り回しにいたるほぼ全てを見直す必要があります。最悪の場合、家屋内の電源配線も疑わなくてはいけません。

お礼

ありがとうございます。

やはりパリティも完璧ではないのですね。(だからこそコピーしただけでデータが壊れるんでしょうし)

データの送受信についての詳しい説明ありがとうございます。
sata規格だったらどれも同じかなと思い、HDDに使用しているのは200円くらいの安いsataケーブルでした。
やはり値段の違いで信頼性が違うのですね。
プライスレスなデータを守るため、安心料だと思ってちゃんとノイズ対策が施されたケーブルに順次変えていこうと思います。
様々な可能性を提示していただきありがとうございました。

回答No.4

P0O9I

HDDのデータはヘッドで磁界をかけ、表面に残留磁界を残し、記憶させています。その部分に欠陥が有り、残留磁界が規定値より小さければ、記憶できません。長期的には、特に高温になると残留磁界が弱くなりデータが壊れることはあり得ます。
実際のHDDはシステムとして、十分なマージンを取っていて、殆ど問題にはなりませんが、可能性は有ります。１TBのHDDを考えると、8×10^12 ビットのデータが記憶されることになります。全ビットの読み書き検査は、時間上殆ど不可能です。HD Tuneなどの検査ソフトでも全ビットの読み書き検査はしていないでしょう。

＞圧縮ファイルを別の正常なHDDにコピーしたら、圧縮ファイルが破損して開けなくなったという現象がありました。
考えられるのは転送先のHDDに小さな欠陥が有り、データが壊れた可能性ですね。

結論を言えば、どんな物にも壊れることはあるということです。対策としてはコピーするときは、その後にベリファイすること。データは複数のHDDにバックアップしておくこと。等でしょう。

お礼

ありがとうございます。

＞全ビットの読み書き検査は、時間上殆ど不可能です。HD Tuneなどの検査ソフトでも全ビットの読み書き検査はしていないでしょう。

つまりは、HD Tuneは全ての不良セクタを検出できるワケではないという事でしょうか？
HD Tuneの信頼性について調べてみましたが、それについての文献は見当たりませんでした。
HD Tuneのチェックは全容量のファイルコピーとほぼ同じ時間がかかったので全部チェックしているものと思っていたのですが、違うのでしょうか。(USB2.0接続の2TBのチェックが24時間以上かかりました)
『HD Tuneは全ビットの読み書き検査をしていない』という根拠はどのようなものがあるか教えていただければ幸いです。

回答No.3

山田 太郎（@testman199）

劣化って表現がどうかと思いますが
可能性としてデータの破損は存在します

ただし、それは頻繁に起こるものではなく
貴方の場合は再生環境の不具合の可能性が高いと思いますけど。
どうしても気になるならファイル情報の整合性を確認してみるのが良いでしょう
http://www.vector.co.jp/soft/winnt/util/se297267.html

お礼

ありがとうございます。

ファイルの破損っていう表現だと、ファイルが開けないような感じなので、劣化が適切かなと思いました。
前編に渡ってブロックノイズが出るのではなく、ごく数秒ノイズが出るので、コーデックなどの再生環境のせいではないと思います。
そこの部分だけが微妙に壊れてるような感じです。

早速紹介して頂いたソフトで元が同じデータを比較した所、MD5が違う数値でした。
これはデータが劣化(破損)したという事でよろしいでしょうか。

＞ただし、それは頻繁に起こるものではなく

確かに頻繁に起こるワケではないのですが、不良セクタがあるワケでもないのに何故起こるのか、今回の質問ではどのような可能性があるのかが知りたいです。

回答No.2

qaz_qwerty_me

>デジタルデータは理論上は劣化しないはずですが、事実として劣化する事があります。
＃１さんが回答しているように「デジタルデータは劣化しません」。

パリティって知ってます？
デジタル・データには必ずパリティがあって、正しデータが読めたこを確認できる手段があるのです。

>ZIPやLhasaのようなファイル圧縮では、圧縮・解凍時にファイルを破損することがあります。
ということや、フォーマットの違う形式のデータを変換しながら再生すると劣化すると思いますが、それは正しいフォーマットで再生すれば解決することでデジタル・データが劣化するということではないです。

お礼

ありがとうございます。
パリティは初耳ですが、パリティというもので確実にデータの劣化(破損)防げるものなのでしょうか？
今回の質問は壊れない為の技術よりも、それをもってしてもデータが破損する可能性を知りたいのですが…。

『デジタルデータの劣化』という言葉に囚われ過ぎるのもアレかなと思いますので、jpgや動画ファイルに前は出なかったブロックノイズが出る原因は何が考えられますでしょうか？

同じファイルでノイズの出る、出ないがあるので、グラボ関係では無いと思うのですが…。
現状から察するに、ファイルのデータそのものに原因があるとしか思えません。

回答No.1

Us-Timoo

残念なからHDDのデータは、デジタルデータの信号なので内容に関しては劣化しません。すなわち

信号の劣化 ＝ 信号の破損

ですので

信号の破損＝ ファイルの破損

なので、内容が劣化するのではなくファイル自体が再生不能になります。

圧縮エンコードしてある動画や非可逆圧縮する仕様の形式の静止画は再生するソフトの能力や制限、パソコン環境により、ブロックノイズなどか出現するようになります。

また、ZIPやLhasaのようなファイル圧縮では、圧縮・解凍時にファイルを破損することがあります。

ご質問者の言っておられる理論だと世の中のHDDに保存してあるコンテンツは移す度に劣化することになり、世の中のデジタルデータは劣化していくことになりますよね？
それでは、デジタルデータを守れないと言うことになりますよ？

勘違いされないことです。

お礼

ありがとうございます。

データの劣化というのは、回答者様にがおっしゃるデータの破損の事です。
ファイルを開けないワケではないけど、微妙に壊れてる…という意味を込めて『劣化』という表現を使いました。

＞なので、内容が劣化するのではなくファイル自体が再生不能になります。

例えばCD-Rなどの光学メディアの場合ですが、完璧にコピーされるワケではありません。
しかし再生不可能というワケではなく、多少のエラーは補正されて再生されます。
おそらく再生可能なデータの劣化というものをご存じないのではないでしょうか。

私の場合ですと、保管場所が違うだけで同じファイルなのに、ノイズが出るファイルとノイズの出ないファイルがあります。
これは環境のせいではなく、ファイルそのものが劣化したという事だと思います。(当然両方のHDDとも不良セクタは無かったです)
環境によってjpgにノイズが出るという事例も聞いたことがありません。

＞また、ZIPやLhasaのようなファイル圧縮では、圧縮・解凍時にファイルを破損することがあります。

何故破損するのでしょうか？原因を教えていただけますでしょうか。

＞ご質問者の言っておられる理論だと世の中のHDDに保存してあるコンテンツは移す度に劣化することになり、世の中のデジタルデータは劣化していくことになりますよね？
＞それでは、デジタルデータを守れないと言うことになりますよ？

デジタルだからといって、いかなる時も未来永劫劣化する可能性は少しも無い…という意見には懐疑的です。
事実、データが劣化していますし。
デジタルデータは対策をしないと様々な要因で劣化(破損)していくものではないでしょうか？
だからこそ、重要なシステムはバックアップなどの対策をとるのではないでしょうか。