大きなデータの保存の仕方

質問

データ解析、に興味があります。
データといってもエクセルに入れていますが、エクセルには制限があるみたいです。
https://support.office.com/ja-jp/article/excel-%E3%81%AE%E4%BB%95%E6%A7%98%E3%81%A8%E5%88%B6%E9%99%90-1672b34d-7043-467e-8e27-269d656771c3

これを超えるデータはどんなソフトを使うんでしょうか？
ビッグデータが話題になっていますが、ビッグデータを保存するにはどうするのか。
家のパソコンでもできるのかどうかなど、教えてください。

回答No.4

chachaboxx · ベストアンサー

データベース（DB）になりますね。
Googleが持っている程のデータになると、家の中がパソコンで埋まってしまいますが…。

DBはデータがまとまった【ファイル】という概念ではなく、必要なデータ形式の【行（レコード）】という単位で記録しますので、DB（サーバー）をリンクさせていけば無制限です。
データ形式はルーズですが、インターネットがいい例です。

重要なのは、どんなデータ形式にするかということです。
エクセルで言えば、どの列にどんな情報を入力するかということになります。

お礼

回答ありがとうございます。
概念的に難しく・・・・もっと勉強してみます。

回答No.3

bardfish

ソフトを使用せずともテキスト形式でデータを扱っているものはたくさんありますよ。

AccessやSQL Server、Oaracleといったデータベースもデータを扱うためのソフトでしかありません。
エクセルというのはそもそも表計算ソフトです。本質的には集計結果を元に表を作成し簡単な計算を自動で行うものです。バージョンが進むときに簡単なデータベース機能が追加されていったに過ぎません。専用に作られたデータベースソフトにはかないませんが、表計算ソフトのメリットをシームレスに使えるメリットが大きいからここまで浸透してきたのでしょう。Lotus 1-2-3の頃から知っている自分から見ると今の表計算ソフトは機能が多すぎです。

>ビッグデータを保存するにはどうするのか。
発想の原点が違います。
ビックデータがあるからではなく、必要なデータを集めていたら大きくなったと言ったほうが正確かもしれません。

個人が手軽にデータを扱うとしたら表計算ソフトが最も手軽ですが、それよりも手軽なのが「プログラミング言語」です。
無料で使えるスクリプトが多言語の中にはテキストで保存されているデータを処理することが得意なものもあります。例えば、天体観測の観測データというのはビックデータという言葉が出てくる以前から膨大な量の情報が毎日蓄積されていきます。そのデータは数値ばかりでテキストとして存在します。そして、そのデータはスーパーコンピューターを専有しても数年かかる量になりますが、スパコンをそんなに使うことは許されていません。他の目的でもスパコンの需要はあり、自前で調達するには高額すぎるのです。そのために、世界中に何億台と存在する個人使用のパソコンを意義に同意してくれる人限定ですが分析ソフトをインストールしてもらってデータ処理に活用しているプロジェクトもあります。
それだけのデータを保存するストレージも必ず用意できるとは限らないので磁気テープにコピーして保管していたりします。印刷した紙も対象だったりします。最先端の研究の場であってもレガシーデバイスというものが現在でも活躍しています。

お礼

丁寧なご回答ありがとうございます。
データと言っても色々あってむつかしいんですね。
参考に勉強してみます。

回答No.2

oboroxx

マイクロソフトのSQL ServerやオラクルのOracle 19cなどのリレーショナルデータベースが使われていると思いますよ。
どちらも無料版があります。（ライセンスに注意です）
一応、デスクトップなら家のパソコンでも使えますよ。（ノートパソコンでもできるかもしれませんが、スペック的に重いと思います）

お礼

回答ありがとうございます。
リレーショナルデータベースとか勉強してみます。

回答No.1

stss08n

●　MS_アクセス(2016以上)等も、有効な場合が、あります。
●　HDDパーティションソフトウエア　＋クラウドインターフェイスソフト等が、最低限”必要に、なります。※
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊