ファイル構成に関する質問

質問

【環境】
言語はPerl 5.8。
データベースは使用できない。(汎用化の問題)
使用できるのは標準モジュールのみ。(同上)

【やりたいこと】
データベースとほぼ同一、特定のキーを元にレコードの抽出、保存。
また、一覧の作成。
ライセンスの関連もあるので、汎用化を前提に自作を検討。

【疑問点】
今回、ファイル構造について疑問に思う点があります。
OSの用意するファイル管理は一種のデータベースと見ることができ、これはほぼ全ての環境で使用できます。
複数の掲示板のソースを参照して、ほぼ全ての掲示板で一つ、もしくは複数のファイルにデータを保存してそれをメモリ展開後扱っていました。
しかし、データベースのような構造の場合、レコードごとの関連は低い用件では、レコードごとにファイルを作成しても良いのではないか？
逆に分散することにより全体が壊れる可能性の低下などのメリットがあるのではないかと考えています。
しかし、採用している掲示板が少ない事が気がかりとなり、実装に踏み込めていません。

データベースのようなファイルを複数に分割するメリット・デメリットなどあるのでしょうか？

回答No.1

みずの（@mizuno3） · ベストアンサー

デメリット
１．ファイル数の制限
２．read処理の低下
３．データ管理の不便さ

メリット
１．ファイル破損を避ける

この辺でしょうか。

普通、汎用的な掲示板の場合、メリットであるファイル破損を避けるために、最大行数を設けていると思います。
1000行で削除するとかってアレですね。

データ量が多くなればなるほど破損しやすくなるかと思うので、ログを消したくない場合は何らかのファイル分散処理が必要になると思います。

ただし、多くの人はレンタルサーバーを使用すると思いますので、汎用的な物として考えた場合必ず容量制限の問題が発生します。
また、サーバー環境によってはファイル数の制限にかかる場合もあります。

それを考えると、ファイルを分散化してもログの自動削除という処理が必要になると思います。
削除を行うには古いデータから消す手法になると思いますので、各ファイルの時間情報やシーケンス情報などから削除する順番を知っておく必要があると思います。

多くのファイルの順序を取得するのは結構なコストになると思いますので、その辺もデメリットになるかも知れません。

また、検索処理などでreadが多く発生する場合、iowaitが高くなります。
人気が高いサイトになると、ファイルだけに頼ってしまうとどうしても限界があり、メモリに頼らざるを得なくなります。

　掲示板の構成に合わせたファイル分散化を行う
　　スレッド単位でファイルを分ける
　　日付単位でファイルを分ける
　　カテゴリ単位でファイルを分ける
　ファイル数が膨大になるような場合に別途処理を設ける
　　検索や一覧表示用の処理
　　更新順序の取得

こんな仕様であればファイルの分散化は効率が良いのかなと思います。
そのため、各掲示板ごとに仕様が決まっていて、いくつかの手法が取られているんじゃないでしょうか。

１．１つのファイルで扱う
２．削除時は最後の行を削除する

これは単純で明快であると思うのです。

お礼

回答ありがとうございます。
やはり、手法の一つとしてはOSのファイル管理機能をデータベースのように使うというのも一つの方法として良いみたいですね。
問題は、ファイル容量と、参照の兼ね合いですね。
いろいろ実験をして確認してみます。