ディレクトリ内のファイル名取得

質問

maruchan と言うものです。
よろしくお願いします。
さっそく質問

環境
cygwin gcc version 3.3.1

やりたい処理は、ディレクトリ内の全てのファイル名を取得したいと思っています。

内容を見ると単純ですが、そのファイルの数が約１０万ファイルぐらいありまして・・・ファイル名を取得するだけで結構な時間が掛かってしまいます。

そこで 私が質問したいのは 高速にファイル名を取得する方法はないのか知りたいです。

私が書いたサンプルです。

/*******************/
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <dirent.h>

int fileSelector (const struct dirent *entry);

int main(void)
{
int i = 0;
int dirCnt = 0;
struct dirent **dp = NULL;
char dirPath[256];

strcpy(dirPath, "./file/");

dirCnt = scandir(dirPath, &dp, fileSelector, alphasort);

for(i=0; i < dirCnt; i++) {
/* 本来はここでファイル名を何かに登録する */
dp[i]->d_name;
}

free(dp);

return 0;
}

int fileSelector (const struct dirent *entry)
{
if (strcmp (entry->d_name, ".") == 0 || strcmp (entry->d_name, "..") == 0)
{
return 0;
}
return 1;
}
/*******************/

回答No.4

BLUEPIXY · ベストアンサー

>(1)だけが異様に時間掛かってました 約１７秒ぐらい
ファイルのキャッシュが効く２回目以降の実行でもそれほど時間がかかるなら、
dp[]が大量にメモリを消費しますから、
ページアウトしてたりするんじゃないでしょうか？

お礼

ここまでつきあって頂き有難うございます。

どちらにしろ この３通りの方法での共通した問題は
初回実行時のキャッシュがない時に時間が掛かってしまうこと
これは、もうどうしようもないように思えます。

回答No.3

BLUEPIXY

ウチのcygwin + gcc
で実際に簡単なサンプルを書いて実験してみた処
１０００００コのファイルの探索では、ほとんど有意な差はありませんでした。
(1)scandirを使う方法
(2)readdirを使う方法
(3)パイプでlsからの出力を使う方法
の３つを試してみたのですが、
どれも、１秒未満で終了してしまいます。
何回も試しているので、ファイルアクセスのキャッシュの効果があると思いますが、それほど変わらないようです。
一応
timeコマンドで時間を測定してみた所
（３）＞（２）＞（１）
の様にはなっていました。
単に処理の複雑さが（３）＜（２）＜（１）になっているためと思われます。

補足

実際に実行してくださって ありがとうございます！！

やはり　数が数なだけにいちいちソートしてたら
遅くなるのが当たり前ですよね・・・

私の所では、(2)と(3)が同じくらいの速度で
１秒掛からないくらいでした。
(1)だけが異様に時間掛かってました 約１７秒ぐらい

回答No.2

BLUEPIXY

#1です
見当違いなことを言ってすみません。
今のプログラムだと、scandirが終了するまで待たないといけないので、こういう部分を別プロセスにすることで、スピードアップが図れるかもしれません。
プログラム的には、実際に別プロセスにするプログラムを書くより
ls -l || thisProg
のようにパイプを使うのが簡単の様に思います。
ｗｉｎｄｏｗｓの様に、前のコマンドが終わってからしか動かないというようなことが、ＵＮＩＸ系ではないと思いますので、スピードアップが図れると思うのですが、どうでしょうか？
実際に試した訳ではないので、自信はないですけど。

お礼

いえいえ　よく考えて見ると BLUEPIXYさんの言っていた

＞＞あらかじめ、ｌｓでファイル名のファイルを作っておくのも１つの方法かと思います。

を使えないかと考えていたところ
動的に増えていくファイルだけじゃない所もあるので
そこを ファイルリストを作って少しでも負担を軽く出来るように作り直してみます。

パイプの方は、このファイル名が取得出来ないと
次の処理が出来ないのでちょっと難しいです。

出来れば PHPにあるsqliteのような簡単なデータベースが
ｃ言語にもあれば一番いいのですが・・・ないですよね？

回答No.1

BLUEPIXY

動的に取得する必要がないなら、
あらかじめ、ｌｓでファイル名のファイルを作っておくのも１つの方法かと思います。
検討違いだったらすみません。

補足

アドバイスありがとうございます。

すいません私の説明不足でした。

目的のファイルは 結構頻繁に増えるので動的に取りたいと思っています。