大量のファイルダウンロードで速い方法は？

質問

他所のサーバから、ファイルをダウンロードすることが多々あります。現状では、ネットワークドライブに割り当て、
copy g:\*file1 c:\
これをファイル名を替えて全部バッチファイルに書き出し、実行してます。
ファイル数1万、1個1メガバイト程度。1、2時間です。

もう少し速くなりませんか？こちら側でソフトを使う等は可能ですが、相手側で圧縮して送る等はできません。書き込み不可です。

回答No.4

kteds · ベストアンサー

copyコマンドを使っているということはWindowsネットワーク環境なのですね。
W7標準コマンドの robocopyを使ってみてください。
また、Windowsネットワークにこだわらず ftp 転送を検討してはどうでしょうか。
他所とはいえ、サーバならばftp程度は管理できるでしょう。
ftpクライアントはW7標準コマンドで用意されています。
どちらも使い方は添付画像のようにヘルプを参照してください。

お礼

ありがとうございます。
FTPを忘れてました。robocopyは知りませんが試してみます。

回答No.5

vaidurya

まず、第一にそれはダウンロードと言わない。

copyコマンドが使えるなら、それはファイル共有なので
コピーはコピーで、ダウンロードではありません。

その上で、ファイル共有の方法、形態がわからないのでは
本来得られるべき速度がわかりません。

現状が、理論上の上限からかけ離れているのか
それとも、妥当な速度なのかわからないのでは、どんな努力も徒労に終わるかもしれません。

たとえば、小さいファイルを大量にコピーするのであれば
XP時代のSMB1.0では仕様上、速度が芳しくないものでした。

これがVista時代に大幅に改善されていますが…
1MBのファイル群であれば、SMB1.0でも2.0でも大差無いかもしれません。
(このへんを検証したベンチマークを探してみる価値はあるかもしれません)

10000x1MB/1時間で考えると
速度としては、2.8MB/sになります。
2時間かかるなら1.4MB/sで
LANの規格で言えば、100BASE-TXとかIEEE802.11gが予想されます。

もうGigabit Ehternetが普及帯まで降りて10年くらい経ちます。
(2004年のビジネス向けノートPCに搭載されていたりします)

有線で、同事業所内であれば、稟議書書いて、設備投資を促すよりほか無いでしょう。

無線LANを介しているなら、IEEE802.11nや最新のIEEE802.11acに切り替えたり
有線に切り替えたり、電波障害の排除、アンテナの延長や配置変更を試みます。

実験的にでもftpを使えるなら
ftpでの速度を検証しましょう。

ftpは現在のWindowsネットワークでも基礎に使われるTCP/IPにおいて
ファイルトランスファーの専用として作られたプロトコルで
シンプルにして、もっとも高速なファイル転送の手段です。

ftpとSMBの間で、転送速度に大きな差があるようであれば
SMBの設定の見直しが必要な場合もあります。

100BASE-TXであれば、理論値としては3MB/s台くらいは狙えると思います。
Gigabit Ethernetが導入済みであれば、それが双方で利用されていて
ジャンボフレームなどの適切な設定が行われているのか?
ケーブルのグレードは適切か?断線は無いか?
経路上に100BASE-TXのハブやルーターが入ったりしていないか?

各所を、充分に確認する必要があると思います。

たとえば、Windows7搭載でも、廉価のノートPCではIEEE802.11nをメインとし
有線LANは100BASE-TXになっているような糞仕様のものがあります。

GbEでありながら2MB/s台は、あきらかに異常です。
GbEで適切な構成であれば、瞬間最大は100MB/sを越え
これは40GB程度の古い内蔵HDDや、USB2.0の外付けHDDよりも高速なものとなります。

ですが、相手側がWindows Serverなのか、単なるクライアント用Windowsなのか
それとも、低価格のNAS製品か、割高なWSS搭載NAS製品なのかもさっぱりわかりません。

単純にファイル共有のホスト側の性能不足に問題があったとしても不思議ではありません。
それだけ大量のファイルが生成されるのであれば
それなりに大量のアクセスが行われている可能性があります。

そういった仕様上の障壁を、当面改善できないのであれば
Windowsネットワーク上で、随時同期を行なうほうが
待ち時間の解消という点では効果的かもしれません。

お礼

ありがとうございます。

回答No.3

meg68k

おはようございます。

んー、まだ圧縮していないとか、圧縮が効くデータなら、圧縮機能
のあるブラウザ（クロームとか）を使用してみるとか。
http://gigazine.net/news/20140304-data-compression-proxy/

圧縮されているデータならブラウザより専用ツールの方が早いとは
思いますが、どれくらい早くなるかはなんとも。

ダウンロード先をSSDまたはRAM-DISKにするとか。

お礼

ありがとうございます。

回答No.2

mpascal

FastCopy などを使う方法もありですよね。

http://www.vector.co.jp/soft/win95/util/se360695.html

お礼

ありがとうございます。

回答No.1

noname#218036

こちらでは書き込み速度のより速いＳＳＤを使う。(すでに使ってたら無視）
CrystalDiskMarkで書き込み速度を測定できます。

お礼

ありがとうございます。