3D ベンチマークソフトは実際何を測定しているか？

質問

表題そのままですが、Final Fantasy XI のベンチマークソフトとか巷に色々あって、PC の描画能力を数値化しますが、あれは具体的に何をどう計った結果なのでしょうか？
特に同じ種類の製品でも個体によって値が微妙に違っていたり、個体が同じであっても何度か測定すると値が違うことがあるのが理解できません。
識者の皆様の解説をお願いいたします。

回答No.2

noname#62848 · ベストアンサー

基本的にはフレームレート（１秒間に描画できる画の枚数）を数値化して複数のテストのスコアを合算した結果です。3DMark05などだとビデオカードのハードウェア描画能力無しソフトウェア描画のみでの計測でCPUの演算能力の優劣も入ってきますね。シェーダーバージョンが対応していないビデオカードではその負荷テストでは0点になりますので古いカードはスコアが悪くなります。

また電源からの電圧も微妙に変わりますのでその時々でスコアは上下します。

http://www.4gamer.net/specials/4g_benchmark/benchmark-regulation.shtml

お礼

ありがとうございます！
DirectX など描画に関係するコマンド群を投げてパフォーマンスを測定するということはわかりましたが、具体的には何をしているのでしょうか？コマンドを投げて、戻り値が返ってくる時間を測定している？？のでしょうか？
ソースを見れば分かる話なのでしょうが、ざっと見てみたところ 3DMark のソースは見つけられませんでした… それどころか 3DMark などのスタンダードなソフトに対しても、パフォーマンスを正しく測定したものではない、という議論もあったりするのですね。
数値は電源からの電圧のゆらぎでも変わるのですか… シビアですね。

補足

すみません、先ほどの自分のコメントのフォローですが、私が読んだ記事では、3DMark はパフォーマンスを正しく測定したものではない、とは書いておらず、悪意あるグラフィックカードメーカーが 3DMark のスコアだけを上げる tweak をすることが可能らしい、と書いてありました。 誤解を招く表現だったので訂正します。
http://www.digit-life.com/articles2/antidetect/index.html

回答No.4

toro777777

>結局何を測定しているかはっきりしなければ （まだ教えていただけていませんが）、CPU を同じ環境においてテストできるのかできないのかわかりませんので、これ以上は水掛け論ですね。
3D機能もすべてがGPUで処理されていると思っている?
それは不可能。
3D機能のどんな計測するにしても
CPUもメモリなどなど関係してきます。

>同じ製品には同じドライバが入っているもので、
出荷時期が違うならドライバのバージョンも
違う可能性は十分にある。

>こういうベンチマークを取るときは最新のものでやるのではないのでしょうか？？
とは限らないでしょうね。
必ずしも最新のドライバが良いとは限りませんし
パフォーマンスが必ずしも良いとは限りません。

>とするとドライバの違いは特にないのでは？
ビデオカード限定で考えている?
ビデオカードのドライバだけが関係しているのではない。

お礼

すみません、↑上記コメントが不十分だったかも知れませんので、補足です。
私は CPU がベンチマークに関わっていないとは考えていません。が、ベンチマークでボトルネックになるのは常に GPU だろうから、CPU の状態にはほとんど（もしかしたら全く）スコアは関係しない、とは考えています。実際 CPU がボトルネックなることがあるのだろうか？というのが今の私の疑問点になるかと思います。

補足

即答ありがとうございます。

> 3D機能もすべてがGPUで処理されていると思っている?

いや、さすがにそこまで無知ではないので、そうは思っていません。私の回答のどこかでそのように解釈されましたか？しかし DirectX のコマンドはどのようにして CPU を経由して GPU に投げられるのか、詳しい内容は確かに分かっていません。ご教示いただければ幸いです。

> 必ずしも最新のドライバが良いとは限りませんし
> パフォーマンスが必ずしも良いとは限りません。

まあ、そういうこともあるでしょうね。（それでも最新が一番いいというのが普通だから、ベンチマークをするときは普通最新にあげるものなのでは？とは思うが）
議論の枝葉になりますので、ここに関してはこれ以上追求はしません。

> ビデオカード限定で考えている?

いえ、そうは考えていませんが。 どこでそう解釈されました？

回答No.3

toro777777

>具体的にどのような計測ですか？たとえばスコアが 5000 とかでますよね？その5000の単位は一体なんなのでしょうか？
#2さんの通りですね。

>ここでいっている「ドライバー」 とはなんでしょうか？デバイスドライバーのこと？
そうです。
ビデオドライバはもちろん
その他のドライバすべてを指します。

>作り出せるのでは？NW から切り離し必要最小限のプロセスのみを走らせている条件で測定すればよいのですよね？
それ自体無理です。
それでもそのプロセスがどのタイミングでCPUやメモリを
使用して100%同じ命令がCPUに送信されてCPUが同じ
タイミングで同じタスクを処理して
(今のOS自体シングルタスクではないのでマルチタスクで
処理するためどうしても時間でいくつものタスクを
処理しないといけません。)
同じアドレス空間にメモリ領域が確保されるなど
作ることができると思いますか?

お礼

> 同じアドレス空間にメモリ領域が確保されるなど
> 作ることができると思いますか?

私にご質問されているのでしょうか？(^^;) えーとわかりません...
結局何を測定しているかはっきりしなければ （まだ教えていただけていませんが）、CPU を同じ環境においてテストできるのかできないのかわかりませんので、これ以上は水掛け論ですね。
しかし記事によると 4gamer も私と似たような想定でテストをされているようですね。

> ビデオドライバはもちろん
> その他のドライバすべてを指します。

通常、同じ製品には同じドライバが入っているもので、こういうベンチマークを取るときは最新のものでやるのではないのでしょうか？？とするとドライバの違いは特にないのでは？

回答No.1

toro777777

メインは3Dの性能の計測。

数値が変わるのは
同じマシンでも
各ドライバーによって
パフォーマンスが変わるからとか
人によって環境が違うから

個体が同じ場合でもその時にCPUにかかっている
負荷が100%同じ状況なんて無いでしょ。

補足

3D の性能ということはさすがに分かっていますが、具体的にどのような計測ですか？たとえばスコアが 5000 とかでますよね？その5000の単位は一体なんなのでしょうか？ また「メインは」とおっしゃっていますが、メイン以外ではなんでしょうか？ ソフトによって変わるということであれば、具体的にこのソフトであればこのような測定を行っているという例でもかまいません。

> 各ドライバーによって

ここでいっている「ドライバー」 とはなんでしょうか？デバイスドライバーのこと？

> 負荷が100%同じ状況なんて無いでしょ。

作り出せるのでは？NW から切り離し必要最小限のプロセスのみを走らせている条件で測定すればよいのですよね？