性能・負荷試験の書き方について。

質問

性能・負荷試験の書き方について。

今まで実際に経験していないのですが、そろそろ総合試験を行うようになりそうで、
その中でもぴんとこない性能・負荷試験についてお伺いしたいです。

スループットやレスポンスなどを図るということなのですが、
試験項目として起こした場合、どのように記述されるものなのかがぴんときません。

本やネットで探しても観点というか、考えは載っているのですが具体的な形になった
ものがないためよくわからいない状態です。
もちろんシステムや会社ごとに違うので一概にかけないのかとは思いますが。

例えば同時接続数が２００の時にレスポンスが3秒以内が要求であれば、

条件
　同時接続が２００の場合
期待する結果
　レスポンスが3秒しないであること。

などとなるでしょうか？
実際、こんな記述はしないとは思いますが、項目表もみたことがないので、
はじめる前から少してんぱっています。

また性能要求などは提示されていない場合もあると聞きますが、そういった場合にどういう根拠でどのようになれば性能が問題ないと判断するのでしょうか？

例えば同時接続数を見積もる方法や、レスポンスが何秒ならば適正かなど・・・。

項目表の記述がよく分からないものに限界性能をテストする試験があります。
負荷をかけて、どの程度まで正常に動くかというものだと思いますが、
期待する結果には全て正常終了することと記述するものなのでしょうか？

限界をしるのだから、どこかしらでエラーになるかと思いますが、
期待する結果を正常終了としたらテスト結果はNGとなり、試験が完了しな気がするのですが、それとも正常終了するかどうかを確認するなどといった、期待する結果を書かない
ような記述になるのでしょうか。

質問は下記の3点になります。
簡単な記述でも構いませんので、具体的な記述があれば理解に助かります。

1.性能・負荷試験の項目表の条件と結果はどんなような記述をしているのか。
2.条件（同時接続数など？）や結果（スループットやレスポンスなど？）の値をどのような根拠で設定しているのか。
3.限界性能をテストする項目表の期待する結果は正常終了にして、限界を超えた箇所はNGとするが、特にNGのまま試験フェーズ終了となるのか。

質問が漠然としているかとは思いますが、お付き合いいただけるとうれしいです。
取っ掛かりが分からずこのような質問になってしまいました。

回答No.2

SnowShower · ベストアンサー

No.1です。
>自分自身今まで開発した中で、性能要求の記述がありませんでした。
>だいたい詳細設計までをどこかでつくってきて、それに対する開発→結合試験までが自分の担当で、総合試験からはほとんどノータッチでした。
開発するうえでも「どんな製品のどの部分を作っているのか」という理解をするうえで「詳細設計書」だけでなく「基本設計書」も読んでおくべきですよ。
この時点で「性能は？」と思いつけるのとつけないのでは、その先がかなり違いますから。

>開発時に外部設計の資料とかを探して暇をみつけて読んでいたのですが、そのような記述がなく、そんな場合のあるべき性能なんてどうやって決めているんだ？
>と思っていました。
その疑問はもっともです。
こういう場合は、「試験担当者」として開発者や設計者に対して文句を言うべきです。
『何を元に試験すればいいんだ？　性能評価の為の基本情報よこせ』と。
「要求仕様書」や「基本設計」にすら載っていなければ「大問題」とすべきです。
私も過去に何度かありましたが、「上」だけでやりとりしているので「下」には情報が回ってこなく、結果的に性能が出ないためにコンパイラで吐き出したアセンブラを解析して不要部分を手作業で削除するといった羽目になったこともあります。

>他の会社の詳細設計書が他社ではプログラム設計書だったり・・・。
>ただフォーマットが何もないとき、1から作成するのは自分にはまだ時間が掛かるので、テンプレートを探したり、家で仮想仕様で書いてみようとしたりしてはいるのですが、なかなか・・・。
よくわかります。
ない場合は、過去に経験した業務でよさそうなものを失敬して作ってました。

お礼

お返事おそくなってごめんなさい。

>開発するうえでも「どんな製品のどの部分を作っているのか」という理解をするうえで「詳細
>設計書」だけでなく「基本設計書」も読んでおくべきですよ。
>この時点で「性能は？」と思いつけるのとつけないのでは、その先がかなり違いますから。

おっしゃること分かります。
なかなか時間がなく後回しにしがちですが、意識してみたいと思います。

>こういう場合は、「試験担当者」として開発者や設計者に対して文句を言うべきです。
>『何を元に試験すればいいんだ？　性能評価の為の基本情報よこせ』と。

この辺りのやり取りが下手でいつも困っています。
本来用意されるべきと思うことを要求、たとえばこの例だと上記のようなものに
なるかと思いますが、大抵答えは「それを考えるのがあなたの仕事」という
結果になってしまいがちで・・・。

反論しようとも真正面からいくと喧嘩ごしにきれられることも多く、
お客さん怒らすわけにもいかず四面楚歌に（苦笑）。

もちろん自分の力不足が根っこにあると思うので、人のせいにはできないのですけれども。
少しずつでも改善していきたいなと考えています。

お話参考になりました。有難うございます。

回答No.1

SnowShower

>1.性能・負荷試験の項目表の条件と結果はどんなような記述をしているのか。
「指定された所定条件を満たしているか」これが全て。
だから、究極的には以下で十分。
>条件
>　同時接続が２００の場合
>期待する結果
>　レスポンスが3秒しないであること。
但し、「どんな接続なのか」「単に接続しただけで動作させないのか」といった詳細な条件や「測定結果としての値」は必要。

>2.条件（同時接続数など？）や結果（スループットやレスポンスなど？）の値をどのような根拠で設定しているのか。
基本的に「仕様」が全て。
これも関連か
>また性能要求などは提示されていない場合もあると聞きますが、そういった場合にどういう根拠でどのようになれば性能が問題ないと判断するのでしょうか？
「仕様」を元に「設計」時に規模想定していない方がおかしいけど？
提示がなければ、こちら側で検討して提案し「了承を得たうえで開発する」のが基本。
でなければ相互に認識のずれが生じ、後から大問題になる。
試作品で「性能なんかどうでもいい」というものなら、様々な条件で得た測定値をそのまま提示して「ここまでの条件なら許容できる」って感じでくくる。

>3.限界性能をテストする項目表の期待する結果は正常終了にして、限界を超えた箇所はNGとするが、特にNGのまま試験フェーズ終了となるのか。
所定性能を満たしているのであれば問題ないと判断はできる。

様式は企業や部署によって様々だから、参考になるものないか聞いた方が確実。

お礼

>「仕様」を元に「設計」時に規模想定していない方がおかしいけど？
>提示がなければ、こちら側で検討して提案し「了承を得たうえで開発する」のが基本。

自分自身今まで開発した中で、性能要求の記述がありませんでした。
だいたい詳細設計までをどこかでつくってきて、それに対する開発→結合試験までが
自分の担当で、総合試験からはほとんどノータッチでした。

開発時に外部設計の資料とかを探して暇をみつけて読んでいたのですが、
そのような記述がなく、そんな場合のあるべき性能なんてどうやって決めているんだ？
と思っていました。

様式は本当に各社ばらばらだと実感しています。
他の会社の詳細設計書が他社ではプログラム設計書だったり・・・。
ただフォーマットが何もないとき、1から作成するのは自分にはまだ時間が掛かるので、
テンプレートを探したり、家で仮想仕様で書いてみようとしたりしてはいるのですが、
なかなか・・・。

お答え有難うございます。
いろいろまた調べてもっと具体的な疑問が出たときには、もしよろしければ
またお願い致します。