思いますが、テスト実行のみやっていてもなかなか
評価されない時代になっているように感じます。
実際には、経験の浅い設計者によるテストケースより、
ベテランのテストオペレーターのほうが
網羅的にテストしてくださったりなんてこともあるある、に見受けられますが、
これはとてももったいないこと。
そこで、テストオペレーターのスキルを、コストをかけすぎずに実務レベルで
見える可する方法の仮設を立ててみました。
例:Webシステム
記録手段
探索的にテストを行っていただき、何をやったか記録してもらう
粒度は、テスト項目・手順を記載の程度
計測
- switchの数え方は0からスタート
- アイテム1個 のデフォルト=0 swichと定義
- ラジオボタン
- チェックボックス
- テキストボックス+入力内容1回分
- ドロップダウンリストのリストアイテム
3. 遷移1回 = +1 switchと定義
上記の0switchを受けて、レスポンスが得られるものからささらに
べつのオプションを入力して違うページに遷移する、など
(n switch × chow's coverage)
例:
1.画面AでラジオボタンをONにして次のページへ:1+1 switch
2.次のページで、チェックボックスをONにして次のページへ:1+1switch
3.最後に、テキストであえて不具合をいれて、結果をみる:1+1switch
→6point
例:
1.画面AでラジオボタンをON,チェックボックスを3つONにして次の画面へ:
(プロパティベースの3swtch、Chow's coverageでは0swtch) 3+1switch
2.次のページで、テキストに不適切な文字を入力、実行:
(プロパティベースの0swtch、Chow's coverageでは0swtch) 1+1switch
3. エラーリカバリしたあとに適切な文字を入力して次の画面へ
(プロパティベースの0swtch、Chow's coverageでは0swtch) 1+1switch
4.登録完了画面でテキストを確認
→本文のチェック行為が必須の前提条件として、8point
という風に、それぞれに記載した手順を、ポイント化して計測すると
実行時間単位のパフォーマンスが
見える化できるのではないか、という仮説です。
例えば、1時間探索的テストをやったとして
Aさん: 0swtch 10件、1swtch3件 3swtch1件
Bさん: 0swtch 0件、3swtch8件 5swtch1件
だとすると、テストフェーズにもよりますが、どちらがクリティカルを取りに行けるのか、
目安になると思うのです。
これは、手順を見ただけでカウントできるのと、
勉強などのイニシャルコストがほとんどかからないと思います。
0+1swtchのテストだけで終わっている例もまま見かけるのですが(本当です)、
経験でフォローしてバグを取っているオペレータが
事なきを得る製品づくりに貢献しているけれども、あまり評価されてない例があるのが
残念だとおもって用意してみました。
現在チームを持っていないので、検証ができないのですが・x・
文章だとわかりずらいと思うので、次回は図柄にします :-D