2017年7月8日土曜日

テストオペレーターのスキルを見える可する試み

QAのエントリーとして、テストオペレーターから入る場合もよくあることと
思いますが、テスト実行のみやっていてもなかなか
評価されない時代になっているように感じます。

実際には、経験の浅い設計者によるテストケースより、
ベテランのテストオペレーターのほうが
網羅的にテストしてくださったりなんてこともあるある、に見受けられますが、
これはとてももったいないこと。
そこで、テストオペレーターのスキルを、コストをかけすぎずに実務レベルで
見える可する方法の仮設を立ててみました。

例:Webシステム

記録手段
 探索的にテストを行っていただき、何をやったか記録してもらう
 粒度は、テスト項目・手順を記載の程度

計測
  1. switchの数え方は0からスタート
  2. アイテム1個 のデフォルト=0 swichと定義
    • ラジオボタン
    • チェックボックス
    • テキストボックス+入力内容1回分
    • ドロップダウンリストのリストアイテム
            など
 
  3.  遷移1回 =  +1 switchと定義
          上記の0switchを受けて、レスポンスが得られるものからささらに
          べつのオプションを入力して違うページに遷移する、など
     (n switch × chow's coverage)

          例:
          1.画面AでラジオボタンをONにして次のページへ:1+1 switch
          2.次のページで、チェックボックスをONにして次のページへ:1+1switch
          3.最後に、テキストであえて不具合をいれて、結果をみる:1+1switch
          →6point

           例:
         1.画面AでラジオボタンをON,チェックボックスを3つONにして次の画面へ:
          (プロパティベースの3swtch、Chow's coverageでは0swtch) 3+1switch
         2.次のページで、テキストに不適切な文字を入力、実行:
          (プロパティベースの0swtch、Chow's coverageでは0swtch) 1+1switch
           3. エラーリカバリしたあとに適切な文字を入力して次の画面へ
          (プロパティベースの0swtch、Chow's coverageでは0swtch) 1+1switch
           4.登録完了画面でテキストを確認
           →本文のチェック行為が必須の前提条件として、8point


という風に、それぞれに記載した手順を、ポイント化して計測すると
実行時間単位のパフォーマンスが
見える化できるのではないか、という仮説です。

例えば、1時間探索的テストをやったとして
 Aさん: 0swtch 10件、1swtch3件 3swtch1件
 Bさん: 0swtch 0件、3swtch8件 5swtch1件
だとすると、テストフェーズにもよりますが、どちらがクリティカルを取りに行けるのか、
目安になると思うのです。

これは、手順を見ただけでカウントできるのと、
勉強などのイニシャルコストがほとんどかからないと思います。

0+1swtchのテストだけで終わっている例もまま見かけるのですが(本当です)、
経験でフォローしてバグを取っているオペレータが
事なきを得る製品づくりに貢献しているけれども、あまり評価されてない例があるのが
残念だとおもって用意してみました。

現在チームを持っていないので、検証ができないのですが・x・


文章だとわかりずらいと思うので、次回は図柄にします :-D