2017年7月8日土曜日

テストオペレーターのスキルを見える可する試み

QAのエントリーとして、テストオペレーターから入る場合もよくあることと
思いますが、テスト実行のみやっていてもなかなか
評価されない時代になっているように感じます。

実際には、経験の浅い設計者によるテストケースより、
ベテランのテストオペレーターのほうが
網羅的にテストしてくださったりなんてこともあるある、に見受けられますが、
これはとてももったいないこと。
そこで、テストオペレーターのスキルを、コストをかけすぎずに実務レベルで
見える可する方法の仮設を立ててみました。

例:Webシステム

記録手段
 探索的にテストを行っていただき、何をやったか記録してもらう
 粒度は、テスト項目・手順を記載の程度

計測
  1. switchの数え方は0からスタート
  2. アイテム1個 のデフォルト=0 swichと定義
    • ラジオボタン
    • チェックボックス
    • テキストボックス+入力内容1回分
    • ドロップダウンリストのリストアイテム
            など
 
  3.  遷移1回 =  +1 switchと定義
          上記の0switchを受けて、レスポンスが得られるものからささらに
          べつのオプションを入力して違うページに遷移する、など
     (n switch × chow's coverage)

          例:
          1.画面AでラジオボタンをONにして次のページへ:1+1 switch
          2.次のページで、チェックボックスをONにして次のページへ:1+1switch
          3.最後に、テキストであえて不具合をいれて、結果をみる:1+1switch
          →6point

           例:
         1.画面AでラジオボタンをON,チェックボックスを3つONにして次の画面へ:
          (プロパティベースの3swtch、Chow's coverageでは0swtch) 3+1switch
         2.次のページで、テキストに不適切な文字を入力、実行:
          (プロパティベースの0swtch、Chow's coverageでは0swtch) 1+1switch
           3. エラーリカバリしたあとに適切な文字を入力して次の画面へ
          (プロパティベースの0swtch、Chow's coverageでは0swtch) 1+1switch
           4.登録完了画面でテキストを確認
           →本文のチェック行為が必須の前提条件として、8point


という風に、それぞれに記載した手順を、ポイント化して計測すると
実行時間単位のパフォーマンスが
見える化できるのではないか、という仮説です。

例えば、1時間探索的テストをやったとして
 Aさん: 0swtch 10件、1swtch3件 3swtch1件
 Bさん: 0swtch 0件、3swtch8件 5swtch1件
だとすると、テストフェーズにもよりますが、どちらがクリティカルを取りに行けるのか、
目安になると思うのです。

これは、手順を見ただけでカウントできるのと、
勉強などのイニシャルコストがほとんどかからないと思います。

0+1swtchのテストだけで終わっている例もまま見かけるのですが(本当です)、
経験でフォローしてバグを取っているオペレータが
事なきを得る製品づくりに貢献しているけれども、あまり評価されてない例があるのが
残念だとおもって用意してみました。

現在チームを持っていないので、検証ができないのですが・x・


文章だとわかりずらいと思うので、次回は図柄にします :-D



2017年5月30日火曜日

ISTQBのCBT。

ISTQBを受けたくていろいろ調べているのですが、思った情報があまり
簡単に手に入らなくて時間がかかっております。

以前、カナダの委員会に問い合わせた時には、
カナダの住所と、ID二つが必要だといわれました。
それ以上問い合わせていませんが、国際運転免許がIDになるならそれでも
クリアできそうな気もします。

CBTがあるはずなので、調べています。
お持ちの方はどうやって受けたのでしょう・・・。

2017年5月28日日曜日

るびたんと戯れる。

知人に勧められて新しい言語を少し始めました。
メインで使っているサーバーの設定に妙にてこずってやっと動くようになりました。

思えば、昔は、技術書は5千円を下らなかったのに、いまなら2千円くらいから買えるし
インターネットもあるし、ハードルはだいぶ下がっている気はするのです。
こういうのも何かの積み重ねなのかな。

2017年1月21日土曜日

ユーザー操作をスイッチととらえたカバレッジについて

普段Webアプリケーションのテストケースを書くことがおおいのですが、
毎日デプロイがありそうなアプリでは、素早い仕上がりが求められることもあり、
テストの工程をだいたい二段にわけています。

1つ目:
ユーザー操作(クリック、ドラック、ブラウザバックなど)を0スイッチととらえたテストケース。
便宜上UTと呼んでいますが、当たり前品質を保証するもの。
お弁当QAではテンプレートがあるので、どなたが作ってもだいたい同じ粒度のものが出来上がります。

2つ目:
ユーザー操作をスイッチととらえて、2スイッチぐらいまでのもの。
PCリテラシのないテスターを想定して、シナリオ形式にしたり、練度の高いテスター向けには
マトリクスのまま提供することもあります。
ここでリスクを考慮してシナリオ、組み合わせ、ストレス、いじわる系、タイムライン、ステータス遷移などなど、いくつか既存の技法を用いて用意します。
UTでUIごとの単体動作が保障されているのを前提に起こり得るものを確認します。

ユーザー操作もテンプレートにしています。
ここは、B2BとB2Cやユーザー層など、初期インプットをベースに使うテンプレートを考慮します。

つまり、考えることをある程度使いまわしているので、作るのが早くなりました。
これを冷凍化と呼んでいますが、ここまできたら、自動テストのシナリオ作成自体が
工場の組み立て作業的なものになっています。

プラスアルファで、経験をベースにした勘所を足します。
秘伝のたれ?

2016年12月13日火曜日

課金システムテストケース納品しました

知人経由でのお仕事でしたが、某Webサイトの課金機能のテストケースを
無事納品いたしました。
必要な資料は速やかにご提示いただくなどして、非常に進めやすい環境でした。
普段日常の業務や割り込み作業に追われることが多かったので、
じっくりケースづくりに取り組めてとても楽しかったです。

2016年10月24日月曜日

Selenium3 セットアップメモ

FireFoxの一定以上のバージョンでは geckodriver  のセットアップが必要とのことで、
OSのリカバリでまた詰まったので自分メモ。


geckodriver  の場所:https://github.com/mozilla/geckodriver

Windows7 でのPathの通し方:
1.Windowsキー→プログラムとファイルの検索 にてPathと入力
2.[システム環境変数の編集]を選択
3.「詳細設定」Tab→[環境変数]を選択
4.任意のシステム環境変数をクリックして"P"を入力
5.Pathが選択されるので、geckodriver のパスを入力

参考:
http://qiita.com/yssg/items/a054d67bc7c7fc39b276

2016年10月6日木曜日


英語でのインシデントレポートの書き方

チケット・バグ票・インシデントレポート・障害報告 ほか
 
 
 
英語のレポートはわりとパターン化できるので、慣れてしまえば比較的
書きやすいように思います。最近大変だという話をところどころ聞くので、
よく使う例を記載しますね。
 
動作
クリック: click
表示: display
遷移: move to
ドラッグ:drug
観察  Observe
 
 
状態:
文字化け: garble (garbled text)
必須: essential
再現: reproduction (repro で割と通じます)
入力: enter / input
 
名詞:
ブラウザ: blower
添付ファイル: attached files
画像: image
 
UI
ボタン: button
ラジオボタン:radio button
チェックボックス: check box
ドロップダウンリスト: drop-down list
ドロップダウンリストアイテム: drop-down list item
テキストボックス: text box
テキスト: text
アイコン: icon
タブ: tab
ページ: page
 
実際の書き方サンプル
ネイティブのテスターさんは、詳しく細かく書かれる方も多いのですが、
英語が苦手な場合は長文を書くよりも、シンプルに実際の操作を書き、期待値を添えます。
期待値があると、テスターがなにをいいたいのか概ねわかってもらえます。
 
 
Repro environments
Use WIndows7 + IE11
 
Repro steps:
1. Go to http://hogehoge.com/
2. Wait for 10 seconds after target page is displayed.
3. Click [OK] button with empty textbox.  
4. Observe next page.
 
Actual results:(再現結果)
Error massage is not displayed.
 
Expected results:(期待結果・仕様など)
Error massage displayed to show nnn text box input is mandatory.
 
Note:
Only repro on Win7 + IE11.
Not repro on the other environments.
Please see (have a lookなど) the attached file.


書いているうちに、慣れてきて早く書けるようになります。