テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行...

22
©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved. テスト自動化のポイント テスト自動化の文化を作ろう!! 株式会社ウェブレッジ

Transcript of テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行...

Page 1: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

テスト自動化のポイント

テスト自動化の文化を作ろう!!

株式会社ウェブレッジ

Page 2: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

1

割り込みばかり 仕事が面白くない 同じようなミスが 起きる

やり方は適切ですか? 集中力が切れてませんか?

それ本当に必要な仕事ですか?

現場の声

Page 3: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

すべき仕事はなんでしょう?

新規 案件

仕様 変更

人材 管理

運用

予算 テスト

保守

打合せ

割り込みばかり 仕事が面白くない 同じようなミスが 起きる

質の高い製品・サービスを提供すること

2

Page 4: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

3

■ 手順はできあがっている? 手順が決まっていないと、自動化できません。

■ 本当に必要な作業? 一見すると自動化に向いた作業でも、実はやらなくてもいい

作業かもしれません。

■ 情報伝達ができていないのでは? ドキュメントが足りないなど、関係者に情報が伝わっていない

だけであれば自動化する必要はありません。

■ 作業やテストの効果は高い? 役に立たないテストや作業を自動化しても、意味がありません。

Garbage In Garbage Out ガラクタを入れればガラクタが出てくる

自動化だけが策ではない

Page 5: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

4

手順が決まっていて、

実行頻度の高いものが自動化に向いています。

自動化選び対象のポイント

■ 繰り返し行われること

■ 面倒くさいと思っていること

■ ミスが起こりやすいところ

■ 手順が決まっているところ

■ 変更が少ないところ

Page 6: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

5

計画する

試す

広める

現状を踏まえ、未来を見据えて、 関係者や基準を決める

小さくやって、評価する

成功をみんなで共有し、育てる

自動化導入時の3つのステップ

Page 7: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

6

計画する

試す

広める

■関係者を決める

「推進役」

「変革の請負人」

「組織上層部の支援者」

自分がやるのも良し、外部の人を雇っても良い

■道具を選ぶ

・身近にあるツールや技術を使う

・関係者の知見、経験を使う

・NPO法人 ソフトウェアテスト技術振興協会 発行

ASTERテストツールWG 著

「テストツールまるわかりガイド(入門編)」も参考に

http://aster.or.jp/business/testtool_wg/pdf/Testtool_beginningGuide_Version1.0.0.pdf

ステップ1 計画する (1/2)

Page 8: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

7

ステップ1 計画する (2/2)

計画する

試す

広める

■試算する

一時的な生産性の低下は避けられないので、

どこで巻き返せるのか(損益分岐点はどこか)

試算する

試算する要素

・道具にかかるコスト

・自動化にかかる時間とコスト

・失敗したテストを確認するコスト

・メンテナンスにかかるコスト

・教育にかかるコスト

・期待できる効果

Page 9: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

8

計画する

試す

広める

■パイロットプロジェクトを立ち上げる

自動化した仕組みがうまく適用できるか検証する

■実現可能か見極める

ここでの数値が、広める際の根拠となる

パイロットプロジェクトの効果

・既存プロセスへの影響を再確認できる

・新しいツールや手順について学習ができる

ステップ1 試す(1/1)

Page 10: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

9

計画する

試す

広める

■共有する

成功の根拠を提示して同意を得る

内部からの反発

・自分の仕事がなくなるという誤解や、

変化を嫌うという性質がある。

・プロジェクトの目的、役割を考えさせたり、

「組織上層部の支援者」からのトップダウンも

効果的。

ステップ1 広める(1/2)

Page 11: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

10

計画する

試す

広める

■支援する

最初はパイロットプロジェクトを実行した人が

一緒にやる

他の人への教育も行う

ステップ1 広める(2/2)

■見守る

効果を監視する

フィードバックをもらい、計画の見直しを行う

Page 12: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

11

事例

自動化による業務効率改善

事例1 新規登録確認の自動化

事例2 機能障害検知の自動化

11

Page 13: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

12

問題点 解決策 導入効果

テスト工数

95%削減

導入前 → 4時間

自動化後 → 5分

出社後にメールを 確認するだけに!

登録店 データベース

検索結果 ページ

お店情報 ページ

各種検索にHITするか?

ちゃんとページが 表示されているか?

テスト自動化前

手動のテスト工数 4時間

登録店 データベース

スクリプトで 自動チェック

それぞれ 手動チェック

某飲食店情報サイトでは、毎日新しく登

録されたお店が検索にHITするか、お店

の情報ページがちゃんと表示されている

かを手動で確認していたが、数が増える

につれ、工数が増えていった

▼様々な検索軸の検索結果とお店情報

ページを自動でチェックする仕組みを導入した

▼Seleniumを使用しスクリプトを作成し出社前に自動でチェックするようにした

今まで50件チェックするのに

4時間かかっていたものが

メールを確認するだけの5分に

効率化!!

大手グルメポータルサイト 参考事例

新しく登録されたお店のチェック自動化解決策・効果

Page 14: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

13

問題点 解決策 導入効果

メールを確認する だけの自動検知!

情報登録

某飲食店情報サイトでは、既存情報登録

機能の正常動作を定期的にチェックが行

われていなかった

「画像がアップロードできない」「反映

が遅い」などのクレームによって障害に

気づくことも多々…

ユースケースを自動実行することにより、

登録確認などの機能確認・アップロード

などの時間計測が可能になった

安定したシステムを維持することが可能に!

関連クレームは減少!

ユーザー増加!

アップロード

反映されて いるか

情報更新 更新・アップロード計測

チェックしていなかったため クレームに!

アップロード

反映されて いるか

情報更新

更新・アップロード計測

情報登録

結果を メール送信

クレーム減少 に成功!

それぞれの フローで実施

機能障害検知の自動化解決策・効果

大手グルメポータルサイト 参考事例

Page 15: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

14

事例

テストの自動化

事例3 回帰テストの自動化

14

Page 16: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

15

問題点 解決策 導入効果

エラーメールを 受信した時に確認

するだけ!

アンケート作成

某ネットリサーチサイトでは回帰テストを全て手動で行っていた 開発サイクルが短くなり、規模も大きくなるにつれて回帰テストの工数が肥大化していった

▼アンケート作成→回答までの一連の シナリオを50パターンほどSeleniumで自動化 ▼自動化したものをJenkins(CI環境)にて実行

手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

アンケート回答

工数の削減 に成功!

アンケート作成

アンケート回答

エラー時のみメール送信

Jenkinsに 結果を格納

それぞれ 手動チェック

回帰テストの自動化解決策・効果

大手ネットリサーチサイト 参考事例

Page 17: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

16

計画する

試す

広める

まとめ 自動化導入時の3つのステップ

現状を踏まえ、未来を見据えて、 関係者や基準を決める

小さくやって、評価する

成功をみんなで共有し、育てる

Page 18: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

17

まとめ 自動化対象選びのポイント

手順が決まっていて実行頻度の高いものが

自動化に向いています。

■ 繰り返し行われること

■ 面倒くさいと思っていること

■ ミスが起こりやすいところ

■ 手順が決まっているところ

■ 変更が少ないところ

Page 19: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

18

まとめ

効率化することで、

目的を阻害する要素を

取り除き、質の高い製品

サービスを提供しましょう!

18

Page 20: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

19

テスト自動化に関する記事

弊社の運営するWRブログでは自動化以外にもソフトウェアテストの基礎や手法など様々な品

質に関する記事や事例を公開しております。ぜひ、ご覧ください!

テスト自動化とは?テスト自動化のメリットについて

おすすめテスト自動化ツール4選

【自動化初心者向け】無料で始めるシステムテスト自動化のための教材集5選

テスト自動化に関する記事

テスト自動化導入のポイントVol.1~4

https://webrage.jp/techblog/test_automation_point01/

https://webrage.jp/techblog/automation_overview/

https://webrage.jp/techblog/automation_tool/

https://webrage.jp/techblog/automation_text/

Page 21: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

20

会社情報

■福島本社(本店) 〒963-8002 福島県郡山市駅前2-11-1 ビッグアイ18階 TEL:024-954-8335 ■東京オフィス・水道橋ウェブレッジラボ 〒101-0061 東京都千代田区神田三崎町3-4-9 水道橋MSビル TEL:03-6380-8261 ■水道橋ウェブレッジラボ2 〒101-0061 東京都千代田区神田三崎町3-7-12 清話會ビル2階A号 TEL:03-6380-9907 ■郡山ウェブレッジラボ 〒963-8025 福島県郡山市桑野1-20-20 ■郡山ウェブレッジラボ2 〒963-8025 福島県郡山市桑野1-21-17 桑野共栄ビル2-B ■郡山ウェブレッジラボ3 〒963-8025 福島県郡山市桑野1-21-17 桑野共栄ビル2-A

社名 株式会社ウェブレッジ 設立年月 2009年2月 代表取締役 佐藤 保 資本金 2億7990万円(資本準備金含む) 社員数 188人(2016年10月31日時点)

事業所一覧

加盟団体 IT検証産業協会 IVIA IoT推進コンソーシアム 東京商工会議所 一般社団法人 福島県情報産業協会 会津大学発ベンチャー企業 一般社団法人クラウドソーシング協会 etc… 資格 一般労働者派遣事業 (届出番号:般07-300249)

有料職業紹介事業 (許可番号:07-ユ-300176)

プライバシーマーク (登録番号 第17001339)

ISTQB Platinumパートナー IVEC Gold Partner

福島ファイヤーボンズ 福島ユナイテッドFC

< スポンサーシップ>

Page 22: テスト自動化のポイント自動化したものをJenkins(CI環境)にて実 行 手動回帰テストの工数が削減! 類似の他プロジェクトにも 展開・工数削減!

©webrage CO.,LTD. All Rights Reserved. ©webrage CO.,LTD. All Rights Reserved.

ダウンロードいただき誠にありがとうございました。

テスト自動化やソフトウェアテストでお困り事がございましたら、

お気軽にお問い合わせください。

お問い合わせ

03-6380-8261

[email protected]

21