Autify活用による高頻度リリースの実現

Autify Community Meetup 2024 #1
https://blog.autify.jp/article/autify-community-meetup-202401-event-report

Transcript

1. Autify活用による高頻度リリースの実現 NEALLE 2024.3.27 株式会社ニーリー 関井 祐介
2. 目次 1｜自己紹介 2｜プロダクト紹介 3｜Autify導入前の課題感 4｜Autify導入前後のテストプロセス 5｜ Autifyで工夫していること 2 6｜ 現在抱えている課題 と Autifyへの期待
3. 3 氏名 所属 経歴 関井 祐介 ／ Yusuke Sekii 株式会社ニーリー プロダクト本部 プラットフォームグループ QAチーム 資格 JSTQB Advanced Level テストマネージャ／テストアナリスト 2014-2015 　大学でソフトウェアテストの研究 2017-2022 　半導体メーカーで主に組み込み系のQA 2023- 　株式会社ニーリーでPark DirectのQAチームリード 1｜自己紹介 @ysekii_
4. 4 2｜プロダクト紹介
5. 5 3｜Autify導入前の課題感 2週間毎の定期リリース前の手動リグレッションテストに5〜6人掛かりで半日使っており 自動テストを進めなければデプロイ頻度が上がらない状態だった ・早期に開発者のQAコストを下げ、デリバリーまでのリードタイムを短くしたい ・完全なノーコードでなくても、少ないコードだけでやりたいことを実現したい. Autifyでなら実現できそう！
6. 6 Autify導入から運用の歴史 2022/1 2022/4 2022/12 2023/3 4｜Autify導入前後のテストプロセス(1/5) Autify 導入検討開始 Autify 本導入開始 RTの見直しと 自動テスト シナリオ拡張完了 無停止リリース開始に よるRT戦略の見直し 2022/7 v1自動テスト シナリオ 実装完了 ※RT：リグレッションテスト シナリオ数は 約2倍
7. 7 Autify導入前のテストプロセス 4｜Autify導入前後のテストプロセス(2/5) 開発とテスト 手動RT リリース リリース案件が揃ったタイミングで QA1名と開発者5名が半日で手動RTを実施 14日前 定期リリース当日
8. 8 Autify導入後のテストプロセス 4｜Autify導入前後のテストプロセス(3/5) 手動RT リリース 14日前 定期リリース当日 3日前 自動RT 自動 RT 自動 RT 開発とテスト リリースの3日前からマージが増えて くるので、1日1回自動RTを実施 リリース当日は自動RT +QA1人が半日で手動RTを実施 細かい単位で修正してリリース日のリスクを低減
9. 9 無停止リリース開始後のテストプロセス 4｜Autify導入前後のテストプロセス(4/5) 自動RT& リリース 14日前 定期リリース当日 開発と テスト 開発と テスト 開発と テスト 自動RT& リリース 自動RT& リリース 開発と テスト 自動RT& リリース 無停止リリース① 無停止リリース② 無停止リリース③ ・・・ 2週間に1回のリリースから 2週間に平均4回のリリースへ
10. 10 変更障害率の推移 4｜Autify導入前後のテストプロセス(5/5) 2週に1回のリリース 2週に約4回のリリース
11. 11 5｜Autifyで工夫していること(1/2) 検索をした際に1つだけ見つかるように 一意のIDを使う 検索結果が反映されたことを確認して から次のステップへ進むようにする この状態では操作対象の顧客選択が安定しない 1. テスト実行結果を安定させる
12. 12 5｜Autifyで工夫していること(2/2) この画面を利用しているシナリオが10個以上あるが、 リアーキテクチャ予定なので、 シナリオの再レコーディングが必要になる 再レコーディング回数を最小化するために ステップグループに置き換えて、 1つのステップグループを修正するだけで 修正が必要なシナリオを実行できるようにしている ※現在進行中 2. 修正範囲の最小化（ステップグループの利用）
13. 13 6｜現在抱えている課題 と Autifyへの期待 1. メンテナンスが追いつかない ◦ フロントエンドの改修スピードが上がって、Autifyが追従できなくなっている ◦ Autify担当者を付けて、変更に追従できる体制を構築中 2. メールの取り違えが多い ◦ ランダムメールアドレスを使っているところは問題ないが、 固定メールアドレスしか設定できないところのメールは取り違えが多い ◦ 完全な件名一致ができれば安定しそう 3. テストプラン内で直列実行と並列実行を使い分けたい ◦ テストシナリオ間で変数が使えるようになったが、直列実行の制約があるため、 なかなか使えていない ◦ テストプランの中で直列実行するもの、並列実行するのもを分けられると嬉しい
14. ニーリーでは、QA/SETはもちろん、 他のポジションも積極採用中です！ https://jobs.nealle.com/ We are hiring!!!
15. Thank you 15