依頼にない挙動まで洗い出して“止まらない自動化”に仕上げた案件
■ 導入:最初はキー操作だけで動かそうとする依頼だった今回紹介する案件は、ブラウザ上で同じ操作を繰り返していく作業を自動化したいという依頼でした。依頼者から最初に提示された方法は、「すべてキー操作でカーソル移動して自動化する」というものでした。また、キーワードについても「Excelのリストを順番に読みながら進めていく」という方針が示されていました。ただ、この時点では“どう読むのか”“どのタイミングで渡すのか”など、運用の詳細はまだ固まっていない状態でした。■ 課題:キー操作だけでは、ブラウザバックや画面遷移でズレが発生する実際に画面遷移があるブラウザ操作では、ブラウザバック別ページへの遷移読み込み速度の違いによって、カーソル位置が簡単に飛んでしまうという問題があります。最初の指示どおりに「すべてキー操作」で進めると、フォーカス位置が毎回同じとは限らないタイミングによって動作がズレる一度ズレると連続処理が破綻するという不安定さが避けられませんでした。さらに、依頼者自身が気づいていない“想定外の挙動”もいくつかあり、これらをそのままにすると「動く時と動かない時が混ざるスクリプト」になってしまう状況でした。■ 改善:画像認識とキー操作を、操作ごとに最適に組み合わせる方式へそこで私は、「全部キー操作」「全部画像認識」いずれにも寄せないハイブリッド方式を提案しました。毎回位置が変わらない操作 → キー操作ブラウザバック後など位置がズレやすい操作 → 画像認識で確実に押す画像認識は類似度調整・補正・リトライで安定化というように、操作の種類ごとに最適な手段を選ぶ設計にしました。この方式により
0