ChatGPT・Claude導入を作業時間だけで測らない｜失敗6件から決めた7つのKPI

取得済み商品は1,284件。

投稿済みは732件。

失敗は6件。

数字だけを見ると、それなりに動いているように見えます。

でも、本当に見るべきなのは「何件処理したか」だけではありません。

1,284件と732件の間

これは、私が作った楽天ROOM向け自動投稿ツールの管理画面に出ていた数字です。

取得済み商品が1,284件、投稿済みが732件、失敗が6件。

ここで、取得済みと投稿済みの差は552件あります。

この552件がすべて失敗ではありません。

条件に合わず除外した商品、まだ投稿していない商品、レビューで止めた商品、投稿待ちの商品が含まれます。

つまり、処理件数だけではツールの成果を判断できません。

「たくさん動いた」は分かります。

「役に立った」はまだ分かりません。

はい。

ダッシュボードは、数字を並べるだけなら急に仕事ができる顔をします。

作業時間という片側

ChatGPTやClaudeを導入するとき、よく使われる指標が作業時間です。

一件10分かかっていた処理が短くなった。

一日に作れる文章数が増えた。

集計作業を手作業でやらなくなった。

もちろん重要です。

ただ、作業時間だけを追うと、次の問題が隠れます。

・生成結果の修正に時間がかかっている

・失敗した処理を何度も再実行している

・担当者が使わず、以前のExcelへ戻っている

・後工程で差し戻しが増えている

・生成量だけ増えて品質が下がっている

・止まったときに原因が分からない

表面の作業は短くなっても、確認や手戻りが増えていたら、全体では改善していません。

失敗6件の中身

失敗件数が6件なら少ないように見えます。

でも、失敗率を出すには分母が必要です。

投稿を732件試して6件失敗したのか。

1,284件すべてを処理して6件失敗したのか。

途中で除外した552件の中に、本来投稿すべき商品が含まれていないか。

数字の定義で評価が変わります。

さらに、失敗の種類も分ける必要があります。

・通信エラー

・ログイン切れ

・画面変更

・ChatGPT APIの応答失敗

・重複データ

・投稿先の制限

・入力データ不備

通信エラーと判定ミスを同じ「失敗」にまとめると、改善方法が分かりません。

私は、エラーコードだけでなく、対象データ、処理段階、再実行回数、最終結果をログへ残します。

後で見ても原因が追えないログは、クッッッソ長い独り言です。

修正率という精度

ChatGPTやClaudeが作った文章を、人や別のモデルが何件修正したか。

これを修正率として持っておくと、実務で使える精度が見えてきます。

私は副業自動化ツールで、生成、レビュー、修正、最終判定を分けています。

設計上は、レビュー通過率を10％から40％の範囲で監視する考え方を入れました。

通過率が低すぎれば、最初の生成条件が悪い可能性があります。

逆に、ほぼ100％通っているなら、レビューが甘いか、形式だけ確認している可能性があります。

ここで大事なのは、100％を目標にしないことです。

扱う内容によっては、一定割合を止めるレビューのほうが正常です。

投稿数を増やすことが目的でも、誤った内容まで通したら逆効果です。

利用率という現実

システムが完成しても、現場で使われなければ成果は出ません。

特に業務改善では、新しい画面を作った後も以前のExcelや口頭確認が残ることがあります。

理由は単純です。

・入力項目が多い

・処理が遅い

・例外時に使えない

・誰が直すか分からない

・スマートフォンで見にくい

・以前の方法のほうが早い

そのため、ログインした人数だけではなく、対象業務のうち何割が新しい仕組みを通ったかを見ます。

一週間に100件ある業務で、新システムを通ったのが20件なら、利用率は20％です。

残り80件がどこで処理されているかを確認します。

使っていない人を責めるより、使えない理由を拾ったほうが改善は早いです。

再実行率という不安定さ

エラー率が低くても、裏で何度も再実行して成功している場合があります。

最終的に成功したため、ダッシュボードには成功としか出ない。

でも、一件の処理で三回もChatGPT APIを呼び直していたら、費用と処理時間は増えています。

そこで、成功件数とは別に再実行率を持ちます。

・一回で成功した件数

・一回再実行した件数

・複数回再実行した件数

・人が手動で復旧した件数

再実行が増えた日を見れば、外部サービスの不調、画面変更、入力データの変化を発見しやすくなります。

止められる運用

成果を測る指標とは少し違いますが、停止できるかどうかも重要です。

私は自動化ツールの成功条件に、一クリックで停止できることを入れています。

投稿エラー率は1％未満。

日次の運用時間は15分以内。

異常時は管理画面から停止。

これは達成済みの実績ではなく、設計上の基準です。

自動化は、動き続けることだけが正解ではありません。

問題が起きたときに安全に止まり、対象を確認し、必要な分だけ再開できることも運用品質です。

毎週見る七つの数字

ChatGPTやClaudeを業務へ入れた後は、次の七つを毎週確認します。

1．利用率

対象業務のうち、新しい仕組みを通った割合。

2．処理件数

ChatGPTやClaudeが実際に処理した件数。

3．完了率

開始した処理のうち、最終結果まで完了した割合。

4．エラー率

処理途中で失敗した割合。

5．修正率

生成結果を人や別モデルが修正した割合。

6．再実行率

一回で完了せず、再実行が必要だった割合。

7．日次運用時間

確認、修正、復旧に人が使った時間。

2026年6月には、GitHubも利用者ごとのAIクレジット消費量や導入段階を確認できる指標を拡充しています。

使ったかどうかではなく、どの程度使い、何に費用がかかり、どこで成果が出ているかを見る流れです。

導入前の基準値

新しい仕組みを入れてから数字を取り始めても、改善したか判断できないことがあります。

導入前に、現在の数字を一週間だけでも記録しておくと比較できます。

・一日の処理件数

・一件あたりの確認時間

・入力ミスの件数

・差し戻し件数

・担当者ごとの利用状況

・手作業で復旧した回数

全部を細かく測る必要はありません。

最初は三つでも大丈夫です。

基準がなければ、導入後に「なんとなく楽になった」で終わります。

それはそれで平和ですけど、次の改善予算を説明できません。

数字から始める相談

私は、Excel、GAS、Python、Webアプリ、ChatGPT APIを使った業務改善の相談を受けています。

すでにツールを導入したけど効果が分からない。

エラーは少ないのに現場の負担が減らない。

何をダッシュボードへ表示すればいいか決められない。

そんな場合は、機能追加の前に測る数字を整理します。

作業時間だけでなく、修正、再実行、利用率まで見ると、直す場所がかなり具体的になります。