AIがCSV処理で人へ戻すべき3つの境界

記事
IT・テクノロジー
AIにCSVを渡すと、空行の除去や重複チェックはすぐにできます。ただし、削除や置換を「正しい」と決めるのは人です。私がCSV整形で先に確認する境界を3つに分けます。

1. 行数の境界
処理前後の行数と、削除した行数を必ず記録します。空行を消した結果、意味のある行まで消えていないか、サンプルを目視します。

2. 重複の境界
「同じ行」の定義を先に決めます。全列一致なのか、IDやメールアドレスなど特定列の一致なのかで結果が変わるため、曖昧な場合はAIに自動削除させず、人へ戻します。

3. 文字の境界
前後の空白、全角・半角、改行、文字コードをそろえます。変換後はExcelなど実際の利用環境で開き、列ずれや文字化けがないか確認します。

AIに任せた部分と、人が判断した部分を分けてログに残すと、失敗時に戻せます。私は「処理した内容」「保留した内容」「人へ確認を戻した条件」を納品時に確認できる形にします。

空行・重複・余分な空白を含むCSVを、1ファイル単位で整形します。
※パスワードや認証コード、個人情報を含むファイルは送らず、必要に応じて匿名化してください。
サービス数40万件のスキルマーケット、あなたにぴったりのサービスを探す