生成AIパスポート 第2章「データクレンジング」|汚れたデータを整えてから学習させる理由

記事
学び
生成AIの精度は、モデルの大きさだけで決まるわけではありません。生成AIパスポート第2章で扱うデータクレンジングは、学習や分析に使うデータの誤りや表記のゆれを取り除き、使える形に整える作業です。汚れたデータをそのまま入れると、結果も汚れる点がポイントです。なお、この記事の問題例は主催団体の公式問題ではなく、シラバスに沿って作ったオリジナルの練習問題です。

データクレンジングは「掃除と統一」

データクレンジングで行うのは、欠けた値の扱い、重複の削除、表記の統一、外れ値の確認といった作業です。たとえば同じ会社名が全角と半角で混ざっていたり、日付の書き方が何通りもあったりすると、機械は別のものとして数えてしまいます。クレンジングは、そのゆれをそろえる作業です。

試験では、クレンジングと似た言葉との取り違えが問われます。データを集める作業や、モデルを選ぶ作業とは別で、クレンジングは「集めたデータを整える」段階です。順序としては、収集の後、学習や分析の前に置かれるのが基本の型です。

欠損値と外れ値をどう扱うか

欠けている値を欠損値、他と大きく離れた値を外れ値と呼びます。欠損値をそのままにすると計算が止まったり、偏った結果になったりします。削除するのか、平均値などで補うのかは、データの性質と目的で決めます。「欠損値は常に削除するのが正解」という言い切りは誤りです。

外れ値も同じで、入力ミスの場合もあれば、本当に珍しい事例の場合もあります。理由を確認せずに一律に除くと、大事な情報を捨てることになります。試験では「外れ値はすべて異常なので除去する」という絶対化した説明が誤りとして置かれます。まず原因を見る、が正しい型です。

表記ゆれと重複が精度を下げる理由

表記ゆれがあると、同じ意味のデータが別々に数えられ、頻度や傾向がずれて見えます。重複があると、特定の事例が実際より多く学習され、モデルの判断が偏ります。生成AIの文脈でも、同じ文章が大量に重なった学習データは、出力の偏りの原因になります。

クレンジングは地味な作業ですが、学習データの品質を決める土台です。「データ量が多ければ質は問わない」という説明は誤りで、量と質は別の軸です。試験対策としては、クレンジングは量を増やす作業ではなく、質を整える作業だと押さえます。

確認問題

問1.データクレンジングの説明として正しいものはどれか。
答え:学習や分析の前に、データの誤り、欠損、重複、表記のゆれを整える作業、という説明です。

問2.外れ値の扱いとして正しいものはどれか。
答え:入力ミスか本当に珍しい事例か原因を確認してから扱いを決める、という扱いです。一律に除去するのが正解ではありません。

前処理全体の中での位置づけ

クレンジングは、学習データの前処理の一部です。前処理には、形式をそろえる変換や、数値の大きさをそろえる調整なども含まれます。その中でもクレンジングは、誤りやゆれを取り除く掃除の役割を担います。試験では、前処理とクレンジングを同じものとして説明する文や、クレンジングをモデルの評価作業とする文が誤りとして置かれます。評価は学習の後の段階で、クレンジングは学習の前の段階です。時間の順序で切り分けると、似た言葉の選択肢でも迷いにくくなります。順序で覚えることが、この論点の安定した解き方です。

まとめ

第2章のデータクレンジング問題は、「収集の後、学習の前に整える」「欠損値と外れ値は原因を見て扱う」「表記ゆれと重複は偏りの原因」の3点を押さえると安定します。量ではなく質を整える作業だという線引きが勝負どころです。

この記事は生成AIパスポートのシラバスに沿って作成した解説で、公式問題ではありません。対策にはココナラで販売中の『生成AIパスポート 直前7日ドリル』もご活用ください。
サービス数100万件のスキルマーケット、あなたにぴったりのサービスを探す