CSVの重複削除で、いきなり「重複を削除」を押さない方がいい理由

Excelの「重複の削除」は便利です。数クリックで行が減るので、片づいた感じもあります。

ただ、CSV整理で怖いのは、消したあとに「なぜこの行が消えたのか」を説明できなくなることです。

最初に決めるのは、重複の基準

たとえば同じ人のデータが2行あっても、メールアドレスは同じ、電話番号は片方だけ新しい、住所には表記ゆれがある——ということがあります。

このとき、行全体が完全一致したものだけを重複とするのか。メールアドレスが同じなら1件と数えるのか。どちらを選ぶかで結果は変わります。

削除ボタンより先に、次の3点を決めておくと事故が減ります。

・何を同じと判定するか

・どちらの行を残すか

・削除前後の件数をどう記録するか

特に「新しい方を残す」「空欄が少ない方を残す」には、更新日時や優先順位の列が必要です。基準がないまま機械的に1行へまとめると、必要な情報まで消えることがあります。

安全なのは、元データを残して別ファイルにすること

整理作業では、元のCSVを上書きしない方が安全です。

作業前のファイルを残し、整理後は別名で保存します。さらに、処理前後の行数、完全一致で除いた件数、目視確認が必要な箇所をメモしておくと、あとから差分を追えます。

地味ですが、このメモが効きます。行数が10件減ったとき、「きれいになった」のか「10件消してしまった」のかを分けられるからです。

自分で処理しやすいケース、相談した方がよいケース

列が少なく、完全一致する行だけを除くなら、Excelでも十分に対応できます。

一方、文字化け、列ずれ、表記ゆれ、個人情報のマスキングが同時にある場合は、処理の順番が重要です。先に文字コードを直すのか、空白をそろえてから重複を判定するのかで、結果が変わります。

「何を同じとみなすか」が説明できない状態なら、削除する前に一度止まる。これがいちばん簡単な安全策です。

CSVの文字化け・重複・列ずれを整理するサービスも出品しています。元データは上書きせず、整理済みファイルと変更内容の作業メモを納品します。実データを送る前に、列名や匿名化した5〜20行のサンプルだけで相談できます。

https://coconala.com/services/4325856