CSVの同じ行は、削除する前に重複の意味を確かめよう

記事
IT・テクノロジー
CSVを確認していると、同じ内容の行が二つ見つかることがあります。見た目が同じでも、入力の重複なのか、別々の出来事を記録したものなのかは、行だけでは決められません。集計前に、何を一件として数えるかを確認しましょう。

■ 同じ値と同じ出来事を区別する

同じ日付、状態、金額の行が並んでいても、別の取引であれば両方を残す必要があります。一方、同じデータを二度取り込んだ場合は、取り込みの重複かもしれません。値が一致することだけを理由に削除しないようにします。

■ 元ファイルと確認用のコピーを分ける

確認中に行を消すと、どこを変えたか分からなくなることがあります。元ファイルを残し、確認用のコピーで対象行と気づいた点を記録します。判断に必要な識別情報が不足している場合は、データを用意した人へ確認します。

■ 件数と金額への影響も書く

架空の例で、金額1000円の行が二つあると、両方を数える場合は2件・2000円、一つだけなら1件・1000円です。どちらが正しいかは、この計算だけでは決まりません。行を残す根拠と計算結果を分けて共有しましょう。

この記事は元データの確認方法です。当方のCSV集計に重複判定・自動削除の機能を追加する案内ではありません。指定4列CSV集計の対象条件はこちらをご確認ください。
サービス数100万件のスキルマーケット、あなたにぴったりのサービスを探す