CSVの合計が合わないとき、重複削除の前に確認したい4項目

CSVをまとめたら合計が合わない。そんなとき、いきなり「重複の削除」を実行すると、必要な明細まで消してしまうことがあります。まずは元ファイルを残し、何を1件と数えるのかを決めるところから始めます。

1．同じIDは、本当に同じ取引か

注文番号が同じでも、商品ごとに明細が分かれている場合があります。注文番号だけで重複と判断せず、明細番号や商品コードも含め、どの列の組み合わせで1件を識別するかを確認します。判断できない行は削除せず、確認一覧に残します。

2．空欄とゼロを混ぜていないか

金額の空欄は「不明」、0は「金額がゼロ」という別の情報です。商品コードなどの必須項目も、空欄を推測で埋めず、元データの確認対象にします。前後の空白を取り除く場合も、対象列を決めて記録しておくと変更を追えます。

3．数字や日付として読めない値がないか

金額欄の文字や存在しない日付は、そのまま集計すると見落としにつながります。変換できない金額をゼロに置き換えず、集計対象から外れた件数と行を明示します。日付も、曖昧な表記を独断で補正しません。

4．処理前後の件数と、合計の条件を残しているか

合計額だけでなく、入力件数・出力件数・金額を数値として読めた件数を並べて確認します。「重複候補を含むのか」「日付不備の行も含むのか」で合計の意味は変わります。

架空の8行で確認した例

私が作成した検証用データでは、入力8行・出力8行を維持し、数値として読めた金額は7行でした。重複候補は1組2行、必須項目の空欄は1件、日付不備は1件、金額不備は1件。複数の不備が同じ行にあるため、不備件数を足して不備行数にはできません。

数値として読めた金額の参考合計は4,300です。ただし、重複候補と日付不備の行も含めた値なので、確定した売上額ではありません。これは実際の顧客実績ではなく、処理方法を説明するための架空例です。

集計前の確認メモ

・元ファイルのコピーを残す

・1件の単位と必須列を決める

・削除や補正の条件を決める

・件数、合計条件、要確認の行を一緒に残す

同じ列構成のCSVをまとめ、不備の確認一覧と集計結果を作るサービスも出品しています。3ファイル・合計5,000行・20列・5MBまで、単一通貨で5,000円。購入前にサンプルと集計条件を確認します。個人情報・機密情報を含まないデータでご相談ください。

https://coconala.com/services/4447716