CSVの同じ行を、すぐに「重複」として消さないほうがよい理由

同じ商品、同じ数量の行が2つあったとき、片方は不要でしょうか。

誤って2回貼り付けただけなら不要かもしれません。しかし、同じ商品を別のタイミングで2回販売した記録なら、どちらも必要です。見た目が同じでも、記録の意味によって削除してよいかは変わります。

整理の前に決めたいのは「何が一致したら同じ記録なのか」です。商品コードだけなのか、注文番号まで必要なのか、全列が同じ場合だけなのか。列を選んで重複を削除する機能はPower Queryにもありますが、どの列を基準にするかは使う側が判断します。

前後の空白を取り除いた結果、以前は違っていた2行が同じになる場合もあります。加工前に比べるのか、加工後に比べるのかも決めておくと、思わぬ削除を防ぎやすくなります。

当方のCSV整理では、最初は全行を残す方針です。削除を依頼いただいた場合だけ、対応できる具体的な条件を事前に合意し、除いたレコードと残したレコードの対応を記録します。「入力行数＝出力行数＋除いた行数」も照合します。ただし、件数が合うことだけで業務上の判断が正しいと保証されるわけではありません。曖昧な名寄せや意味の推測は対象外です。

まず列順をそろえるだけで困りごとが解決するなら、無理に重複削除まで行う必要はありません。自分で進めたい方は、Microsoft公式「重複する行を保持または削除する（Power Query）」も参考になります。

整理と確認を任せたい場合の対象範囲は「CSVの結合と列順整理を代行します」に記載しています。まずは個人情報・秘密情報を含まない架空サンプルでご相談ください。

https://coconala.com/services/4459548