CSVをまとめたら件数が合わない|元ファイルから確認する4つのポイント

CSVをまとめたら件数が合わない|元ファイルから確認する4つのポイント

記事
IT・テクノロジー
「全部まとめたはずなのに、思った件数にならない」
そんなときは、結合し直す前に、元ファイルごとの件数から確認しましょう。

ここでは、前の記事で紹介したPythonのCSV結合を例にします。対象はUTF-8で、列名と列順が同じCSVです。

1 読み込んだファイルを確認する


今回の画面に表示された保存先を開き、SUCCESS.txtを見ます。まとめたいファイルがすべて載っていますか?

前の記事の練習例なら、01_tokyo.csvは2件、02_osaka.csvは1件です。足りないファイルがあれば、inputフォルダの直下に入っているか、拡張子が.csvかを確認します。

2 ファイル別の件数を足す


2件+1件なら、合計は3件です。見出しは件数に含めません。
ファイルごとの件数を元のCSVと照合してから、合計を確認します。前回のSUCCESS.txtではなく、今回の保存先を見るのがポイントです。SUCCESS.txtがなければ、その結果は業務に使わず、実行画面のエラーを確認してください。

3 空行と重複の数え方をそろえる


このコードは、完全な空行を読み飛ばします。見出しが3列のCSVなら「,,」は空欄3つの1件として残ります。見出しがそれ以外の列数なら、「,,」の行は列数不一致で処理が止まります。セル内に改行があると、画面上の行数とデータ件数が違う場合もあります。

確認例:2件ずつのCSVを2つまとめ、うち1件のメモ欄に改行を入れても、保存後にCSVとして読み直した件数は4件でした(Linux/Python 3.12.14)。
Python_CSV_保存したCSVの件数確認.jpg

同じ内容の行は、自動で削除しません。同じ期間のCSVや、そのコピーを二重に入れていないかも確認しましょう。

4 元ファイルをたどり、中身も見る


結合結果の「_source_file」列で、各行の元ファイル名が分かります。件数に加えて、先頭と末尾のデータ、日付、商品コードも見比べます。

原因が分からないまま行を削らず、元のCSVを残してコピーで確認してください。

※このPythonコードの対象は1〜50ファイル・合計1 MiB・データ合計1〜10,000件です。CSV結合ツールすべてに共通する仕様ではありません。

結合の準備と手順は、こちらの記事にまとめています。

毎月の結合や件数確認を、今の作業に合わせて整えたい場合は、Pythonツールのご相談へ。ファイルを送る前に、入力の種類と件数、困っている点をお聞かせください。

サービス数40万件のスキルマーケット、あなたにぴったりのサービスを探す