大量CSVを整形・結合しBI用データを作成します

「CSVが大量にあり、手作業でまとめきれない」 「表記や日付がばらばらで、分析に取りかかれない」 そんな方へ、支給CSVを整形・結合し、分析に渡せる形へ整理します。 Tableau等で使うためのデータ前処理が対象です。 グラフやダッシュボードの制作、分析結果の解釈ではありません。 大量の企業データを整形・結合し、項目定義と品質上の注意点を添えて納品した経験をもとに、みちぇるが担当します。 ■50,000円の基本範囲 購入前に確定したCSV一式に対する1案件分の加工です。 以下は、単純な加工ルールで想定する標準数量です。 ・入力はマスターを含め合計10ファイル ・列構成は主データとマスターの2種類まで ・全入力合計100万行・解凍後500MB以内 ・入力は各50列以内、加工後の主データも50列以内 ・同じ列構成のファイルを縦にまとめる処理 ・コード等で対応するマスター1種類の結合 ・合意した文字コード、列名、日付、数値の整形 ・合意ルールによる重複処理、欠損・不一致の確認 マスター結合は、マスター側のキーが一意で、元の行が増えない方式を基本にします。結合が不要な場合は省略できます。 数量内でも、列ごとの例外処理、複数条件での判定、曖昧な名寄せ、複数段階の結合、元データ修復が必要な場合は個別見積りです。 データ量だけでなく、加工ルール・例外処理・結合条件の複雑さを確認し、購入前に総額を確定します。 ■「きれいに見える」だけで終わらせません IDの先頭ゼロ、日付の解釈、空欄とゼロの違いを確認します。 不明な値の推測補完、無断の行削除、結合による件数の水増しはしません。 読み取れない行や対応先のないコードは、件数・理由を整理し、扱いを相談します。 ■納品物 ①整形・結合済みの主CSV：1種類 ②要確認データの一覧：該当行・理由コード等 ③項目定義・加工ルール ④入出力件数、重複・欠損・結合結果の確認レポート ⑤文字コード・読み込み時の注意点 主CSVは論理的に1つの表です。受け渡し上必要な分割は事前に相談します。 元データは上書きせず、加工済みデータを別ファイルでお渡しします。 内部処理にはPythonを使いますが、基本納品はCSVと説明資料です。操作ツール・ソースコードの納品、定期更新の仕組みは含みません。 合意範囲内の加工ルール調整に伴う、同一データの再処理は含みます。入力の差し替え・追加、別月データの再加工は別見積りです。 ■進め方 ①用途・データ量・匿名化サンプルを確認 ②入力一式、出力項目、加工ルール、確認基準を合意 ③サンプル出力を確認いただく ④確定した入力一式を加工・検証 ⑤データと説明資料をお渡しし、合意条件を確認 必要資料と仕様がそろってから14日が目安です。 合意方向内の調整は3回まで。当方の加工不備は回数外で修正します。 Tableauへの実接続・公開、専用形式への変換、BI画面制作、統計解析、外部データ収集、OCR、曖昧な名称の名寄せ、複数マスターや履歴を含む複雑な結合は基本外です。 利用するBIの製品名・版と、希望する列の例からご相談ください。