Excel・CSVデータ移行で確認すべき10のチェック項目

Excel・CSVデータ移行で確認すべき10のチェック項目

記事
IT・テクノロジー
ExcelやCSVのデータ移行は、一見すると「形式を合わせて取り込むだけ」の作業に見えます。ところが実務では、取込エラー、文字化け、想定外の空欄、重複、桁数超過などが後から見つかり、確認作業が増えることがあります。移行の品質は、変換作業そのものよりも、事前に何をチェックするかで大きく変わります。

問題が起きる理由は、ExcelやCSVが人にとって扱いやすい一方で、システムにとっては曖昧な情報を含みやすいからです。見た目は空欄でも実際には空文字が入っている、数値に見えて文字列として保存されている、日付が端末設定に依存している、といったことがあります。さらに、元データを複数人が手で修正している場合、表記ゆれや全角半角の混在も起きやすくなります。

確認すべき項目は10あります。1つ目は必須項目です。取込先で必須となる列が空になっていないかを確認します。2つ目はNULLと空文字です。未入力をNULLで扱うのか、空文字で扱うのかによって検索や更新の結果が変わります。3つ目は日付形式です。yyyy/mm/dd、yyyy-mm-dd、和暦、シリアル値が混在していないかを見ます。4つ目は数値と文字列です。社員番号や商品コードのように、数字だけに見えても先頭ゼロを保持すべき項目があります。5つ目は桁数です。取込先の列定義を超える値はエラーや切り捨ての原因になります。

6つ目は文字コードです。CSVではUTF-8、Shift_JISなどの違いで文字化けが起きます。7つ目は半角、全角、不正文字です。記号や機種依存文字が取込先で扱えるかを確認します。8つ目は重複です。同じキーが複数行あると更新対象が定まらないことがあります。9つ目は参照マスタです。部署コードや分類コードなどが移行先マスタに存在するかを見ます。10個目は移行前後の件数照合です。変換前、除外、補正、取込後の件数を分けて残すと説明しやすくなります。

対応手順としては、まず元データを直接変更せず、コピーを作成します。次に列ごとのチェックルールを定義し、エラー一覧を作ります。補正が必要な場合は、どの条件で何を変えたかを補正ルールとして残します。最後に、補正前後の件数、除外理由、取込対象件数を照合します。ここまで記録しておくと、後から「なぜこの値になったのか」を追跡できます。

よくある失敗は、Excel上の見た目だけで判断することです。セルの表示形式により、実際の値と表示が違う場合があります。また、元データを直接上書きしてしまうと、補正前の状態に戻れなくなります。移行作業では、元データ、チェック結果、補正後データを分けて管理することが大切です。

相談前に準備しておくとよいものは、元データのサンプル、取込先の項目定義、必須項目の一覧、エラーになった行の例、希望する補正方針です。空欄をそのまま残すのか、既定値を入れるのか、対象外として除外するのかで作業内容は変わります。判断が必要な項目を先に分けておくと、移行後に説明できるデータ整備になります。

データ移行では、正しい値に直すことだけでなく、どのような判断で直したのかを残すことも大切です。たとえば、部署コードが存在しない行を除外したのか、別コードへ変換したのか、確認待ちにしたのかで、移行後の説明が変わります。補正ルールは作業者だけでなく、確認者にも伝わる形で残しておくと安心です。

また、移行前後の件数照合は合計件数だけでは足りないことがあります。正常取込、補正後取込、除外、保留などに分けると、差分の理由を説明しやすくなります。取り込めた件数だけでなく、取り込まなかったデータの扱いも確認対象に含めることが重要です。

専門家へ相談した方がよいのは、取込エラーの原因が複数ある場合、データ量が多い場合、補正ルールを関係者に説明する必要がある場合です。Excel・CSVデータの品質確認、補正ルール作成、移行前後の件数照合が必要な場合は、関連サービス「データ移行・クレンジング」から見積り相談をご利用ください。関連ポートフォリオ「Excel・CSV移行データ補正」では整理例を確認できます。
サービス数40万件のスキルマーケット、あなたにぴったりのサービスを探す