半日の転記作業が、100秒で終わった記録

Webサイトに並んでいる情報を、Excelにまとめる。

この作業を手でやると、どうなるか。

一覧ページを開く。1件目をクリックする。詳細ページが開く。

必要な項目を目で探して、コピーして、Excelに貼る。項目が15個あれば15回。

戻る。2件目をクリックする。同じことをする。

60件なら、これを60回です。

一覧が4ページに分かれていれば、ページ送りも挟まります。

慣れている方でも半日仕事で、しかも終わるころには集中力が切れて、

どこかで1行ずれていないかが気になり始めます。

■ 実際にやってみた記録

動作の見本として、公開されているサイトで試しました。

  対象 消費者庁「リコール情報サイト」

  範囲 カテゴリー「食料品」の最新60件

  ページ 一覧4ページ ＋ 詳細60ページ

  項目 管理番号／件名／商品名／事業者名／掲載日／連絡先／

         対応方法／対象の特定情報／備考／参照情報 など 15項目

結果です。

  約100秒。60行×15列。空欄なし。

1件あたり1.7秒でした。半日かかっていた作業が、コーヒーを入れている間に終わります。

■ 速さより、大事だと思っていること

3つあります。

ひとつ目は、取りこぼしがないこと。

60件×15項目で900個の値がありますが、機械は900回とも同じ手順で取ります。

疲れて1行飛ばす、ということが起きません。

ふたつ目は、同じ作業をもう一度できること。

来月また同じデータが要るとき、もう一度実行するだけです。

毎月くり返している作業ほど、効いてきます。

みっつ目は、どこから取ったデータか分かること。

出力したExcelの2枚目のシートに、対象ページ・絞り込み条件・件数・取得日時・出典を

書き込むようにしています。半年後に「この数字はいつのもの？」と聞かれても答えられます。

■ 「うちが見ているサイトは難しいと思う」という場合

今回のサイトも、そのままでは取れませんでした。壁が2つありました。

ひとつは、次のページに進む仕組みです。

URLの数字を1、2、3と変えれば次のページに行けるサイトばかりではありません。

このサイトは、画面の中のボタンを押さないと次に進めない作りでした。

もうひとつは、画面を開いたあとから文字が出てくるタイプの項目です。

「連絡先」「対応方法」など4項目が、ページを読み込んだ時点ではまだ入っていませんでした。

どちらも、やり方を変えれば取れます。

「JavaScriptで表示しているので取れません」と言われたことがある方は、

一度ご相談ください。取れることが多いです。

■ お請けできないもの

対象のサイトが利用規約で自動取得を禁止している場合は、お請けしていません。

着手する前に確認して、その時点でお伝えします。

今回のサイトを選んだのも、掲載情報が「公共データ利用規約」に準拠していて、

出典を書けば加工・利用できると明記されていたからです。

出典：消費者庁リコール情報サイト（消費者庁）を加工して作成

■ ご依頼について

2つの形を用意しています。

  【出品1】Webサイトのデータを集めてお渡しします（5,000円／お渡しまで5日）

    こちらで実行して、ExcelとCSVをお渡しします。

    1回だけ必要な方、まず結果だけ見たい方はこちらです。

  【出品2】Webサイトからのデータ収集を自動化します（10,000円／お渡しまで7日）

    プログラムそのものをお渡しします。

    毎月・毎週くり返す作業なら、こちらのほうがあとで楽になります。

「そもそも自動でできる話なのか」の判断からで構いません。

対象のページのURLと、Excelにしたい項目を教えていただければ、

できる・できない・どのくらいかかるかをお返しします。