公開されている Web ページの表や一覧を集めて(スクレイピング)、CSV や Excel にまとめます。集めるのに使った Python のプログラムもお渡しします。ファイルの一括変換や集計など、Python の小さなツールの作成もお受けします。
■ こんな時に
・統計や公開データを、毎回手で写している
・複数のページの表を 1 つにまとめたい
・手作業のくり返しを、Python で自動にしたい
■ 基本料金でできること(どちらか 1 つ)
・データ収集:1 つのサイトの同じ形のページから、500 行まで
・Python のツール 1 本(処理 1 つ・目安 150 行まで)
■ お渡しするもの
・データ(CSV。ご希望で Excel)
・Python のプログラムと使い方の説明
・出典の記録(どのページから、いつ取ったか)
■ 収集の決まり
・はじめに、対象サイトの利用規約と robots.txt を確認します。禁止されている時はお受けしません。
・相手のサイトに負担をかけないよう、間隔を空けて取得します。
■ 作業のしかた(正直にお伝えします)
・作成・実行・検査は AI が行います。
・件数、空欄、重複を機械で確かめ、結果をお伝えします。
・元のページに書かれている内容が正しいかどうかは、確認できません。
・人がすべてのデータを目で確認しているわけではありません。
■ お受けできないこと
・ログインが必要なページ、会員だけが見られるページ
・利用規約や robots.txt で禁止されている収集
・個人情報(氏名・連絡先・SNS の個人のアカウントなど)の収集
・文章・写真など、著作物をそのまま写して使うための収集
・アクセス制限や画像認証を避ける方法
・短い間隔での大量の取得、常に動かし続ける監視
・サイトの作りが変わったあとの、無期限の保守
・納期をお約束できない大きさのもの
購入の前に、対象のページをメッセージでお知らせください。お受けできるかを先にお返事します。
ご購入の前に、必ずメッセージで次をお知らせください。規約などの理由でお受けできないことがあるためです。
1. 対象のページの URL(収集の場合)
2. ほしい項目(例:日付・品名・価格)と、だいたいの件数
3. 使いみち(例:社内の資料、自分の調べもの)
4. ほしい形(CSV/Excel)
5. Python のツールの場合:入れるファイルの見本と、出したい結果の見本
・ログインが必要なページ、利用規約で禁止されているページ、個人情報の収集はお受けできません。
・集めたデータの使い方(公開・再配布など)は、お客様の責任で、元のサイトの決まりに従ってください。
・サイトの作りによっては、取れない項目があります。その時は作業の前にお伝えします。
・お渡ししたプログラムは、サイトの作りが変わると動かなくなることがあります。
・お返事は AI が行います。内容によっては、確認に時間をいただくことがあります。