Pythonで公開Webデータを収集します

取得条件を確認した公開Webデータを、CSVで扱える形にまとめます。 【こんな場面に】 ・公開情報を一覧に整理したい ・同じ項目を繰り返し確認している ・収集処理のソースも受け取りたい 【手で集めている公開情報をCSVへ】 一覧ページを開き、名称や価格などを転記する作業を、Pythonで再実行できる処理にします。対象サイトの取得条件を確認したうえで、必要な列を持つCSVを作ります。既にお持ちのCSVを加工するサービスとは異なり、公開ページから情報を集める部分が中心です。 【相談時に決める５つの項目】 対象URL、取得の許可条件、必要な件数、抽出項目、再実行の頻度を共有してください。「サイト内を全部」ではなく、どの一覧のどの項目まで必要かを指定すると、範囲を合わせやすくなります。最大３００件でも、ページの構造や表示方法によって対応可否が変わります。 【出力の説明例】 許可された公開商品一覧から「商品名・分類・価格・商品URL・取得日時」を出す形を想定できます。これは説明用の架空例で、特定サイトへの取得許可や制作実績を示すものではありません。実際の列名、列順、空欄や重複の扱いは、見本のCSVで合意します。 【取得前後の確認】 ・対象ページと抽出する位置が合っているか ・取得件数と、重複・欠損の有無 ・日本語や記号が文字化けしていないか ・CSVの値が元ページの表示と対応するか 取得できない項目を推測して補うことはありません。掲載のない値や一時的な取得失敗は、決めた方法で空欄・記録等に分けます。取得先への負荷を考慮し、許可条件に沿う実行方法を確認します。 【自分で再実行するために】 使用するPCとPythonの環境、必要なライブラリ、実行手順を共有します。基本は手動実行です。定期実行、通知、サーバーでの常時稼働は含みません。納品後に取得元の画面構造や条件が変わった場合の修正は、状況を確認して別途相談となります。 抽出項目や取得件数の追加、同じ対象からの再取得などは、許可条件と作業量を確認して有料オプションで調整できます。 【再利用する前に分かる記録を】 初回CSVには、どの対象から、いつ、どんな条件で取得したかを説明します。同じURLでも掲載内容が更新されるため、後日見た値と違う場合は取得日時を基準に確認してください。抽出対象が空だった場合や、一部ページを取得できなかった場合の報告方法も先に決めます。 ソースがあることで再実行できますが、無制限に取得してよいという意味ではありません。対象件数と実行間隔を守り、条件が変わったら止めて確認する運用を想定しています。 対象範囲は見積書に残します。 【進め方】 見積もり相談で資料を確認し、対応範囲と納期を決めてから着手します。確認用の結果をお渡しし、ご確認後に納品します。 【基本価格に含む範囲】 取得が許可された公開サイト1つ、最大300件、抽出項目5つまでのPython収集スクリプトと初回CSVを作成。 納品物：スクリプト・初回CSV・実行手順。 目安納期：必要な資料と権限がそろってから7日。見積時に日程を確定します。 修正：合意した仕様内の軽微な修正2回まで。 対応：ココナラのメッセージ内。常時監視・即日対応は含みません。 【ご注意】 ログイン内の情報、個人情報の収集、アクセス制限の回避、禁止された取得、取得元変更後の継続保証は対象外です。追加仕様や大幅な変更は、着手前に別途見積もりを提示し、合意後に対応します。制作にAI補助を使う場合があります。納品内容は確認してお渡しします。