決まったサイトを毎日開いて、新着や価格の変更がないか目で確認している。確認自体は単純なのに、件数が多くて時間がかかる。そんな定期チェックを、Pythonプログラムで自動化します。
指定されたサイトを定期的に取得し、前回との違い(新しい項目の追加、価格などの変更)を検知して、結果をCSVファイルとExcelファイルで出力するツールを納品します。プロトタイプでは、練習用サイト「Books to Scrape」で新着と価格変更を検知し、ファイル出力できることを確認済みです。ログインが必要なサイトにも対応します。
・指定ページの項目(タイトル、価格など、あらかじめ決めた項目)の取得と一覧化
・前回結果との比較による、新着の検知と価格変更の検知
・結果のCSV・Excelファイルへの出力
・ログインが必要なサイトへの対応。方法は2通りあります。(A)セッションCookieを使って取得する方法、(B)IDとパスワードで自動ログインする方法(requestsによるフォーム送信、またはPlaywrightを使う方法)。認証情報はプログラムに直接書き込まず、環境変数から読み込む形にします
目視確認の回数が減り、変更があった部分だけを確認できます。結果がファイルで残るため、あとから見返すこともできます。
■できないこと・大切な注意
・対象は、購入者様ご自身のアカウントで、対象サイトの利用規約で許可された範囲の取得のみです。規約で自動取得が禁止されているサイト、他人のアカウントを使う取得、アクセス制限を回避する取得は対応できません
・サイトの仕様変更により取得できなくなる場合があり、将来にわたる動作を保証するものではありません
・大量サイトの常時監視や、リアルタイム通知の仕組みは基本内容に含みません
・認証情報(パスワードやCookie)をココナラのメッセージで送ることは絶対におやめください
・Pythonプログラム一式
・出力サンプル(CSV・Excel)
・実行手順と設定方法をまとめた簡単な説明文
やり取りはすべてココナラ上で行います。サイト外でのやり取りや、実際にお会いすることを前提とした対応はいたしません。
上記の仕様はプロトタイプで実際に動作確認済みです。対象サイトによって対応可否が変わりますので、購入前に必ずご相談ください。
ご購入前に、見積り相談またはメッセージで次の内容を必ずお知らせください。①チェックしたいサイトのURLとページの種類②取得したい項目(タイトル、価格など)③ログインが必要かどうか④チェックしたい頻度の目安⑤そのサイトがご自身のアカウントかどうか。パスワードやCookieなどの認証情報をメッセージで送ることは絶対におやめください。認証情報は、納品するプログラムで環境変数から読み込む形にし、設定手順のみご案内します。対象はご自身のアカウントで、利用規約で許可された範囲のみです。規約で自動取得が禁止されているサイトや、他人のアカウントを使う場合は対応できません。サイトの構造によっては対応できない場合がありますので、必ず購入前にご相談ください。