Webページに載っている情報を集めて、表の形でお渡しします。毎日同じページを開いて価格や在庫を確かめている、という作業を自動にしたい方に向けた出品です。
基本は1サイト・10項目までの取得で、CSVかGoogleスプレッドシートで納品します。使ったプログラムもお渡しするので、同じ取得をご自身で繰り返せます。
定期的に確認したい場合は、オプションで自動実行と通知を付けられます。お客様のCloudflareアカウントに処理を置き、決まった時刻に動かします。パソコンをつけたままにする必要はなく、小規模な確認であれば無料枠の範囲で動きます。変化があったときだけメール・Slack・Discordに知らせるので、毎日ページを開く手間がなくなります。
私は自分のサービスで、数万ページの定期取得と、取得結果のデータベースへの書き込みを動かしてきました。止まったときに気付く仕組みと、相手のサイトに負担をかけない間隔の取り方は、運用の中で作ってきました。
【作業の流れ】
1. URLと欲しい項目を伺い、利用規約とrobots.txtを確認します。
2. 数件で試しに取得し、項目が合っているか見ていただきます。
3. 全件を取得して納品します。
【基本の範囲】
・ログインなしで見られる公開ページ1サイトからの取得
・取得する項目10個まで、ページ数1,000ページまで
・結果をCSVまたはGoogleスプレッドシートで1回納品
・取得に使ったプログラム一式と、動かし方の説明
【お受けできないもの】
ログインが必要なページ、規約やrobots.txtで取得が禁止されたサイト、個人情報の収集、画像認証を通り抜ける処理、相手のサーバーに負担をかける大量アクセス、暗号資産の自動売買や投資判断のための仕組み、アダルトサイトからの取得。
相手のサイトの作りが変わると取得できなくなることがあります。長く使う場合は30日修正のオプションをおすすめします。
ご購入の前に、次の5点をメッセージでお知らせください。
1. 取得したいページのURL
2. 欲しい項目(例:商品名・価格・在庫・更新日)
3. おおよそのページ数
4. 1回だけか、定期的に確認したいか(定期の場合は頻度と通知先)
5. 集めたデータの使い道(取得の可否と規約の確認に使います)
利用規約やrobots.txtで取得が禁止されているサイト、ログインが必要なページ、個人情報の収集はお受けできません。確認の結果お受けできない場合は、購入前にお伝えします。
ログイン情報・パスワード・APIキーはお預かりしません。定期実行を付ける場合は、お客様のCloudflareアカウントに作業用メンバーとして招待していただきます。
納品したプログラムと取得結果は、お客様が自由にお使いいただけます。