サービス詳細:
Pythonを活用したスクレイピングにより、インターネット上のデータ収集を行い、
EXCEL・CSVなどの形式で出力するツールを開発・納品します。
【こんなお悩みを解決します】
・毎日同じWebサイトをチェックして、手動でデータをコピペしている
・競合の価格調査に何時間もかかって疲弊している
・ECサイトやオークションサイトの在庫・価格確認が負担
・手作業でのデータの転記処理がとても大変で、残業が多い
【提供できる主な機能】
・基本機能: データ自動取得→Excel/CSV出力
・高度な機能: Googleスプレッドシート連携、差分検出、重複除去、
・RPA機能: ログイン処理、ボタンクリック、テキスト入力、検索条件の設定まで全自動
【対応可能な作業の例】
・Webサイトのデータ自動取得
・取得データのEXCEL出力、CSV出力(他のファイル形式での出力は、ご相談ください)
・取得データのGoogleスプレッドシートへの書込み
・Webサイトでの作業自動化
(検索条件の設定、テキストの入力、ボタンのクリックの自動化など、RPAの様な事が可能です)
・何回も繰り返しデータ収集する際に、一度取得したデータは取り直さない制御
・取得したデータの集計(カウント・平均値の取得など)
上記にないものでも、可能な範囲で対応させて頂きます。是非、ご相談ください。
【基本納品物】
・ご要件に沿ったツール(ダブルクリックで起動できるEXEファイル)
・簡易操作マニュアル(基本的な使い方を図解)
(上記以外の納品物についても対応可能ですので、ご相談いただければ幸いです)
【スクレイピング実績】
・価格.com
・食べログ
・SUUMO
・その他(カードゲーム販売サイト等)
・不動産情報取得サイト
・オークションサイト
・フリマサイト
・自動車情報サイト
・クラウド型の業務アプリサービス
【対応困難な場合】
以下の場合は対応が困難または制限があります:
・利用規約でスクレイピングが明確に禁止されているサイト
・CAPTCHA認証が常時必要なサイト
・個人情報や機密情報の取得を目的とする場合
・リアルタイム取引データなど極めて高速な更新が必要な場合
・著作権保護されたコンテンツの大量取得
※上記についても、代替手段をご提案可能な場合があります。
事前に以下をお伺いできますでしょうか。
・対象サイトのURL:「https://***.com」形式にて、URLをご記載ください。
・取得したいデータ:商品名、価格、在庫数、住所、築年数など具体的に
・出力形式の希望:Excel、CSV等
・データ取得頻度:毎日1回、週1回など
・想定データ量:1日100件、月1000件など概算で
・利用目的:価格調査、在庫管理、市場分析など
自動化されたい「作業の流れ」を下記形式にて手順化頂けますと、お見積りがスムーズとなります。可能な範囲でご対応ください。
【要件の例】
・ご要件「SUUMOで東京都千代田区における中古売マンション情報を取得」
・操作手順
1.SUUMO関東のページ「https://suumo.jp/kanto/」を開く
2.「中古マンション」をクリック
3.「東京都」をクリック
4.「千代田区」にチェックを入れ「検索する」をクリック
6.検索結果から、各物件毎に「物件名」「販売価格」「間取り」の項目を取得する。
7.検索結果のページが複数ある場合、最終ページまで全データを取得する。
8.取得データをEXCELファイルに出力する