ajaxのサイトを共用レンタルサーバーでスクレイピングする方法・アイデアを教えて下さい

予算
千円
〜
3千円
納品希望日
ご相談
募集期限
募集終了 締切日 2020年9月20日 /
掲載日 2020年9月15日
応募状況
応募人数 1
契約人数 1
閲覧数 31
用途・種類
Webシステム開発・サイト構築、作業自動化・効率化
対応範囲
要件定義
用意してあるもの
ー
開発言語
ー

募集内容

依頼の概要・目的・背景
【概要】 PinterestやYoutubeなどajaxでページの要素を表示してるサイトを、エックスサーバーなどのレンタルサーバー上のプログラムからスクレイピングで取得する方法を教えてほしいです。 実装やテストはしてもらわなくても良いです。 こういうふうにすれば実現できる。っという方法やアイデアを教えてほしいです。 【目的】 こういうデータを自動で取得したいです。 ・Youtubeの動画一覧を取得する(スクロールしないと、続きの動画がでない) ・Pinterestの画像一覧を取得する(スクロールしないと、続きの画像が出ない) ・「もっと見る」ボタンを押さないと続きの記事などができないサイトの一覧取得 ・タブをクリックしたり、ボタンを選択したときに、変化した結果(もともとのHTMLソースには書かれてなくて、javascriptで書き換えたりしてる内容)のデータを取得 【条件】 共用レンタルサーバーで動く ・エックスサーバー、ロリポップ、さくらの共用などで動く ・ヘッドレスChromeをインストールとかはできないです WordPressから利用可能 ・PHPで動くなら一番良いです ・PHP以外なら、APIみたいにしてWordPressから叩くとか、DBやCSVに書き込んどいて取得するとか 月額コストが5000円以下 ・共用では無理で、別の専用サーバーを用意して処理するみたいな感じの場合、ランニングコストが5000円以下でおさまる ・理由は下記(自分で考えてみたこと)に。 【自分で考えてみたこと】 PHP Simple HTML DOM Parser ・ajaxが無理でした ・HTMLサイズが大きいと解析できない ヘッドレス Chrome ・そもそもインストールできない Octoparseの有料プラン契約 ・僕が考えた中で一番現実的な感じ ・$75/月でajaxのサイト取得可能、クリックとかもできて、APIでアクセスできます ・なので、Octoparseの有料プランを使う以上のメリットがある方法を教えてほしいです  (ランニングコストが安い、処理が早い、大量処理可能など) 【提案の際のお願い】 方法を教えて貰うという内容なので、提案時には詳細は書かないでください。 (ただ働きみたいになっちゃいます) どのパターンで実現できるのか?だけ書いてご提案ください。 ・共用サーバーだけで実現可能(言語だけ書いてください) ・別のサーバーや別のサービスを利用(月額費用の目安だけ書いてください) よろしくおねがいします!
添付ファイル
ー
参考URL
ー
求めるスキル
ー
特記事項
ー

応募者一覧

応募者
応募日時
2020/09/15 20:37

募集内容についての質問

質問と回答の履歴

質問はまだありません。不明なことがあれば質問してみましょう。
募集終了
ブックマーク
予算
千円
〜
3千円
募集終了

募集者情報

プライマリーテキスト
プライマリーテキスト
5.0 (23)
1
発注件数
100%
発注率
100%
取引完了率
認証状況
本人確認
機密保持契約(NDA)

この募集内容に似ている仕事

予算
3万円
〜
5万円
応募者数 124
募集期限 あと 2 日 (9月28日まで)
user
mitsujiro
投稿日時:4日前
予算
見積り希望
応募者数 60
募集期限 あと 8 日 (10月4日まで)
user
Mauna0227
投稿日時:5日前