サービス
サービスを探す
プロ人材を探す
仕事を探す
ブログを探す
WEBスクレイピングバッチによるデータの保存（Mysql）
用途・種類
ー
依頼工程
ー
用意してあるもの
ー
開発言語
ー
募集内容
募集内容
はじめまして、柴犬団長です。
引数にてページを指定して収集したデータをMySqlへと保存するバッチの作成は可能でしょうか？
環境はUbuntu（レンタルVPS）
Mysqlデータベースはこちらで用意できます。
データを取得したいサイトは以下の二つです。
①Jリーグ
（https://data.j-league.or.jp/SFMS01/search?competition_years=2017&tv_relay_station_name=）
②トト結果
（http://www.toto-dream.com/dci/I/IPB/IPB01.do?op=lnkHoldCntLotResultLsttoto&holdCntId=0946）
①は年度指定して指定した年度分を最新版でデリートインサート
②は開催回を指定して指定した開催回を最新版でデリートインサート
予算は１万～２万です。
予算内での可能でしょうか？難しければ妥当な予算を教えてください。
背景
趣味でときおりトト予想をします（毎回負けてますが、ときおり当たるのが嬉しい）。
そのときにデータを紙にまとめてじっくり考えるんですが、このデータを集める作業が非常に大変でいつでもパッとデータが集められたらいいなあっとおもっています。Javaがある程度さわれるのでデータベースに集められたら今後このデータで遊べたりするのでいいなあと思いましたがスクレイピングの技術がないので今回お願いをいたしました。
添付ファイル
ー
参考URL
ー
求めるスキル
ー
特記事項
ー
募集内容についての質問
質問と回答の履歴
coreKei
3年以上前
スクレイピング元サイトのHTML構造が変更となると、
スクレイピングプログラムの調整が都度必要になりそうですね。
APIなど無いのでしょうかね。
柴犬団長
3年以上前
ご質問有難うございます！
リクエスト内容については既にB・C・C様にご対応頂きました。リクエストクローズの方法が分からずにそのままにしておりました、申し訳ございません。
ご質問に対してですが、スクレイピング対象のHTML構造が変わった場合は以下のパターンで対応するつもりです。
B･C･C
3年以上前
具体的なMySQLのテーブル設計はできておりますでしょうか？
最新版でアップデートしていくという事ですが、
各サイトの結果のテーブル情報をそのままMySQLに落とし込むイメージでいいのでしょうか？
柴犬団長
3年以上前
まずはバッチを叩いてスクレイピングされたデータがはいってくるのを見てみたいという気持ちがあります
外部接続するためのデータベースは既に作成済みですがテーブルは作っておりません。必要であれば考えて作成します。
募集終了
予算
5千円
〜 1万円