torを使用したスクレイピングにthreadingを使用したい

予算
2千 円以下
納品希望日
2020年7月25日
募集期限
募集終了 締切日 2020年7月23日 /
掲載日 2020年7月20日
応募状況
応募人数 0
契約人数 0
閲覧数 36
用途・種類
作業自動化・効率化、データベース設計・構築
対応範囲
ー
用意してあるもの
ー
開発言語
Python

募集内容

依頼の概要・目的・背景
【目的】Torを使用したクローラーを作成したい 【背景】特定のサイトからデータを収集するbotを作成しているのですがtorを使用してIPアドレスを分散させつつスクレイピングからのデータ収集を行いたいのですが、レスポンス待ちを待機するのが長いのでthreadingなどを使用してレスポンス待ちにも処理をしたいです。 【依頼詳細】 サービス内容:すでにプログラムはできているのでそれにthreadingを追加してください。 さらにExceptにアクセスが弾かれたときにSubpocessでTorを再起動するように記載されているのですがそちらでは再起動が多くなってしまうためTorもスレッド数に合わせて複数個起動して(16スレッドならば16個起動して全部違うポートで動作)スクレイピングをスレッドごとに行いたいです。 一応プログラムとしてはリストから順番にテンプレURLに代入してアクセスを行い帰ってきたレスポンスをデータベースとしてテキストファイルに出力するようなものになります。 実は一応、スレッド化させたいファイルは二つありまして似ている作りなのでできそうであれば二つお願いしたいです。 どちらかできるほうでも大丈夫です。 torについてはどうなっているのかというとWindows環境で環境変数にてtorを指定してsubprocessでtorを実行してエラーが出た場合はtorを強制終了させ再度起動させています。 その再起動(起動)後にグローバルIPを返すサイトにアクセスして中身を表示させてIPアドレスを確認しています。 【提案方法】 添付させていただいているファイルを見ていただいてできそうであれば提案していただければ詳しく説明させていただきます。
添付ファイル
参考URL
ー
求めるスキル
ー
特記事項
経験者優遇
スピード重視
品質重視

応募者一覧

応募はまだありません

募集内容についての質問

質問と回答の履歴

質問はまだありません。不明なことがあれば質問してみましょう。
募集終了
ブックマーク
予算
2千 円以下
募集終了

募集者情報

神瀬 来未
神瀬 来未
5.0 (6)
4
発注件数
25%
発注率
100%
取引完了率
認証状況
本人確認
機密保持契約(NDA)

この募集内容に似ている仕事

予算
3万円
〜
5万円
応募者数 119
募集期限 あと 3 日 (9月28日まで)
user
mitsujiro
投稿日時:4日前
予算
見積り希望
応募者数 59
募集期限 あと 9 日 (10月4日まで)
user
Mauna0227
投稿日時:4日前