すべてのカテゴリ

こんにちは！私は、現場の課題解決を専門とするアプリ開発コンサルタントのYOHEYです。これまで、工場やオフィスで実際に働く方々とともに、現場の声を反映したシステム開発を数多く手掛けてきました。ここでは、ココナラ初受注を目指す私が、日々考え、実行した試行錯誤の記録を残していこうと思います。同じようなことを目指す人の参考になれば幸いです。今回は、楽天モバイルのデザリングWiFiを活用した、CAPTCH回避方法をご紹介します。この方法は、特にスクレイピングやIP制限のあるサービスを利用する際に役立つアイデアです。実際に私がAliexpressのスクレイピングプロジェクトで試した結果も交えて解説しますので、ぜひ参考にしてください！■背景：IPアドレス変更の重要性スクレイピングや多量のデータ収集を行う際、IPアドレスのローテーションは避けて通れない課題です。例えば、同じIPアドレスから大量のアクセスを行うと、ターゲットサイトから「ロボット」として認識され、アクセスがブロックされることがあります。そのため、IPアドレスを定期的に変更して、サイト側から見て「異なる接続元」に見せる工夫が必要です。■楽天モバイルの活用法楽天モバイルは、手頃な価格で利用できる通信サービスです。特に、動的IPアドレスが採用されているため、テザリング機能を活用すれば手軽にIPアドレスを変更できます。以下は実際の手順です：１．テザリングWiFiをオンにするスマートフォンのテザリングをオンにし、PCやスクレイピング用デバイスを接続します。２．一度オフにして再接続テザリングをオフにし、再度オンにすることで新しいIPアドレス

こんにちは！私は、現場の課題解決を専門とするアプリ開発コンサルタントのYOHEY@佐賀です。これまで、工場やオフィスで実際に働く方々とともに、現場の声を反映したシステム開発を数多く手掛けてきました。 ここでは、ココナラ初受注を目指す私が、日々考え、実行した試行錯誤の記録を残していこうと思います。同じようなことを目指す人の参考になれば幸いです。今回は、AliExpressで商品情報を大量取得する際に直面する大きな壁、Captcha（ロボット検証）の回避について検証した結果をシェアします。Webスクレイピングをする際、Captchaは避けられない課題。特にAliExpressのような大手サイトでは、IPアドレスやアクセスパターンをもとにロボットとして検知されるとすぐにブロックされます。では、Captchaを回避する方法はどのようなものがあるのでしょうか？今回の検証を通して見えてきたことをご紹介します！◆検証結果まとめ：①Captcha回避にはIPアドレスの変更が最も有効だということ。②フィンガープリントの偽装やアクセススピード調整だけでは効果が薄いことも明らかになりました。◆今回試したCaptcha回避方法１．フィンガープリント情報の偽装ユーザーエージェントやブラウザの指紋情報を偽装して「人間らしいブラウザ」を装う方法を試しました。これには以下のようなライブラリや設定を利用しました：・selenium-stealth・HTTPヘッダーの多様化（リクエストヘッダーのランダム化）結果は……失敗。数回のリクエストまでは成功しましたが、短時間でCaptchaが発生しました。ブラウザ操作のフ