すべてのカテゴリ

こんにちは！私は、現場の課題解決を専門とするアプリ開発コンサルタントのYOHEY@佐賀です。これまで、工場やオフィスで実際に働く方々とともに、現場の声を反映したシステム開発を数多く手掛けてきました。 ここでは、ココナラ初受注を目指す私が、日々考え、実行した試行錯誤の記録を残していこうと思います。同じようなことを目指す人の参考になれば幸いです。今回は、AliExpressで商品情報を大量取得する際に直面する大きな壁、Captcha（ロボット検証）の回避について検証した結果をシェアします。Webスクレイピングをする際、Captchaは避けられない課題。特にAliExpressのような大手サイトでは、IPアドレスやアクセスパターンをもとにロボットとして検知されるとすぐにブロックされます。では、Captchaを回避する方法はどのようなものがあるのでしょうか？今回の検証を通して見えてきたことをご紹介します！◆検証結果まとめ：①Captcha回避にはIPアドレスの変更が最も有効だということ。②フィンガープリントの偽装やアクセススピード調整だけでは効果が薄いことも明らかになりました。◆今回試したCaptcha回避方法１．フィンガープリント情報の偽装ユーザーエージェントやブラウザの指紋情報を偽装して「人間らしいブラウザ」を装う方法を試しました。これには以下のようなライブラリや設定を利用しました：・selenium-stealth・HTTPヘッダーの多様化（リクエストヘッダーのランダム化）結果は……失敗。数回のリクエストまでは成功しましたが、短時間でCaptchaが発生しました。ブラウザ操作のフ