絞り込み条件を変更する
検索条件を絞り込む
有料ブログの投稿方法はこちら

すべてのカテゴリ

2 件中 1 - 2 件表示
カバー画像

PlayWright Browser Toolkit で Webスクレイピングを試してみた

PlayWrightとはPlayWrightは、Microsoft社が開発している、Webテストと自動化のためのフレームワークです。このフレームワークを使用することで、Chromeなどのブラウザをプログラム上で操作することが可能になります。これにより、Webアプリケーションのテストやスクレイピングなどを効率的に行うことができます。 PlayWright Browser Toolkitとは PlayWright Browser Toolkitは、LangChainのAgent toolkitsの一部として実装されています。LangChainのAgentは、静的なサイトだけではなく、動的にレンダリングされるサイトも操作することができるようになるツールです。PlayWright Browser Toolkitを使用することで、AgentはWeb上から情報を取得し、スクレイピングすることができます。 試してみた PlayWright Browser Toolkitを使ってWebスクレイピングを試してみました。モデルはgpt-3.5-turboでも処理できるケースもありましたが、gpt-4の方がやはり精度が高い印象でした。今回は、Agentに対して企業の住所を聞いてみました。Agentが次の通り、インターネットで調べるアクションから始まり、ステップバイステップでWeb上から情報を取得してスクレイピングして、最終的な回答を取得するまでの様子を見ることができました。どうしても、LLMでは実行毎で同じ結果にはならないという反面はありますが、動的なコンテンツなどの制御には今回のような機能が効果を
0
カバー画像

playwright(Node.js) で E2E テスト!

# はじめにみなさん、Playwright をご存知ですか?これまで、Node.js での E2E テストといえば、puppeteer、TestCafe を使っていたという方も少なくないのではないでしょうか?Playwright は、そのうち、puppeteer と同じような記述も多く、非常に分かりやすいかと思います。また、Microsoft によって開発、運用されているため、今後サポートされなくなるというリスクもある程度回避できるかと思います。2020/12/26 時点では、バージョン 1.7.0 なので、その時点での情報になります。# サポート環境2020/12/26 時点でサポートしているのは以下になります。- Node.js 10.17 以上- Windows: Windows 及び WSL で動きます- macOS: 10.14 以上- Linux: ディストリビューションによる(Firefox は、Ubuntu 18.04 以上)古い Microsoft Edge や IE 11 はサポートされていません。また、Python や C# などでも使えますが、Java や Ruby はサポートしていません。# インストール```$ yarn add -D playwright```# 簡単な例Yahoo! JAPAN トップページにアクセスして、スクリーンショットを撮るテストをしてみます。```js:test.jsconst { chromium, devices } = require('playwright');(async () => {const brow
0
2 件中 1 - 2
有料ブログの投稿方法はこちら