メインコンテンツへスキップ

前提条件

セットアップ

ウェブを検索する

検索ハンドラーを定義した index.mjs を作成します:

ページをスクレイピングする

同じハンドラーにscrapeアクションを追加します:

Interactでページを操作する

稼働中のブラウザセッションを制御するために interact アクションを追加すると、ボタンのクリック、フォームへの入力、動的なコンテンツの抽出ができます:

デプロイ

AWS CLI を使ってパッケージ化とデプロイを行います:
Lambda のタイムアウトは少なくとも30秒に設定してください。動的ページのスクレイピングや Interact セッションは、デフォルトの3秒のタイムアウトでは完了までにそれ以上かかることがあります。

次のステップ

Searchドキュメント

Webを検索し、ページ全体のコンテンツを取得

スクレイピングドキュメント

フォーマット、アクション、プロキシを含むスクレイピングのオプション

Interactドキュメント

クリックやフォーム入力で動的コンテンツを抽出

Node SDKリファレンス

クロール、map、バッチスクレイプなどを網羅したSDKリファレンス