"include" - 使用 Sitemap 并发现其他页面(默认)"skip" - 完全忽略 Sitemap"only" - 只返回来自 Sitemap 的 URLlinks 对象数组中返回链接,并附带增强的元数据。
Bearer authentication header of the form Bearer <token>, where <token> is your auth token.
用于开始爬取的起始 URL
指定搜索查询,以按相关性对结果排序。示例:使用“blog”将返回在 URL 中包含单词“blog”的网址,并按相关性排序。
用于映射(mapping)时的 sitemap 模式。若设置为 skip,则不会使用 sitemap 来发现 URL。若设置为 only,则只会返回出现在 sitemap 中的 URL。默认值为 include,此时会同时使用 sitemap 和其他方式来发现 URL。
skip, include, only 包含此网站的子域名
不要返回包含查询参数的 URL
返回的最大链接数量
x <= 100000以毫秒为单位的超时时间。默认情况下不设置超时。
请求的地域设置。指定后,如果有可用代理,将使用相应代理,并模拟对应的语言和时区设置。若未指定,则默认为“US”。