什么是oxylabs的电商爬虫API?

什么是oxylabs的电商爬虫API？

oxylabs的电商爬虫API有哪些核心功能？

瞬间采集精确产品数据 电商爬虫API可以快速访问主流电商市场或独立站的产品数据。从多种类型的网页获取实时电商数据，包括HTML或JSON格式的搜索和产品页面。
	轻松规避地理限制 无论您身在何处，都能访问几乎全球各地的本地化电商数据。电商爬虫API让您能轻松从195个国家采集高度本地化的产品数据。

 

只需几秒即可检索出高质量的结构化数据 我们基于机器学习的自适应解析器可以轻松适应网站的布局，并允许您从几乎任何电商产品页面收集数据。通过检测最重要的数据点，如标题、价格和产品描述，它能够为您提供JSON格式的高质量结构化数据。
	无头浏览器 只需一行代码就能渲染基于JavaScript的页面，无需复杂的浏览器开发或自动化的第三方工具。内置代理能帮助您访问来自世界各地的数据，并帮助解决反爬虫解决方案。由于能够将加载的页面保存为HTML或PNG，您可以很轻松地访问所需的数据。

 

oxylabs的电商爬虫API的核心优势是什么？

在哪些场景会用到oxylabs的电商爬虫API？

常规

企业

电商爬虫API如何操作？

购买想要的套餐后，您就可以立即开始使用电商爬虫API。设置很简单，只需以下几个步骤：

1. 登录仪表板。

2. 创建API用户。

3. 运行测试查询，然后继续设置。

电商爬虫API是一个易于使用的工具，无需任何特殊的基础设施或资源。

1. 选择产品ID、链接或搜索短语

2. 提交GET或POST请求

3. 通过REST API直接接收所需的公共数据或上传到云

您会在仪表板上发现什么?

如果您选择使用Oxylabs的电商爬虫API，您将获得一个简便的仪表板。您可以关注您的数据使用统计并对您的订阅细节进行跟踪。不仅如此，您还可联系Oxylabs的客户服务团队，无论什么时候都能获得帮助。

身份验证

电商爬虫API采用需要用户名和密码的基本HTTP身份认证。这是开始掌握该工具的最简单的方法。以下代码示例展示如何使用实时交付方法向books.toscrape.com发送GET请求,我们将在本指南后面的内容中讨论这种方法。 如果您观察到成功率很低，或者检索内容为空，请尝试在请求中使用额外参数"render":"html"。请点击这里了解关于渲染参数的更多信息。

curl --user "USERNAME:PASSWORD" 'https://realtime.oxylabs.io/v1/queries' -H "Content-Type: application/json" -d '{"source": "universal_ecommerce", "url": "https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html", "geo-location": "United States", "parser_type": "ecommerce_product", "parse": true}'

集成方法

Oxylabs的电商爬虫API提供了各种集成方法，每一种都有独特的好处。您可以选择一个最适合您需求的方法，并有效地获得所需的电子商务数据。

Push-Pull

当使用push-pull集成方法时，您需要与我们的端点保持稳定连接，以获取所需的公共数据。在这种情况下，您只需向我们发送一个请求，然后我们返回您的工作ID。工作完成后，您可以使用这个id从/results端点获取数据。 

您可以自己检查工作状态，或者设置一个接受POST请求的监听器。在这种情况下，一旦准备回收工作，我们会向您发送一个回调消息。

这种方法相对而言较为简单，轻松即可扩大规模。它提供了以下功能：

• 单一查询。我们的端点将处理一个关键字或URL的单一查询。API将向您发送一条确认消息，包括工作 id 和其他信息。在这个id的帮助下，您可以手动检查您的工作状态。

• 检查工作状态。如果您在查询中包含callback_url ，我们会在抓取任务完成后向您发送一个内容链接。如果您的查询不包含callback_url，您应该自己检查工作状态。您需要使用响应消息rel:self下href中的URL。 

• 检索工作内容。一旦工作内容准备就绪，您便可使用rel:results下href中的URL来获取。 

• 批量查询。电商爬虫API可以对多个关键字执行查询，每批最多可执行1000个关键字。为此，您必须发布查询参数作为JSON主体的数据。系统会将每个关键字作为一个单独的请求进行处理，并为每个请求返回唯一的工作id。 

• 获取通知者IP地址列表。要将向您发送回调消息的IP列入白名单，您应该向https://data.oxylabs.io/v1/info/callbacker_ips端点发送一个GET请求。

• 上传至存储器。抓取的内容默认存储在我们的数据库中。要检索结果，您需要查询我们的端点。您也可以通过使用自定义存储功能将所有数据直接迁移到您的存储空间。

• 回调。当数据收集任务完成后，我们会向您的设备发送一个回调请求，并向您提供一个URL，以获得抓取的数据。

在本快速入门指南中,我们提供了一个示例,介绍如何使用推拉集成方法和cURL库与电商爬虫API进行交互以提出请求。我们将在美国地理定位中从名为的虚拟电子商务网站中提取已解析的产品数据。如果您希望得到HTML页面内容,而不是解析的数据,则仅需删除'parse'和'parser_type'参数即可。

单个查询请求的示例:

curl --user "USERNAME:PASSWORD" 'https://data.oxylabs.io/v1/queries' -H "Content-Type: application/json" -d '{"source": "universal_ecommerce", "url": "https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html", "geo_location": "United States", "parse": true, "parser_type": "ecommerce_product"}'

详情参考：https://oxylabs.cn/blog/ecommerce-scraper-api-quick-start-guide