 |
爬网-Diff
专用API
【更新时间: 2024.07.24】
Diff 爬网 可用于创建并启动一个作业，它能够在站点中进行搜索以及提取页面。其中爬网与提取-无论是自动的还是自定义的会相互配合、携手工作，共同完成相应任务，实现高效的页面处理流程。
免费
去服务商官网采购>
|
服务星级：2星
浏览次数
10
采购人数
0
试用次数
0
SLA: N/A
响应: N/A
适用于个人&企业
收藏
×
完成
取消
×
书签名称
确定
|
- API详情
- 定价
- 使用指南
- 关于我们
- 相关推荐
什么是Diff的爬网?
"Diff 爬网API"是一款功能强大的网页数据抓取工具，它可以在几分钟内深入访问并抓取任何网站的每个页面。这种API通过其高级算法，能够快速而全面地将网站的内容包
括产品信息、文章和用户讨论等转化为结构化的数据库格式。
什么是Diff的爬网？
Diff的爬网有哪些核心功能？
1.自动化网页爬取：用户只需指定一个起始网页或一组网页，API便能自动发现并爬取这些页面上的所有链接，包括深层次的网页内容。
2. 全面的数据提取：API能够从爬取的网页中提取各种类型的数据，如文本、图片、表格数据等，支持广泛的数据格式，满足不同用户的需求。
3. 数据输出与访问：API支持多种数据输出格式，包括但不限于JSON、CSV等，方便用户根据需求选择适当的数据访问和存储方式。
4.Crawlbot 页面提取：内置的Crawlbot功能使得"Diff 爬网API"可以直接提取并处理网页内容，进一步增强了数据处理的效率和精确度。这项功能增强了API对特定页面
内容的抓取能力，适用于需要深入分析单一页面的场景。
Diff的爬网的核心优势是什么？
1. 无需规则，简便操作：与 Extract 相似，Crawl API的使用无需设定复杂规则。用户仅需指定网站上的一个起点，Crawl 便能自动爬取该页面上的所有链接，并将相关内容完整提取，大大简化了操作过程。
2. 高速处理，效率卓越：Diffbot 拥有世界级的分布式爬虫基础设施，能够每天高效处理数百万个网页。这种大规模的处理能力确保了数据抓取的高效率和高速度，满足用户对大量数据处理的需求。
3. 完整的API可访问性，灵活应用：通过使用爬网API，用户可以通过编程方式启动爬网过程、实时检查爬网状态，并便捷地检索输出结果。这种完全可编程的访问性为数据的自动化采集和处理提供了极大的灵活性和便利。
在哪些场景会用到Diff的爬网？
"Diff 爬网API"提供了强大的自动化网页爬取和数据提取功能，适用于多种需要大规模数据处理和信息监测的场景，以下是一些具体的使用场景：
|
市场研究和分析：通过"Diff 爬网API"来全面提取竞争对 手网站上的产品信息，包括价格、描述、客户评价等，从而进 行深入的市场分析。
|
新闻内容聚合：新闻媒体和内容平台可以通过"Diff 爬网 API"自动抓取各大新闻网站的实时内容，整合并发布全面的报 道。
|
|
科研数据收集：研究人员可以使用"Diff 爬网API"从网络 上自动收集与其研究领域相关的开放数据，用于科学研究和学 术发表。
|
网络安全监控：网络安全人员可以利用"Diff 爬网API"抓取 潜在的威胁信息，如恶意软件下载链接、钓鱼网站内容等，以便 进行进一步的分析与防范。
|
Diffbot 是一套产品，可以轻松集成和研究网络上的数据。
与 Google 等网络搜索工具不同，Diffbot 中的数据是按含义而不是标记构建的。我们有文章、产品和组织等实体，而不是网站。项目实体具有类似 和 的属性。组织实体具有类似 和 的属性。titleauthorrevenuelocation
Diffbot 工具允许您从现有网页中对有意义的实体进行分类和提取，或者将公共网络搜索为一个巨大的实体图形数据库，并按其属性进行过滤。
世界各地的公司都使用 Diffbot 来利用公共 Web 数据，而无需从其原始网站标记表单中构建和清理数据。
- DuckDuckGo 使用 Extract 来构建用于购物搜索的产品数据
- ProQuo AI 使用知识图谱中的组织数据来推动预测性业务发展
- Contingent 使用知识图谱中的新闻数据来揭示目标公司的供应链洞察
像您这样的客户每天都在使用 Diffbot 将 Web 智能连接到您的应用程序中。我们很想听听您正在构建的内容。在Twitter或LinkedIn上与我们交谈。
暂停、删除、重新启动或查看批量作业的状态。
爬网与提取 API（自动或自定义）密切相关。它可以快速抓取网站以查找适当的链接，并将这些链接交给提取 API 进行处理。然后，所有结构化页面结果都会被编译成一个“集合”，可以完整下载或使用搜索 API 进行搜索。
注意：如果您有要提取的所有 URL 的完整列表，则可能正在寻找批量 API。
对 Crawl API 的访问仅限于 Plus 计划及更高版本
随时升级到 diffbot.com/pricing Plus 计划，或联系 sales@diffbot.com 了解更多信息。
默认情况下，抓取遵循网站的robots.txt说明，包括 disallow 和 crawl-delay 指令。
在特定情况下（通常是由于您与要抓取的网站建立了合作伙伴关系或协议），可以忽略/覆盖robots.txt指令。这通常比等待第三方网站更新其robots.txt文件要快。
要将站点的抓取列入白名单，请在站点的robots.txt中指定“Diffbot”用户代理：
User-agent: Diffbot
Disallow:
请注意，Crawl 不遵守该指令。Allow
对于启动计划，非活动抓取将在 18 天后从您的帐户中删除，对于 Plus 计划，将在 32 天后从您的帐户中删除。
删除包括提取的数据以及作业元信息（名称、设置等）。
“非活动”爬网是基本上处于永久暂停状态的爬网。系统不会删除活动的定期/重复抓取，也不会从您的帐户中移除。但是，在定期爬网完成最后一轮后，它将受到常规删除策略的约束。
创建并启动作业以通过网站抓取和提取页面。
若要创建爬网，请向此终结点发出 POST 请求，并设置并包含下面指定的最低设置。Content-Typeapplication/x-www-form-urlencoded
创建爬网作业将指示 Diffbot 立即开始抓取提供的种子 URL 以获取链接，并使用指定的提取 API 处理它们。
其他设置可用于仅对与特定 URL 模式匹配的链接进行爬网，或仅提取某些已爬网链接。
Diffbot 是一套产品，可以轻松集成和研究网络上的数据。
与 Google 等网络搜索工具不同，Diffbot 中的数据是按含义而不是标记构建的。我们有文章、产品和组织等实体，而不是网站。项目实体具有类似 和 的属性。组织实体具有类似 和 的属性。titleauthorrevenuelocation
Diffbot 工具允许您从现有网页中对有意义的实体进行分类和提取，或者将公共网络搜索为一个巨大的实体图形数据库，并按其属性进行过滤。
世界各地的公司都使用 Diffbot 来利用公共 Web 数据，而无需从其原始网站标记表单中构建和清理数据。
- DuckDuckGo 使用 Extract 来构建用于购物搜索的产品数据
- ProQuo AI 使用知识图谱中的组织数据来推动预测性业务发展
- Contingent 使用知识图谱中的新闻数据来揭示目标公司的供应链洞察
像您这样的客户每天都在使用 Diffbot 将 Web 智能连接到您的应用程序中。我们很想听听您正在构建的内容。在Twitter或LinkedIn上与我们交谈。
暂停、删除、重新启动或查看批量作业的状态。
爬网与提取 API（自动或自定义）密切相关。它可以快速抓取网站以查找适当的链接，并将这些链接交给提取 API 进行处理。然后，所有结构化页面结果都会被编译成一个“集合”，可以完整下载或使用搜索 API 进行搜索。
注意：如果您有要提取的所有 URL 的完整列表，则可能正在寻找批量 API。
对 Crawl API 的访问仅限于 Plus 计划及更高版本
随时升级到 diffbot.com/pricing Plus 计划，或联系 sales@diffbot.com 了解更多信息。
默认情况下，抓取遵循网站的robots.txt说明，包括 disallow 和 crawl-delay 指令。
在特定情况下（通常是由于您与要抓取的网站建立了合作伙伴关系或协议），可以忽略/覆盖robots.txt指令。这通常比等待第三方网站更新其robots.txt文件要快。
要将站点的抓取列入白名单，请在站点的robots.txt中指定“Diffbot”用户代理：
User-agent: Diffbot
Disallow:
请注意，Crawl 不遵守该指令。Allow
对于启动计划，非活动抓取将在 18 天后从您的帐户中删除，对于 Plus 计划，将在 32 天后从您的帐户中删除。
删除包括提取的数据以及作业元信息（名称、设置等）。
“非活动”爬网是基本上处于永久暂停状态的爬网。系统不会删除活动的定期/重复抓取，也不会从您的帐户中移除。但是，在定期爬网完成最后一轮后，它将受到常规删除策略的约束。
创建并启动作业以通过网站抓取和提取页面。
若要创建爬网，请向此终结点发出 POST 请求，并设置并包含下面指定的最低设置。Content-Typeapplication/x-www-form-urlencoded
创建爬网作业将指示 Diffbot 立即开始抓取提供的种子 URL 以获取链接，并使用指定的提取 API 处理它们。
其他设置可用于仅对与特定 URL 模式匹配的链接进行爬网，或仅提取某些已爬网链接。
