2024年5个最佳NLP文本摘要API

在自然语言处理（NLP）领域，文本摘要模型可自动将文档、论文、播客、视频等缩短为最重要的片段。 这些模型由先进的深度学习和机器学习研究提供支持。

产品团队正在将文本摘要 API 和人工智能摘要模型集成到其人工智能平台中，以创建可自动摘要通话、访谈、法律文件等内容的摘要工具。 这些工具有时被称为人工智能摘要器。

在本文中，我们将讨论文本摘要究竟是什么、它是如何工作的、几种最好的文本摘要 API 以及摘要的一些顶级用例。

什么是 NLP 文本摘要？

在自然语言处理或 NLP 中，文本摘要指的是使用深度学习和机器学习模型将大量文本综合为最重要部分的过程。 文本摘要可以应用于研究论文或新闻报道等静态、已有的文本，也可以在语音转文本 API 的帮助下应用于播客或 YouTube 视频等音频或视频流。

有些文本摘要应用程序接口为文本提供单一摘要，而不考虑长度，而有些则将摘要分解成更短的时间戳。

例如，您想总结 2021 年的国情咨文–长达 1 小时 43 分钟的视频。

使用带有时间戳的文本摘要 API（如 Auto Chapters），您或许可以为视频的关键部分生成以下摘要：

1:45: I have the high privilege and distinct honor to present to you the President of the United States.



31:42: 90% of Americans now live within 5 miles of a vaccination site.



44:28: The American job plan is going to create millions of good paying jobs.



47:59: No one working 40 hours a week should live below the poverty line.



48:22: American jobs finally be the biggest increase in non defense research and development.



49:21: The National Institute of Health, the NIH, should create a similar advanced research Projects agency for Health.



50:31: It would have a singular purpose to develop breakthroughs to prevent, detect and treat diseases like Alzheimer's, diabetes and cancer.



51:29: I wanted to lay out before the Congress my plan.



52:19: When this nation made twelve years of public education universal in the last century, it made us the best educated, best prepared nation in the world.



54:25: The American Family's Plan guarantees four additional years of public education for every person in America, starting as early as we can.



57:08: American Family's Plan will provide access to quality, affordable childcare.



61:58: I will not impose any tax increase on people making less than $400,000.



67:34: He said the U.S. will become an Arsenal for vaccines for other countries.



74:12: After 20 years of value, Valor and sacrifice, it's time to bring those troops home.



76:01: We have to come together to heal the soul of this nation.



80:02: Gun violence has become an epidemic in America.



84:23: If you believe we need to secure the border, pass it.



85:00: Congress needs to pass legislation this year to finally secure protection for dreamers.



87:02: If we want to restore the soul of America, we need to protect the right to vote.

此外，其他摘要模型可以将冗长的音频、视频或文本输入内容分解成更简洁的摘要。

文本摘要如何工作？

在过去的几十年里，人们开发了一连串的文本摘要方法，因此要回答文本摘要是如何工作的，答案并不单一。 尽管如此，这些方法仍可根据其应对文本摘要挑战的一般方法进行分类。

也许最明确和最有用的区分是提取式和抽象式文本摘要方法。 提取法旨在从文本中提取最相关的信息。 提取式文本摘要法是这两种方法中较为传统的一种，部分原因是与抽象式方法相比，提取式文本摘要法相对简单。

抽象方法则试图生成能准确概括原文的新文本。 我们已经可以看出，这是一个更加困难的问题–不局限于简单地返回原始文本的子集，有很大程度的自由度。 不过，这种困难也有好处。 尽管抽象方法相对复杂，但它能产生更灵活、更忠实的摘要，尤其是在大语言模型时代。

提取文本摘要方法

如上所述，提取式文本摘要方法的工作原理是识别和提取文本中的突出信息。 因此，各种提取方法构成了确定哪些信息是重要信息（因此应该提取）的不同方式。

例如，基于词频的方法倾向于根据不同词语的使用频率对文本中的句子进行重要性排序。 对于每个句子，词汇表中的每个词都有一个权重项，权重通常是该词本身的重要性和该词在整个文档中出现的频率的函数。 利用这些权重，就可以确定并返回每个句子的重要性。

基于图形的方法是用数学图形语言来处理文本文档。 在这种图式中，每个句子表示为一个节点，如果认为句子相似，则将节点连接起来。 至于什么是 “相似”，这同样取决于不同的具体算法和方法。 例如，一种实现方法可能会使用 TF-IDF 向量间余弦相似度的阈值。 一般来说，文档中与所有其他句子 “最相似 “的句子（即中心度最高的句子）被认为具有最多的摘要信息，因此会被提取并放入摘要中。 基于图的方法的一个显著例子是 TextRank，它是谷歌 pagerank 算法的一个版本（该算法决定在谷歌搜索中显示哪些结果），已被调整用于摘要（而不是对最重要的句子进行排名）。 基于图的方法未来可能会受益于图神经网络的进步。

抽象文本摘要方法

抽象方法旨在生成一种新颖的摘要，对文本中的信息进行适当的总结。 虽然抽象文本摘要有语言学方法，但深度学习（将摘要视为 seq2seq 问题）在过去几年中已证明在这方面非常强大。 因此，Transformer 的发明对抽象文本摘要领域产生了深远的影响，正如它对许多其他领域产生的影响一样。

最近，大语言模型尤其被应用于文本摘要问题。 对大型语言模型新兴能力的观察证明，大型语言模型是能够胜任各种任务（包括摘要）的代理。 也就是说，虽然 LLM 没有直接接受过总结任务的训练，但随着其规模的扩大，它们会成为有能力的通用生成式人工智能模型，从而具备执行总结和许多其他任务的能力。

最近，人们探索了基于 LLM 的摘要特定方法，使用预先训练好的 LLM 和人类反馈强化学习（RLHF），这是将 GPT 演化成 ChatGPT 的核心技术（例如这里和这里）。 该方案遵循典型的 RLHF 训练方法，即利用人类反馈训练奖励模型，然后通过 PPO 更新 RL 策略。 简而言之，RLHF 可以改进模型，使其更容易根据人类的期望（在本例中，人类对 “好 “摘要的期望）调整输出。

文本摘要领域仍是一个持续研究的领域，根据已经完成的工作，我们可以探索一些自然的扩展。 例如，我们可以考虑使用人工智能反馈强化学习（RLAIF）来代替 RLHF，后者在更广泛的情况下已被证明能提高性能。

文本摘要的最佳应用程序接口

既然我们已经讨论了什么是 NLP 文本摘要及其工作原理，那么我们就来比较一下目前最好用的一些文本摘要 API、AI 摘要器和 AI 摘要模型。 请注意，其中一些 API 支持对已有的文本（如研究论文）进行文本摘要，而另一些 API 则在音频或视频流转录（如播客或虚拟会议）的基础上执行文本摘要。

AssemblyAI 的总结模型

AssemblyAI 是一家语音人工智能公司，致力于开发能够理解和处理人类语音的新型人工智能系统。 该公司的人工智能总结模型在音频和视频方面取得了最先进的成果。 此外，AssemblyAI 还为特定行业用例建立了其他摘要模型，包括信息性、会话性和朗朗上口。 摘要可以项目符号、要点、段落或标题的形式返回（见上图示例）。

LeMUR 是 AssemblyAI 的大型语言模型框架，它还可以帮助产品团队处理定制摘要格式的请求。

此外，AssemblyAI 还提供了一种称为 “自动章节 “的摘要模型，该模型可在音频或视频流数据的基础上应用文本摘要，并为每个章节提供带有时间戳的一段摘要和单句标题。 这一过程是文本摘要在 AssemblyAI 中的独特应用。

AssemblyAI 的人工智能模型被播客、电话、虚拟会议平台、对话智能人工智能平台等领域的顶级产品团队所采用。 该公司最近还发布了Conformer-2，这是一个在110万小时的英语音频数据基础上训练出来的自动语音识别人工智能模型，它能使首先用Conformer-2处理过的转录生成的摘要更加准确和有用。

plnia 的文本摘要 API

plnia 文本摘要 API 可生成静态文档或其他已有文本的摘要。 除文本摘要外，plnia 还提供情感分析、关键词提取、滥用语言检查等功能。 希望测试 plnia 的开发人员可以注册 10 天的免费试用；包含文本摘要的计划起价为每月 19 美元。

Microsoft Azure 文本摘要

作为文本分析套件的一部分，Azure 的文本摘要 API 可对文章、论文或文档进行提取摘要。 入门要求包括 Azure 订阅和 Visual Studio IDE。 使用 API 的价格是现收现付，但价格因使用量和其他所需功能而异。

MeaningCloud 的自动总结功能

MeaningCloud 的自动摘要应用程序接口（Automatic Summarization API）可让用户通过提取最相关的句子并使用这些句子来构建概要，从而总结出任何文档的含义。 API 是多语言的，因此无论文本使用哪种语言，用户都可以使用 API。 想要测试 API 的用户必须先注册一个免费的开发者账户，然后根据使用情况，使用 API 的价格从 0-999 美元/月不等。

NLP 云摘要应用程序接口

NLP Cloud 提供多种文本理解和 NLP API，包括文本摘要，此外还支持社区人工智能模型的微调和部署，以进一步提高准确性。 开发人员还可以建立自己的自定义模型，并将其训练和部署到生产中。 价格从 0 美元到 499 美元/月不等，视使用情况而定。

NLP文本摘要API常见问题有哪些？

1. 什么是NLP文本摘要API？
   NLP文本摘要API是一种利用自然语言处理技术自动将长文本转换成简短摘要的应用程序接口。它通过分析文本内容，提取关键信息，生成简洁的摘要。
2. NLP文本摘要API适用于哪些场景？
   适用于新闻摘要、文章概览、报告简化、会议记录摘要、社交媒体内容概括等多种需要文本简化的场景。
3. 如何接入NLP文本摘要API？
   通常需要在应用程序中集成API，通过发送HTTP请求并将文本作为输入参数，API会返回摘要结果。
4. NLP文本摘要API的准确性如何？
   准确性取决于API的训练数据、算法复杂度和自然语言处理能力。高质量的API通常能够提供高准确度的摘要。
5. NLP文本摘要API支持哪些语言？
   不同的API支持的语言不同，一些API支持多种语言，包括英语、中文、西班牙语等，具体需要查看API提供商的支持列表。
6. 使用NLP文本摘要API是否有成本？
   一些基础服务可能是免费的，但通常有使用限制，如请求次数或文本长度限制。高级服务或增加使用量可能需要付费。
7. NLP文本摘要API如何处理敏感信息？
   处理敏感信息时应确保API提供商遵守数据保护法规，并对数据进行加密处理。建议在使用前了解提供商的隐私政策。
8. 如何评估NLP文本摘要API的性能？
   可以通过比较摘要的准确性、完整性、连贯性以及与原文的一致性来评估API的性能。
9. NLP文本摘要API的响应时间如何？
   API的响应时间取决于文本长度、服务器负载和算法效率。高质量的API通常能够提供快速的响应时间。
10. 如果对NLP文本摘要API生成的摘要不满意，可以自定义摘要逻辑吗？
    一些API提供商可能允许用户通过自定义配置或训练模型来优化摘要逻辑，但这可能需要额外的技术投入和成本。

如何找到更多文本摘要API

幂简集成是国内领先的API集成管理平台，专注于为开发者提供全面、高效、易用的API集成解决方案。幂简API平台可以通过以下两种方式找到所需API：通过关键词搜索API、或者从API Hub分类页进入寻找。

本文翻译源自：https://www.assemblyai.com/blog/text-summarization-nlp-5-best-apis/