千帆大模型-百度智能云
专用API
【更新时间: 2024.06.25】
百度智能云千帆大模型平台是面向企业开发者的一站式大模型开发及服务运行平台。千帆不仅提供了包括文心一言底层模型和第三方开源大模型，还提供了各种AI开发工具和整套开发环境，方便客户轻松使用和开发大模型应用。
|
- API详情
- 定价
- 使用指南
- 常见 FAQ
- 关于我们
- 相关推荐
什么是百度智能云的千帆大模型?
"百度智能云千帆大模型"是百度智能云平台上提供的一个大模型服务体系，它集成了多种先进的预训练语言模型和AI技术，旨在为企业和个人开发者提供强大的人工智能解决方案。这些模型包括但不限于基于Llama2架构的中文增强版本、ERNIE系列的旗舰级模型以及其他由百度自研或基于开源框架优化的高性能模型。
千帆平台上的大模型不仅支持中英双语，覆盖广泛的应用场景如对话问答、创作生成、代码生成等，而且部分模型针对特定需求进行了优化，如压缩加速、指令微调等，以适应不同资源条件下的部署和使用需求。为了进一步简化开发流程和提高效率，百度智能云还推出了“千帆SDK”，使得企业和个人开发者能够更加便捷地调用和集成这些大模型。
用户可以通过千帆大模型平台进行模型的选择、训练调优及部署调用，以实现对复杂任务的支持和高效处理。同时，通过使用“千帆SDK”，开发者可以在自己的应用中快速集成千帆大模型的能力，无论是在本地还是云端部署，都能够轻松实现。
此外，千帆SDK还提供了丰富的API和工具，帮助开发者进行模型的训练、管理和优化。开发者可以利用这些工具，结合千帆大模型平台的模型，构建出更加智能和强大的应用程序。通过千帆SDK，百度智能云希望能够赋能更多的开发者，推动人工智能技术的创新和应用。
什么是百度智能云的千帆大模型？
百度智能云的千帆大模型有哪些核心功能？
-
模型相关
- 对话Chat：支持创建chat，用于发起一次对话。
- 续写Completions：支持创建completion，用于发起一次续写请求，不支持多轮会话等。
- 向量Embeddings：支持Embeddings，用于根据输入内容生成对应的向量表示。
- 自定义模型：平台支持HuggingFace Transformer架构的自定义大模型导入，将自定义模型发布为服务，并支持通过相关API调用该服务。
- 图像Images：提供图像相关API能力。
- Token计算，根据输入计算token数。
- 模型服务：提供创建服务、获取服务详情等API能力。
- 模型管理：提供获取模型、模型版本详情，获取用户/预置模型及将训练任务发布为模型等API能力。
- 模型调优：提供创建训练任务、任务运行、停止任务运行及获取任务运行详情等API能力。
- 数据管理：提供创建数据集等数据集管理、导入导出数据集任务、数据清洗任务管理等API能力。
- Prompt工程：提供模板管理、Prompt优化任务、评估等API能力。
- 插件应用：提供知识库、智慧图问、天气等API能力。
百度智能云的千帆大模型的核心优势是什么？
|
更精准
最佳中文理解
凝聚文心大模型最佳实践
|
更全面
最全工具链
覆盖大模型全生命周期
|
更高速
集成先进的加速框架
训练与推理性能大幅提升
|
更经济
成本最高降低50%
训练与推理成本大幅降低
|
 |
 |
|
 |
在哪些场景会用到百度智能云的千帆大模型？
|
场景一：对话沟通 匹配场景：智能营销、智能客服、情感沟通等需要沟通对话的场景。 在实际生活中，针对用户需求提供快速应答，精准匹配用户需求，完成营销商拓、及时响应、正向心理辅导等内容，提升客户体验。 具体案例：针对用户需求，输出结果。例如，用户需要平台帮忙推荐一下四大名著，如右图所示： |
|
|
|
场景二：内容创作 匹配场景：剧本、故事、诗歌等文本创作场景。 根据用户的需求，生成精准匹配的创作文本，为用户提供视频编排的剧本来源；润色成型的故事、诗歌等文本内容，给用户创造提升文本能力的文化环境。 具体案例：用户下发自定义指令，创作成型的文本内容。例如，用户需要平台按要求写一首藏头诗，如左图所示：
|
|
场景三：分析控制匹配场景：所谓分析控制是包含代码生成、数据报表、内容分析等深度学习的文本场景。 根据用户的需求快速生成可执行的代码，或者平台结合自身已具备的多种数据，生成匹配度更高的其他应答内容。 具体案例：用户临时遇到需处理的问题，平台生成解决方案。例如，开发工程师利用平台生成具体代码，完成代码的优化，如右图所示： |
|
千帆大模型平台预置推理服务支持多种灵活的计费方式，整体可以分为：
- 按Tokens用量计费：根据实际接口调用产生的tokens数量以及单价进行计费，不同预置服务tokens调用单价不同。
a. Tokens按量后付费：默认计费方式。
b. Tokens资源包付费：用户提前购买Tokens资源包，优先消耗Tokens资源包当中的tokens余量。购买的Tokens资源包越大，折扣越大。为保障服务调用的稳定性与连续性，Tokens资源包用完以后自动切换至Tokens按量后付费模式。ERNIE 4.0系列和ERNIE 3.5系列资源包支持同系列模型不同版本共享。
- 按TPM配额计费：与Tokens用量付费互斥，不可同时存在，TPM&RPM配额付费到期（预付费配额到期）或终止（后付费人工终止）以后，为保障服务调用的稳定性与连续性，会自动切换至Tokens按量后付费模式。根据实际购买/使用的配额时长以及单价进行收费，不同预置服务TPM&RPM配额单价不同。在配额范围内的请求，不再收取tokens用量费用。超过配额范围外的请求会失败，需要用户增购配额。针对Tokens用量计费模式速率不满足业务的场景，可以通过TPM&RPM配额计费模式支持。
a. TPM配额预付费：针对有稳定Tokens用量的客户，购买TPM预付费配额更加经济实惠。
b. TPM配额后付费：可以在TPM预付费配额的基础上，再增购TPM&RPM后付费配额，以应对短时间的峰值流量。
不论是Tokens用量付费还是TPM&RPM配额付费，都存在接口调用速率限制。速率限制包含QPS和TPM的形式，旨在限制单位时间段内用户访问推理API的次数和消耗的tokens数，详细说明参考千帆大模型平台流量限制说明。
前提条件
要使用百度千帆大模型平台，首先需要注册成为百度智能云用户。
首先让我们用5分钟来注册百度智能云账号（如您已经是开发者，可直接登录使用），关于平台计费标准可查看价格说明。
SDK快速使用
本文主要介绍如何快速开启平台前端快速使用平台的流程与步骤，关于千帆大模型的SDK快速上手流程，您可参考SDK快速入门。
流程说明
千帆大模型平台覆盖从数据管理、数据标注、模型开发、模型纳管、部署上线的AI能力研发与应用全生命周期建设和管理。接入文心大模型算法和开放第三方业内知名的模型算法，降低全流程AI开发门槛。
平台支持SFT，准备内容可参考SFT快速调优。
实现步骤
在您完成注册后，可以登录到千帆大模型操作台，只要以下6个步骤即可快速完成大模型定制及测试效果的全过程。
数据导入-> 数据标注-> 训练配置-> 模型纳管-> 发布服务-> 体验测试
详情参考地址：https://cloud.baidu.com/doc/WENXINWORKSHOP/s/qlgujhcpo
安全合规可信的云服务 |
||||
千帆大模型平台预置推理服务支持多种灵活的计费方式，整体可以分为：
- 按Tokens用量计费：根据实际接口调用产生的tokens数量以及单价进行计费，不同预置服务tokens调用单价不同。
a. Tokens按量后付费：默认计费方式。
b. Tokens资源包付费：用户提前购买Tokens资源包，优先消耗Tokens资源包当中的tokens余量。购买的Tokens资源包越大，折扣越大。为保障服务调用的稳定性与连续性，Tokens资源包用完以后自动切换至Tokens按量后付费模式。ERNIE 4.0系列和ERNIE 3.5系列资源包支持同系列模型不同版本共享。
- 按TPM配额计费：与Tokens用量付费互斥，不可同时存在，TPM&RPM配额付费到期（预付费配额到期）或终止（后付费人工终止）以后，为保障服务调用的稳定性与连续性，会自动切换至Tokens按量后付费模式。根据实际购买/使用的配额时长以及单价进行收费，不同预置服务TPM&RPM配额单价不同。在配额范围内的请求，不再收取tokens用量费用。超过配额范围外的请求会失败，需要用户增购配额。针对Tokens用量计费模式速率不满足业务的场景，可以通过TPM&RPM配额计费模式支持。
a. TPM配额预付费：针对有稳定Tokens用量的客户，购买TPM预付费配额更加经济实惠。
b. TPM配额后付费：可以在TPM预付费配额的基础上，再增购TPM&RPM后付费配额，以应对短时间的峰值流量。
不论是Tokens用量付费还是TPM&RPM配额付费，都存在接口调用速率限制。速率限制包含QPS和TPM的形式，旨在限制单位时间段内用户访问推理API的次数和消耗的tokens数，详细说明参考千帆大模型平台流量限制说明。
前提条件
要使用百度千帆大模型平台，首先需要注册成为百度智能云用户。
首先让我们用5分钟来注册百度智能云账号（如您已经是开发者，可直接登录使用），关于平台计费标准可查看价格说明。
SDK快速使用
本文主要介绍如何快速开启平台前端快速使用平台的流程与步骤，关于千帆大模型的SDK快速上手流程，您可参考SDK快速入门。
流程说明
千帆大模型平台覆盖从数据管理、数据标注、模型开发、模型纳管、部署上线的AI能力研发与应用全生命周期建设和管理。接入文心大模型算法和开放第三方业内知名的模型算法，降低全流程AI开发门槛。
平台支持SFT，准备内容可参考SFT快速调优。
实现步骤
在您完成注册后，可以登录到千帆大模型操作台，只要以下6个步骤即可快速完成大模型定制及测试效果的全过程。
数据导入-> 数据标注-> 训练配置-> 模型纳管-> 发布服务-> 体验测试
详情参考地址：https://cloud.baidu.com/doc/WENXINWORKSHOP/s/qlgujhcpo
安全合规可信的云服务 |
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
