千帆大模型-百度智能云

千帆大模型-百度智能云

专用API
【更新时间: 2024.06.25】 百度智能云千帆大模型平台（以下简称千帆或千帆大模型平台）是面向企业开发者的一站式大模型开发及服务运行平台。千帆不仅提供了包括文心一言底层模型和第三方开源大模型，还提供了各种AI开发工具和整套开发环境，方便客户轻松使...
多款产品 （支持套餐） 去服务商官网采购>
服务星级：
6星
⭐ ⭐ ⭐ ⭐ ⭐ ⭐ 🌟️
调用次数
0 次
集成人数
0 人
商用人数
0 人
! SLA: N/A
! 响应: N/A
! 适用于个人&企业
添加到书签
×
完成
取消
×
书签名称
确定
<
产品介绍
>

什么是千帆大模型-百度智能云?

      "百度智能云千帆大模型"是百度智能云平台上提供的一个大模型服务体系，它集成了多种先进的预训练语言模型和AI技术，旨在为企业和个人开发者提供强大的人工智能解决方案。这些模型包括但不限于基于Llama2架构的中文增强版本、ERNIE系列的旗舰级模型以及其他由百度自研或基于开源框架优化的高性能模型。千帆平台上的大模型不仅支持中英双语，覆盖广泛的应用场景如对话问答、创作生成、代码生成等，而且部分模型针对特定需求进行了优化，如压缩加速、指令微调等，以适应不同资源条件下的部署和使用需求。用户可以通过千帆大模型平台进行模型的选择、训练调优及部署调用，以实现对复杂任务的支持和高效处理。

 

什么是千帆大模型-百度智能云接口？

由服务使用方的应用程序发起，以Restful风格为主、通过公网HTTP协议调用千帆大模型-百度智能云，从而实现程序的自动化交互，提高服务效率。

千帆大模型-百度智能云有哪些核心功能？

  1. 模型相关

    • 对话Chat：支持创建chat，用于发起一次对话。
    • 续写Completions：支持创建completion，用于发起一次续写请求，不支持多轮会话等。
    • 向量Embeddings：支持Embeddings，用于根据输入内容生成对应的向量表示。
    • 自定义模型：平台支持HuggingFace Transformer架构的自定义大模型导入，将自定义模型发布为服务，并支持通过相关API调用该服务。
    • 图像Images：提供图像相关API能力。
    • Token计算，根据输入计算token数。
  2. 模型服务：提供创建服务、获取服务详情等API能力。
  3. 模型管理：提供获取模型、模型版本详情，获取用户/预置模型及将训练任务发布为模型等API能力。
  4. 模型调优：提供创建训练任务、任务运行、停止任务运行及获取任务运行详情等API能力。
  5. 数据管理：提供创建数据集等数据集管理、导入导出数据集任务、数据清洗任务管理等API能力。
  6. Prompt工程：提供模板管理、Prompt优化任务、评估等API能力。
  7. 插件应用：提供知识库、智慧图问、天气等API能力。

千帆大模型-百度智能云的核心优势是什么？

更精准
最佳中文理解
凝聚文心大模型最佳实践
更全面
最全工具链
覆盖大模型全生命周期
更高速
集成先进的加速框架
训练与推理性能大幅提升
更经济
成本最高降低50%
训练与推理成本大幅降低

 

   

在哪些场景会用到千帆大模型-百度智能云接口？

场景一：对话沟通

匹配场景：智能营销、智能客服、情感沟通等需要沟通对话的场景。

在实际生活中，针对用户需求提供快速应答，精准匹配用户需求，完成营销商拓、及时响应、正向心理辅导等内容，提升客户体验。

具体案例：针对用户需求，输出结果。例如，用户需要平台帮忙推荐一下四大名著，如右图所示：

 

 

场景二：内容创作

匹配场景：剧本、故事、诗歌等文本创作场景。

根据用户的需求，生成精准匹配的创作文本，为用户提供视频编排的剧本来源；润色成型的故事、诗歌等文本内容，给用户创造提升文本能力的文化环境。

具体案例：用户下发自定义指令，创作成型的文本内容。例如，用户需要平台按要求写一首藏头诗，如左图所示：

 

 

场景三：分析控制

匹配场景：所谓分析控制是包含代码生成、数据报表、内容分析等深度学习的文本场景。

根据用户的需求快速生成可执行的代码，或者平台结合自身已具备的多种数据，生成匹配度更高的其他应答内容。

具体案例：用户临时遇到需处理的问题，平台生成解决方案。例如，开发工程师利用平台生成具体代码，完成代码的优化，如右图所示：

 
<
产品价格
>

千帆大模型平台预置推理服务支持多种灵活的计费方式，整体可以分为：

  1. 按Tokens用量计费：根据实际接口调用产生的tokens数量以及单价进行计费，不同预置服务tokens调用单价不同。

  a. Tokens按量后付费：默认计费方式。
  b. Tokens资源包付费：用户提前购买Tokens资源包，优先消耗Tokens资源包当中的tokens余量。购买的Tokens资源包越大，折扣越大。为保障服务调用的稳定性与连续性，Tokens资源包用完以后自动切换至Tokens按量后付费模式。ERNIE 4.0系列和ERNIE 3.5系列资源包支持同系列模型不同版本共享。

  1. 按TPM配额计费：与Tokens用量付费互斥，不可同时存在，TPM&RPM配额付费到期（预付费配额到期）或终止（后付费人工终止）以后，为保障服务调用的稳定性与连续性，会自动切换至Tokens按量后付费模式。根据实际购买/使用的配额时长以及单价进行收费，不同预置服务TPM&RPM配额单价不同。在配额范围内的请求，不再收取tokens用量费用。超过配额范围外的请求会失败，需要用户增购配额。针对Tokens用量计费模式速率不满足业务的场景，可以通过TPM&RPM配额计费模式支持。

  a. TPM配额预付费：针对有稳定Tokens用量的客户，购买TPM预付费配额更加经济实惠。

  b. TPM配额后付费：可以在TPM预付费配额的基础上，再增购TPM&RPM后付费配额，以应对短时间的峰值流量。

不论是Tokens用量付费还是TPM&RPM配额付费，都存在接口调用速率限制。速率限制包含QPS和TPM的形式，旨在限制单位时间段内用户访问推理API的次数和消耗的tokens数，详细说明参考千帆大模型平台流量限制说明。

 



<
使用指南
>

前提条件

要使用百度千帆大模型平台，首先需要注册成为百度智能云用户。

首先让我们用5分钟来注册百度智能云账号（如您已经是开发者，可直接登录使用），关于平台计费标准可查看价格说明。

SDK快速使用

本文主要介绍如何快速开启平台前端快速使用平台的流程与步骤，关于千帆大模型的SDK快速上手流程，您可参考SDK快速入门。

流程说明

千帆大模型平台覆盖从数据管理、数据标注、模型开发、模型纳管、部署上线的AI能力研发与应用全生命周期建设和管理。接入文心大模型算法和开放第三方业内知名的模型算法，降低全流程AI开发门槛。
平台支持SFT，准备内容可参考SFT快速调优。

实现步骤

在您完成注册后，可以登录到千帆大模型操作台，只要以下6个步骤即可快速完成大模型定制及测试效果的全过程。

数据导入-> 数据标注-> 训练配置-> 模型纳管-> 发布服务-> 体验测试

 

详情参考地址：https://cloud.baidu.com/doc/WENXINWORKSHOP/s/qlgujhcpo

<
产品问答
>
?
我的Embedding-V1和bge-large-zh公有云在线体验服务都已经开通付费了，余额也充足，命中测试提醒我请求数量已达上限？
当前命中测试有上限限制，每日请求量限制不超过100次，每分钟请求量限制不超过20次。
?
我在创建知识库的导入配置时，数据库配置时选择BES，为什么连接不到了呢？
当前仅支持选择北京区域的BES，且只能通过Http协议连接您的自建BES。
?
我已将ERNIE-Lite-8K-0922的预置服务QPS切换为TPM和RPM，RPM数值为60，可以1秒直接发送60个请求么？
不可以。建议用户均匀的发送API请求，较短时间内发送过多的请求，会导致部分请求会进入排队队列，排队请求会按照一定周期重新发送，直到请求成功或排队超时。
?
我已将ERNIE-Lite-8K-0922的预置服务QPS切换为TPM和RPM，如果1分钟内请求数量大于RPM数值会有什么影响？
假设API服务RPM=60，如果客户在1分钟之内发送100个请求，只会有60个请求成功，剩余40个请求直接失败。
?
千帆平台现在有临期续购提醒吗？我应该如何配置？
百度智能云提供专属消息类型配置和消息接收人配置，具体使用方法，可查看帮助文档。
?
我可以在已购买后付费配额的前提下，继续扩充或者缩小配额吗？
平台支持您支持灵活变更配额，可在已购买后付费配额的前提下，扩增TPM额度或降低TPM额度。（Tips提示：两次降配TPM额度操作至少间隔60分钟），同时私有资源池AI加速卡Ⅰ型支持按分钟后付费，低于15分钟按15分钟计算。
<
关于我们
>
北京百度网讯科技有限公司
企业
提供全球领先的人工智能、大数据和云计算服务，加速产业智能化转型升级
联系信息
服务时间： 7 * 24
电话号码： 400-920-8999转1

安全合规可信的云服务
API接口列表
<
产品价格
>

千帆大模型平台预置推理服务支持多种灵活的计费方式，整体可以分为：

  1. 按Tokens用量计费：根据实际接口调用产生的tokens数量以及单价进行计费，不同预置服务tokens调用单价不同。

  a. Tokens按量后付费：默认计费方式。
  b. Tokens资源包付费：用户提前购买Tokens资源包，优先消耗Tokens资源包当中的tokens余量。购买的Tokens资源包越大，折扣越大。为保障服务调用的稳定性与连续性，Tokens资源包用完以后自动切换至Tokens按量后付费模式。ERNIE 4.0系列和ERNIE 3.5系列资源包支持同系列模型不同版本共享。

  1. 按TPM配额计费：与Tokens用量付费互斥，不可同时存在，TPM&RPM配额付费到期（预付费配额到期）或终止（后付费人工终止）以后，为保障服务调用的稳定性与连续性，会自动切换至Tokens按量后付费模式。根据实际购买/使用的配额时长以及单价进行收费，不同预置服务TPM&RPM配额单价不同。在配额范围内的请求，不再收取tokens用量费用。超过配额范围外的请求会失败，需要用户增购配额。针对Tokens用量计费模式速率不满足业务的场景，可以通过TPM&RPM配额计费模式支持。

  a. TPM配额预付费：针对有稳定Tokens用量的客户，购买TPM预付费配额更加经济实惠。

  b. TPM配额后付费：可以在TPM预付费配额的基础上，再增购TPM&RPM后付费配额，以应对短时间的峰值流量。

不论是Tokens用量付费还是TPM&RPM配额付费，都存在接口调用速率限制。速率限制包含QPS和TPM的形式，旨在限制单位时间段内用户访问推理API的次数和消耗的tokens数，详细说明参考千帆大模型平台流量限制说明。

 



<
使用指南
>

前提条件

要使用百度千帆大模型平台，首先需要注册成为百度智能云用户。

首先让我们用5分钟来注册百度智能云账号（如您已经是开发者，可直接登录使用），关于平台计费标准可查看价格说明。

SDK快速使用

本文主要介绍如何快速开启平台前端快速使用平台的流程与步骤，关于千帆大模型的SDK快速上手流程，您可参考SDK快速入门。

流程说明

千帆大模型平台覆盖从数据管理、数据标注、模型开发、模型纳管、部署上线的AI能力研发与应用全生命周期建设和管理。接入文心大模型算法和开放第三方业内知名的模型算法，降低全流程AI开发门槛。
平台支持SFT，准备内容可参考SFT快速调优。

实现步骤

在您完成注册后，可以登录到千帆大模型操作台，只要以下6个步骤即可快速完成大模型定制及测试效果的全过程。

数据导入-> 数据标注-> 训练配置-> 模型纳管-> 发布服务-> 体验测试

 

详情参考地址：https://cloud.baidu.com/doc/WENXINWORKSHOP/s/qlgujhcpo

<
依赖服务
>
<
产品问答
>
?
我的Embedding-V1和bge-large-zh公有云在线体验服务都已经开通付费了，余额也充足，命中测试提醒我请求数量已达上限？
当前命中测试有上限限制，每日请求量限制不超过100次，每分钟请求量限制不超过20次。
?
我在创建知识库的导入配置时，数据库配置时选择BES，为什么连接不到了呢？
当前仅支持选择北京区域的BES，且只能通过Http协议连接您的自建BES。
?
我已将ERNIE-Lite-8K-0922的预置服务QPS切换为TPM和RPM，RPM数值为60，可以1秒直接发送60个请求么？
不可以。建议用户均匀的发送API请求，较短时间内发送过多的请求，会导致部分请求会进入排队队列，排队请求会按照一定周期重新发送，直到请求成功或排队超时。
?
我已将ERNIE-Lite-8K-0922的预置服务QPS切换为TPM和RPM，如果1分钟内请求数量大于RPM数值会有什么影响？
假设API服务RPM=60，如果客户在1分钟之内发送100个请求，只会有60个请求成功，剩余40个请求直接失败。
?
千帆平台现在有临期续购提醒吗？我应该如何配置？
百度智能云提供专属消息类型配置和消息接收人配置，具体使用方法，可查看帮助文档。
?
我可以在已购买后付费配额的前提下，继续扩充或者缩小配额吗？
平台支持您支持灵活变更配额，可在已购买后付费配额的前提下，扩增TPM额度或降低TPM额度。（Tips提示：两次降配TPM额度操作至少间隔60分钟），同时私有资源池AI加速卡Ⅰ型支持按分钟后付费，低于15分钟按15分钟计算。
<
关于我们
>
北京百度网讯科技有限公司
企业
提供全球领先的人工智能、大数据和云计算服务，加速产业智能化转型升级
联系信息
服务时间： 7 * 24
电话号码： 400-920-8999转1

安全合规可信的云服务
<
合作案例
>

寿光蔬菜

 

泰康人寿

 

国家电网 国网新疆电力公司

 

常熟经济技术开发区

 

火星人集成灶

 

宝钢集团

 

BAOWU

 

源创电喷

 

恒逸

 

中国建材集团有限公司

 

国家电网湖南电力公司

 

 
重庆两江新区 三一重工 徐州工业