所有文章 > 日积月累 > OneAPI LLM 支持:API生产工具的全面指南
OneAPI LLM 支持:API生产工具的全面指南

OneAPI LLM 支持:API生产工具的全面指南

OneAPI 是一个能够替代 springdoc-openapi/Swagger 的 API 生产工具,它的最大优势在于无需修改后端代码或启动应用,同时支持导出 OpenAPI 3.0 协议数据,方便在其他工具中使用。对于希望简化流程并提高效率的开发者来说,OneAPI 提供了一种高效的解决方案。

OneAPI 的安装与配置

安装 npm 和 pnpm

在使用 OneAPI 之前,需要先安装 npm 和 pnpm。以下是安装步骤:

#安装npm
curl -fsSL https://deb.nodesource.com/setup_18.x | sudo -E bash - && apt-get install -y nodejs
#安装pnpm
npm install pnpm -g

安装完成后,可以验证安装是否成功。

安装 Go 语言环境

OneAPI 的部分功能依赖于 Go 语言,因此需要安装 Go:

wget https://golang.google.cn/dl/go1.19.3.linux-amd64.tar.gz

rm -rf /usr/local/go && tar -C /usr/local -xzf go1.19.3.linux-amd64.tar.gz

export PATH=$PATH:/usr/local/go/bin

克隆 OneAPI 代码库

完成上述步骤后,可以克隆 OneAPI 的代码库:

git clone https://github.com/songquanpeng/one-api.git

构建前端和后端

进入项目目录,分别构建前端和后端:

cd one-api/web/default
npm install
npm run build

cd ../..
go mod download
go build -ldflags "-s -w" -o one-api

运行 OneAPI

构建完成后即可运行 OneAPI:

chmod u+x one-api
./one-api --port 3000 --log-dir ./logs

通过访问 http://localhost:3000/ 并使用默认用户名 root 和密码 123456 登录。

OneAPI 的关键功能

支持多种大模型

OneAPI 支持多种大语言模型(LLM),包括 OpenAI ChatGPT 系列模型、Anthropic Claude 系列模型、Google PaLM2/Gemini 系列模型等。这使得用户可以灵活地选择适合自己需求的模型。

模型的负载均衡与管理

OneAPI 通过负载均衡的方式访问多个渠道,支持 stream 模式,可以通过流式传输实现打字机效果。此外,OneAPI 还支持多机部署和令牌管理,方便用户设置令牌的过期时间、额度、允许的 IP 范围以及允许的模型访问。

使用 OneAPI 创建 LLM 访问 Key

OneAPI 提供了方便的访问 Key 管理功能,允许用户为不同的 LLM 应用生成所需的 Key。

生成 ollama 访问 Key

通过 OneAPI 可以为 ollama 生成访问 Key,具体步骤如下:

  1. 访问 http://localhost:3000/ 并登录。
  2. 点击创建令牌。
  3. 填写名称、模型范围,选择永不过期和无限额。
  4. 提交后获得 ollama 的访问 Key。

OneAPI 的高级功能

自定义设置

OneAPI 支持丰富的自定义设置,用户可以根据需要调整系统名称、logo 以及页脚,还可以自定义首页和关于页面。

兑换码管理与用户奖励

OneAPI 支持兑换码管理,允许批量生成和导出兑换码,同时支持用户邀请奖励机制,以美元为单位显示额度,方便用户管理和使用。

部署第三方服务配合 OneAPI 使用

OneAPI 可以与多种第三方服务集成,提高其功能和可用性。

集成 ChatGPT Next Web

通过以下命令部署 ChatGPT Next Web:

docker run --name chat-next-web -d -p 3001:3000 yidadaa/chatgpt-next-web

在页面上设置接口地址和 API Key 即可。

常见问题解答

FAQ

  1. 问:OneAPI 的默认用户名和密码是什么?

    • 答:默认用户名为 root,密码为 123456。首次登录后建议立即修改密码以确保安全。
  2. 问:如何解决 Go 语言在国内访问慢的问题?

    • 答:可以通过设置 export GOPROXY=https://goproxy.cn 来加速 Go 语言包的下载。
  3. 问:OneAPI 支持哪些大语言模型?

    • 答:OneAPI 支持多种大语言模型,包括 OpenAI ChatGPT 系列、Anthropic Claude 系列、Google PaLM2/Gemini 系列等。
  4. 问:如何配置 OneAPI 的自定义设置?

    • 答:可以在系统设置中调整系统名称、logo、首页和关于页面等自定义选项。
  5. 问:OneAPI 如何实现负载均衡?

    • 答:OneAPI 通过配置多个渠道并使用负载均衡策略来分配请求,从而实现高效的资源利用和响应速度。

通过本文的介绍,相信您对于 OneAPI 的功能和使用有了更深入的了解。希望这些信息能帮助您更好地利用 OneAPI 提高开发效率和管理能力。

#你可能也喜欢这些API文章!