如何调用 Mistral-Large-Instruct-2407 的 API
2025/02/12
本文介绍了如何调用 Mistral-Large-Instruct-2407 的 API。首先,需部署该模型,至少需要4张A800显卡。成功部署后,可通过标准OpenAI接口访问。使用LangChain进行API调用,通过示例代码展示了请求发送和响应获取的过程。部署时需注意最大token支持为32k,超出部分会导致错误。此外,目前vllm不支持函数调用功能。虽然存在一些限制,但Mistral-Large-Instruct-2407在AI应用领域表现出色。