lm studio 服务器模式通过什么地址访问
LM Studio是一款功能强大的桌面应用程序，专门用于在本地计算机上运行大型语言模型（LLMs）。它允许用户在脱机状态下使用这些模型，并通过本地主机访问其服务器模式。本文将详细介绍LM Studio的安装和使用方法，尤其是如何通过本地主机地址访问其服务器模式，并提供相应的代码示例和图片链接。
LM Studio的简介
LM Studio的核心功能包括发现、下载和运行本地LLMs。用户可以通过直观的图形界面轻松下载并加载各种模型。其广泛支持的模型库包括HuggingFace上的ggml Llama、MPT和StarCoder模型（如Llama 2、Orca、Vicuna等）。
1、使用LM Studio的特点
LM Studio的主要优势在于其完全脱机的操作模式。用户可以在笔记本电脑上运行LLM，而无需持续的网络连接。这使得它在隐私和数据安全方面具有显著优势。此外，LM Studio允许用户通过应用内的聊天界面或OpenAI兼容的本地服务器使用模型，极大地提高了操作的灵活性。
2、支持的平台：最低硬件/软件要求
为了在不同平台上运行，LM Studio对硬件和软件有一定的要求。它支持M1/M2/M3系列的Mac，以及支持AVX2指令集的Windows PC和Linux测试版。建议至少配备16GB的RAM和6GB的VRAM，以确保最佳性能。支持的系统包括Windows (x86, x64, AVX2)、macOS (Apple Silicon – M1/M2/M3)和Linux (x86, Ubuntu 22.04, AVX2)。
LM Studio的安装和使用方法
1、LM Studio服务器：通过运行在localhost上的OpenAI风格的HTTP服务器使用本地LLM
用户可以通过在本地主机上运行的API服务器访问LM Studio中的LLM。请求和响应格式均遵循OpenAI的API标准。要使用本地服务器，用户需首先安装LM Studio，然后从应用程序中搜索并下载所需的LLM模型。
支持的端点
GET /v1/models
POST /v1/chat/completions
POST /v1/embeddings
POST /v1/completions其中，POST /v1/embeddings是LM Studio 0.2.19中的新功能。
使用本地服务器
- 如果尚未安装LM Studio，请从官方网站获取应用程序安装程序。
- 从应用程序中搜索并下载LLM，例如TheBloke/Mistral-7B-Instruct-v0.2-GGUF。
- 进入本地服务器选项卡，选择下载的LLM。
- 点击“启动服务器”按钮，启动服务器。
您的LM Studio现在已准备好接受API请求。
检查当前加载的模型
curl http://localhost:1234/v1/models响应示例
在如下示例中，TheBloke/phi-2-GGUF和lmstudio-ai/gemma-2b-it-GGUF模型已加载。
{
"data": [
{
"id": "TheBloke/phi-2-GGUF/phi-2.Q4_K_S.gguf",
"object": "model",
"owned_by": "organization-owner",
"permission": [{}]
},
{
"id": "lmstudio-ai/gemma-2b-it-GGUF/gemma-2b-it-q4_k_m.gguf",
"object": "model",
"owned_by": "organization-owner",
"permission": [{}]
}
],
"object": "list"
}进行推断请求
在本地服务器上发起推断请求，需使用OpenAI的“Chat Completions”格式。
curl http://localhost:1234/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"messages": [
{ "role": "system", "content": "You are a helpful coding assistant." },
{ "role": "user", "content": "How do I init and update a git submodule?" }
],
"temperature": 0.7,
"max_tokens": -1,
"stream": true
}'2、文本嵌入：使用LM Studio的嵌入服务器本地生成文本嵌入
文本嵌入是将文本转换为数字向量的一种方法，广泛应用于RAG（检索增强生成）应用程序中。LM Studio的嵌入服务器支持生成文本嵌入，用户可通过POST /v1/embeddings端点获取。
示例请求
假设服务器在端口1234上运行，支持字符串和字符串数组作为输入类型。
curl http://localhost:1234/v1/embeddings \
-H "Content-Type: application/json" \
-d '{
"input": "Your text string goes here",
"model": "model-identifier-here"
}'示例回应
{
"object": "list",
"data": [
{
"object": "embedding",
"embedding": [-0.005118194036185741, -0.05910402536392212, ...],
"index": 0
}
],
"model": "nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q5_K_M.gguf",
"usage": {
"prompt_tokens": 0,
"total_tokens": 0
}
}3、使用方法
LM Studio的使用方法非常直观，用户可以通过图形界面快速上手。首先，确保已安装应用程序，然后下载并加载所需的模型。启动本地服务器后，即可通过API与模型进行交互。
LM Studio的案例应用
LM Studio在众多领域中得到了广泛应用。无论是学术研究还是商业应用，用户都能够利用其强大的功能进行各种类型的文本处理和生成。
LLMs之Llama3：实现Llama3模型本地部署
通过LM Studio的GUI界面，用户可以轻松实现Llama3模型的本地部署。结合Lobe Chat框架，可以实现类似ChatGPT的高级对话功能，并且支持丰富的Agent角色市场。
LM Studio + open-webui快速本地部署大语言模型
LM Studio与open-webui的结合，使得大语言模型的本地部署更加简单易行。即便是技术小白也能在短时间内如愿以偿。通过open-webui，用户不仅可以在本地使用模型，还可以通过网络与他人共享。
常见问题解答（FAQ）
- 问：LM Studio支持哪些操作系统？
- 答：LM Studio支持Windows、macOS和Linux操作系统。具体要求是Windows (x86, x64, AVX2)，macOS (Apple Silicon – M1/M2/M3)和Linux (x86, Ubuntu 22.04, AVX2)。
- 问：如何通过本地主机访问LM Studio服务器？
- 答：安装LM Studio后，从应用程序中选择并加载模型，启动本地服务器后使用localhost:PORT访问。
- 问：文本嵌入功能有哪些应用？
- 答：文本嵌入功能广泛应用于RAG应用程序、代码搜索及其他需要文本嵌入的应用中。
- 问：如何更改LM Studio的模型下载路径？
- 答：在设置中修改模型下载路径，以防止占用C盘空间。
- 问：是否需要联网使用LM Studio？
- 答：不需要，LM Studio支持完全脱机运行。
通过本文，你应该能够更好地理解和使用LM Studio，特别是在服务器模式下通过本地主机地址进行访问。希望这些信息对你有帮助！
