
IT咨询顾问的关键抓手-DeepSeek+企业架构-快速的熟悉和洞察一个新的行业
大家好,我是编程乐趣。DeepSeek大火,网络上也看到很多人分享本地部署心得。但想要更细了解,还是要自己本地部署一次。我这次部署目标,就是在局域网服务器部署,并让局域网其他电脑可以直接访问。选择方案也是当前非常流行的:Ollma+Page Assist浏览器插件。
Ollama作为本地部署大模型的方案,还是非常不错的。
下载地址:https://ollama.com/download
安装Ollama还是比较简单的,下载安装包后,直接安装就行。我这边选择的是Windows版本。
Ollama安装后,我们还需要根据需求修改对应的配置。我们使用Ollama时,需要从网络下载大模型,默认存储在C盘,很容易导致C盘空间不足。可以通过修改系统环境变量,来修改配置。
添加环境变量:OLLAMA_MODELS,并指定模型路径。
添加环境变量:OLLAMA_HOST,并允许外部访问,这边填写:0.0.0.0,代表允许任何电脑访问。
修改配置后,记得重启Ollama。我暂时就需要这两个,其他更多配置信息,大家可以查看官方文档:https://github.com/ollama/ollama/tree/main/docs
Ollama支持模型非常多,我们这边选择的是:deepseek-r1。
选择对应的模型,我们就可以看到模型的相信介绍、各种参数的模型。
各个版本模型对硬件要求,官方没有明确的说明,根据网友分享的大概整理如下,大家可以根据自己的电脑配置选择模型。
安装模型也很简单,选择对应版本的模型,拷贝命令就行。
比如安装7b的命令如下:
ollama install deepseek-r1/7b
在命令窗口输入以上命令,就会自动下载。
耐心等待,等出现success就代表安装成功了。
安装成功后,我们就可以直接在命令窗口进行使用了。
同时在浏览器访问:http://127.0.0.1:11434,有如下提示也代表启动成功了。
Ollama也为我们提供API接口功能,想要自己开发客户端、或者集成到应用系统都是非常方便的。Ollama相关生态也非常完善,我们直接使用C#版本Ollama的SDK,就可以快速开发,下面一起看看简单例子。
安装依赖包:OllamaSharp
示例代码
效果如下
Ollama相关的API接口,也可以查看官方文档。https://github.com/ollama/ollama/blob/main/docs/api.md
在命令窗口使用DeepSeek,肯定是不方便的。自己开发客户端,又需要大量时间。Ollama的客户端是非常众多的,而且都是开源的项目,包括:Web网页版本、桌面应用、浏览器插件、移动端APP等。每一个客户端提供的功能也非常丰富,并且都不一样,包括:OCR图片识别、语音识别、文档解析等。大家可以根据自己的需求自行选择。
https://github.com/ollama/ollama
我这边的是选择浏览器插件,比较灵活。在Chrome应用商店,安装浏览器插件:Page Assist。
安装后打开插件,把语音识别、界面语音修改为中文,方便我们使用。
修改Ollama的配置:
Ollama服务器需要关闭防火墙,或者在入站规则里开启端口:11434。
完成以上配置后,我们就可以使用了。使用的时候,选择对应的模型版本就可以了。
好了,今天就分享到这边!
分享一套.NetCore从入门到精通视频教程点击下方公众号卡片,关注我回复“888”,免费领取
IT咨询顾问的关键抓手-DeepSeek+企业架构-快速的熟悉和洞察一个新的行业
基于Ollama与AnythingLLM的DeepSeek-R1本地RAG应用实践
模型引擎的技术债务?一个Deepseek三种API引发的连锁反应
Windows 上快速部署.NET Core Web 项目
.NET开发者看过来!DeepSeek SDK 集成
LangChain4j实战-Java AI应用开源框架之LangChain4j和Spring AI
后端开发人员Docker快速入门
生产级满血版Deepseek-r1 671B部署实例
生产级满血版Deepseek-r1 671B部署后续问题、调优以及压测