大模型

【AI工作流】Ollama本地化大模型安装

优质文章学习记录

06 Feb 2025 — 12 min read

为了给以后的工作流和本地模型铺路，有必要说一下Ollama本地大语言后台的安装。

1.Ollama

在安装之前，有必要先说明一下Ollama是什么。

Ollama是一个大语言模型的服务后台，能够在零基础的前提下帮助用户轻松部署大语言模型。

其特点包括如下：

优点：Ollama后台服务能够帮助用户轻松搭建大语言模型服务，并且提供相应的API以扩展到其他如Dify等Web前台以及Obsidian等笔记软件，以最快的速度形成AI问答/AGENT/工作流等工作形式。并且Ollama提供模型免费下载，用户可以直接下载多种主流的开源大语言模型。同时Ollama支持不同系统，如windows、Linux、MacOS等

缺点：对于部分特殊的开源模型不支持/未收录，模型数量较大，用户需结合自己的需求自行分辨大语言模型的特点。

从多种角度来说，Ollama是目前最为快速、最方便的本地化大语言模型后台

2.Ollama的安装

2.1 下载Ollama

在下载前需要注意：

1、Windows系统需要在Windows10以上系统；

2、如果想要跑7b以上模型，建议显存在6g以上，内存16g以上，以独立显卡为佳，显卡以Nvidia为佳，非独立显卡将会用CPU来跑，速度会慢一大截。

Ollama下载地址为：

https://ollama.com

打开页面后出现官网，点击Download下载：

点击下载后即可下载对应的Ollama程序。下载完毕后双击一路下一步即可运行。

2.2 查看安装是否成功

如果安装成功，Ollama会出现在右下角：

出现这个图标即代表Ollama安装成功。

打开浏览器，并输入

http://127.0.0.1:11434

或

http://localhost:11434

如果显示出一行小字则代表Ollama服务运行成功。

2.3 Ollama模型下载路径相关设置

如果不想你的C盘因为下载大模型（很多都是几G到十几G甚至几十G）被占用太多空间，那么可以做如下设置，如果无所谓可忽略本条操作：

点击windows开始按钮或者直接点开开始菜单，选择设置，或者直接按下Windows快捷键win+i打开设置：

在搜索中输入系统变量

在弹出的窗口中选择环境变量，然后在新窗口中的用户变量中点新建，在弹出的小窗口中输入

变量名：

OLLAMA_MODELS

变量值：

（你想要存放大语言模型的路径，举例说明：我想把模型存放在E盘Github code文件夹下的OLLAMAMODEL这个文件夹中，那么变量值就输入如下）

E:\Github code\OLLAMAMODEL

点击确定，这个新变量会出现在你的用户变量中。

至于OLLAMA_HOST这个变量，在某种程度上对于Docker部署前台是不利的，所以不建议设置。

3.试运行Ollama

提前说明：如果上述操作成功，但以下操作未成功，需要重启一下电脑。

3.1 Ollama试运行（非大模型运行）

对电脑的windows按钮点右键，选择终端管理员/终端，当然win+r输入cmd启动命令提示符亦可，但是建议使用管理员权限：

在打开的黑色窗口中输入ollama，然后回车，如果出现下面的内容则表示服务正常：

如需插图图片、视频、小程序卡片、代码块，去微信后台弄更方便。

3.2 Ollama模型选择

进入Ollama的模型图书馆找找模型：

https://ollama.com/library

但是这个时候你肯定不知道应该搜索什么模型，也不知道自己的业务场景想法，所以这里推荐如下模型：

Qwen2：通义千问2大模型，对中文的支持能力非常不错，是我个人认为通用型中文开源模型中做的相当好的，配置一般的电脑推荐使用1.5B模型（CPU跑），7B模型（独立显卡较好）。至于更大的72B模型如果显卡能力不佳不建议尝试。

deepseek-coder-v2：如果你是程序员，那么deepseekV2一定是非常适合你的，deepseekV2用的MoE架构，反应速度不错，支持多种编程语言，可以理解为一个非常好的编程助手模型。

Phi3：微软的小模型，运行速度非常快，对空间占用很小，运行效果尚可，满足机器硬件不足的电脑本地跑模型。但是因为模型太小了，对于输入和输出能力效果是非常有限的。不过对于Phi3的中模型，我们可以收回以上的话，不过主语料是英文，所以中文能力一般。

以上是Phi3中模型截图

Llama3.1：目前最新的Llama模型，推荐使用8b模型，或者8b对应的量化模型（速度可以很快）。如果你的常用语言是中文，llama3.1可能并不是最适合你的。

command-r和command-r-plus：Command-r系列是我个人非常喜欢的一个大模型，在之前的9.8和9.11谁更大的问题上，是唯一一个回****答正确的大模型，并且模型非常规整，非常适合作为企业大模型使用。但是模型比较大，尤其是command-r+，104b的体量不是一般普通显卡能消受的，对硬件要求比较高。这个公司也出了很好的大模型aya，也是很好的作为性格赋予的数字人模型。

llava：一个非常推荐的多模态大模型，可以识别图片并进行输出，但是对中文支持很差，所以推荐使用llava的变体llava-llama3，对语言支持性更好。

bge-large和bge-m3：一个embeddings知识库压缩模型，并不是用于输出文字的，而是用于知识库压缩的，尤其是对中文文本支持能力较好，属于特殊的大模型。bge-m3是bge最新的模型。

3.3 Ollama模型下载

对于喜欢的大模型，选择对应的大模型，右边会自动出现运行的命令，点击右边的复制按钮，这里以最近被自媒体炒得很凶的llama3.1模型为例：

然后在黑色窗口中点右键复制到运行栏中并回车：

等待下载完成，有进度条，这个时间视网速而定。

下载完成后会自动运行（已经下载的将会直接运行，例如下面）：

这里可以直接输入问题并回车，即可得到答案：

4.结语

至此Ollama已经成功部署到你的电脑本地了

在后面的过程中将会介绍以Ollama作为核心展开个人知识库的建设。

由于开源大模型在持续更新，对语言大模型的需要用户根据自己的业务场景和需求进行判断。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓