教你如何使用 ollama 部署本地模型，保姆及教程，一看就会！
一、什么是 ollama?
在本地启动并运行大型语言模型。运行Llama 2，Code Llama和其他模型。自定义并创建您自己的。
二、why ollama?
- 能直接运行大模型，与大模型进行对话。
- ollama 命令具有管理大模型的能力。
- 利用 cpu 运行大模型。
- 本地大模型安全可靠。
- 终端直接开始聊天。
- 社区提供了支持 web api 方式访问 WebUI。
如果你还没有尝试过在本地部署过大模型，那么 ollama 非常适合你。
三、准备工作
为了方便起见，先聊设备需求和辅助软件吧。部署大模型硬件还是要尽可能的高一些，因为文件比较大，虽然本地大模型对配置要求已经比较低了。
- docker 为了方便部署软件。
- 存储空间充足的机器，一般来说参数越大，需要配置越好。
- 良好的网络环境。
四、安装 ollama?
进入 下载页面，选择自己的系统版本的下载并安装即可。
4.1）检验是否安装成功
输入 Ollama 命令，正常的得出命令行输出，表示已经安装成功，下面有 ollama 的常用命令：
ollama
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
pull Pull a model from a registry
push Push a model to a registry
list List models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
Use "ollama [command] --help" for more information about a command.
五、ollama 模型库
我们可以在 中搜索已有我们想要的模型库。以下是一些流行的模型：
| 模型 | 参数 | 尺寸 | 执行下载 |
|---|---|---|---|
| Llama 2 | 7B | 3.8GB | ollama run llama2 |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| Llama 2 13B | 13B | 7.3GB | ollama run llama2:13b |
| Llama 2 70B | 70B | 39GB | ollama run llama2:70b |
| Gemma | 2B | 1.4GB | ollama run gemma:2b |
| Gemma | 7B | 4.8GB | ollama run gemma:7b |
这里大概列出了 Llama、Mistral 以及 Gemma 我们景见的模型以及参数以及尺寸大小。由图表可以看出 Gemma 2B 模型的尺寸还是比较小的，初学者入门。
六、运行模型
ollama run qwen # 运行千问大模型
因为qwen 模型对中文支持比较好，这里使用 qwen 模型进行聊天
直接使用 run 命令 + 模型名字就可以运行模型。如果之前没有下载过，那么会自动下载。下载完毕之后可以在终端中直接进行对话 qwen 模型了。
6.1）直接在终端中对话：用 ollama 千问模型写一个 React 组件
6.2）使用 api 方式运行
curl http://localhost:11434/api/chat -d '{
"model": "qwen",
"messages": [
{ "role": "user", "content": "why is the sky blue?" }
]
}'
api 访问的方式：模型在不断推送字段。我们需要自己处理。
七、推荐 Open WebUI
LLMs用户友好的WebUI（以前的Ollama WebUI）
使用 docker 可以方便的部署
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
注意 3000 时长被其他的开发程序占用，使用需要注意自己的端口是否被占用。
7.1）注册
用户系统注册也是本地的，没有外部链接。
7.2）聊天界面
Open WebUI 聊天界面与
7.3）web ui 配置
八、小结
这是一篇入门 ollama 的文章，当然 ollama 的功能远不止如此，ollama 大部分代码基于 go 开发，熟悉 go 小伙伴很亲切。当然你可以自己构建自己的模型从 GGUF/pyTorch or Safetensors 等等。 ollama 的介绍就到这里了，希望能够帮助到有需要的小伙伴们。
如何学习AI大模型？
作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
