[大模型]ollama本地部署自然语言大模型

文章目录

• ollama

* 下载地址

  * githup

• 百度云
• 模型默认安装位置
• 修改模型默认安装位置
• 可下载模型
• 相关命令
• Chatbox客户端

* 下载地址

  * githup

• 百度云
• 设置ollama模型并运行

大模型已经发布很久，网络上的大模型形形色色，现在已然是群英荟萃，那么，如何在本地运行一个大模型？
本文采用ollama，简单运行本地大模型，不需要写代码。
测试机器：
i5 8400
16G内存
1060 6G
安装ollama安装，下载，运行模型。Chatbox作为桌面程序，用来更方便的调用大模型。
经测试，gemma:2b模型可流畅运行

ollama

下载地址

githup

百度云

模型默认安装位置

C:\Users\用户名\.ollama

修改模型默认安装位置

模型的默认下载路径为

C:\Users\<username>\.ollama\models

如果不想保存在C盘，需要修改，择需要添加环境变量，并重启ollama

OLLAMA_MODELS

修改完毕后需要重启ollama，在任务栏右键退出。之后再window中双击运行

最后可以看到在我们的设置页面中出现了一个新的文件夹，这就表示设置成功了

可下载模型

执行以上命令后，Ollama 将开始初始化，并自动从 中拉取并加载所选模型。一旦准备就绪，就可以向它发送指令，它会利用所选模型来进行理解和回应。
记得将modelname名称换成要运行的模型名称，常用的有：

运行 7B 至少需要 8GB 内存，运行 13B 至少需要 16GB 内存。

相关命令

# 查看本地已经下载的模型
ollama list

# 下载模型 例如gemma:2b
ollama run gemma:2b

下载完毕后

可通过命令行输出与之对话

Chatbox客户端

Chatbox 支持 ollama，可以使用图形化的对话方式。

下载地址

githup

百度云

设置ollama模型并运行

AI时代的职场新潮流

听说AI要来抢工作了？别担心，新岗位可比旧岗位有趣多了！想象一下，你从搬砖工升级成了机器人操作员，从算盘小能手变成了大数据分析师，这不是美滋滋吗？所以，社会生产效率提升了，我们也能更轻松地工作。不过，想成为AI界的佼佼者？那就得赶紧学起来，不然就会被同行们甩得连AI的尾巴都摸不着了！

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。