大模型

本地部署多模态大模型，结合Open-WebUI和Dify实现多模态对话、智能体！

优质文章学习记录

06 Feb 2025 — 14 min read

最近几年，随着ChatGPT的发布，越来越多的大模型喷涌而出，越来越多的人体会到了大模型带来的便利，如知识问答、代码编写、语音合成、图像合成、智能对话等等。大模型的参数量通常非常大，得益于大模型框架以及量化技术的发展，目前，我们在个人电脑上也能够部署和推理大模型，即安全又隐私。

今天，给大家介绍一下如何在个人电脑上通过Ollama和OpenWeb-UI搭建一个属于自己的多模态大模型，能够结合本地知识库进行智能问答、图像分析等，并结合Dify构建本地的智能体。支持Windows、macos、Linux。

下面是一个样例展示：

www.zeeklog.com - 本地部署多模态大模型，结合Open-WebUI和Dify实现多模态对话、智能体！

一、说明

本文目前只介绍Macos的部署教程，因为主要用到docker，其他系统部署操作类似。

1.1 Ollama介绍

Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。以下是关于Ollama的详细介绍：

1.1.1 主要特点

简化部署：Ollama旨在简化在Docker容器中部署LLM的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。
轻量级与可扩展：作为轻量级框架，Ollama保持了较小的资源占用，同时具备良好的可扩展性，允许用户根据需要调整配置以适应不同规模的项目和硬件条件。
API支持：提供了一个简洁的API，使得开发者能够轻松创建、运行和管理大型语言模型实例，降低了与模型交互的技术门槛。
预构建模型库：包含一系列预先训练好的大型语言模型，用户可以直接选用这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源。
跨平台支持：提供针对macOS、Windows（预览版）、Linux以及Docker的安装指南，确保用户能在多种操作系统环境下顺利部署和使用Ollama。

1.1.2 使用场景

聊天机器人：利用Ollama部署的LLM，可以创建具有智能对话功能的聊天机器人。
文本生成：可以用于生成各种文本内容，如新闻文章、博客文章、诗歌等。
问答系统：能够回答用户提出的各种问题，适用于多种问答场景。
代码生成：可以生成多种编程语言的代码，如Python、JavaScript等。

1.2 Open-WebUI介绍

Open WebUI（前身为Ollama WebUI）是一个专为大型语言模型（LLM）设计的可扩展、功能丰富且用户友好的自托管Web管理工具，旨在为用户提供直观、高效的大模型交互体验。以下是对Open WebUI的详细介绍：

1.2.1 主要特点

离线运行：Open WebUI设计用于完全离线运行，无需依赖外部服务器或网络连接，提高了数据的安全性和隐私保护。
多模型支持：支持各种LLM运行器，包括Ollama和兼容OpenAI的API，用户可以根据需要轻松集成和管理不同的大型语言模型。
直观界面：聊天界面灵感来源于ChatGPT，确保了用户友好的体验。同时，提供响应式设计，在桌面和移动设备上都能享受无缝的体验。
轻松设置：支持使用Docker或Kubernetes（kubectl、kustomize或helm）无缝安装，简化了部署和配置过程。

1.2.2 应用场景

Open WebUI适用于多种场景，包括但不限于：

聊天机器人：利用Open WebUI部署的LLM，可以创建具有智能对话功能的聊天机器人，用于客户服务、娱乐互动等领域。
文本生成：可以用于生成各种文本内容，如新闻文章、博客文章、诗歌等，满足内容创作的需求。
问答系统：能够回答用户提出的各种问题，适用于教育、咨询、医疗等多个领域。
代码生成：可以生成多种编程语言的代码，如Python、JavaScript等，辅助开发者进行代码编写和调试。

二、安装Docker

Docker直接在官网安装Docker Desktop就行，根据自己的操作系统下载对应的安装包。大家一定要注意Docker的网址，可不要被坑了。

三、安装和配置Ollama

3.1 安装Ollama

同样，ollama也提供了非常简单的安装方式，直接在官网下载对应系统的安装包即可，同样也需要注意网址，不要被坑了。

安装完成之后，在命令行界面执行下面的命令

ollama

如果出现下面的提示，则说明安装成功：

3.2 下载多模态大模型

可以在ollama官网找到非常多的大模型，然后根据自己的显卡（MacOS M芯片是内存）大小选择对应的模型，根据经验12G显存可以运行大概7B的模型。ollama的模型库包含了热门的llama3.2、qwen2.5、gemma2等模型，都非常优秀。

由于本文主要是介绍在本地部署多模态大模型，因此主要下载llava:13b和qwen:14b-chat这两个模型，其他模型大家可以自行探索，在命令行执行下面的命令进行下载：

# 下载llava:13b模型   ollama pull llava:13b   # 下载qwen:14b-chat   ollama pull qwen:14b-chat

下载完成后，提示如下：

3.3 ollama开启远程访问

3.3.1 windows设置

在「电脑」->「属性」->「高级系统设置」->「环境变量」中，添加一行记录：

变量：OLLAMA_HOST，值：0.0.0.0

3.3.2 MacOS设置

在~/.bashrc中的最后一行添加下面的环境变量

export OLLAMA_HOST=0.0.0.0

然后执行，下面的命令使环境变量在当前shell生效

source ~/.bashrc

3.3.3 重启ollama

重启ollama使得刚才设置的环境变量生效。

四、安装和配置OpenWebUI

下面介绍一下如何安装和配置Open-WebUI

4.1 安装Open-WebUI

在命令行界面执行下面的命令，安装和启动open-webui：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

拉取镜像并启动容器完成之后，命令行界面如下：