Windows平台上构建本地RAG服务：Dify + Ollama + Qwen2.5的强大组合实践！
前几天聊了个客户需求，客户基于 Dify 构建 RAG 服务，但是团队技术能力有限，RAG 的召回准确率不高，想找人帮忙调优。
刚好我们团队接手了这个案例，经过初步的模型调优、参数优化、Prompt 优化等操作，把准确率提升到90%以上。
在做 POC 的过程中，知识库文件太大，遇到了 Dify 向量空间已满的问题。
花费 59 美刀开通专业版做 POC，不是很有必要，索性本地部署 Dify，进行测试。
主要工具
Dify 是一款开源的大语言模型(LLM) 应用开发平台，拥有可视化的操作界面，结合了 AI 工作流、RAG 管道、代理功能、模型管理、可观察性功能等，可以快速从原型开发到生产。
Ollama 是一个开源的大模型管理工具，它提供了丰富的功能，包括模型的训练、部署、监控等。通过Ollama，你可以轻松地管理本地的大模型，提高模型的训练速度和部署效率。
Qwen2.5 是阿里通义千问团队最新开源的最强AI大模型，具有多种参数规模的模型，包括0.5B、1.5B、3B、7B、14B、32B 和72B。模型在预训练时使用了最新的大规模数据集，包含多达18 万亿个tokens，Qwen2.5 在自然语言理解、文本生成、编程能力、数学能力等方面都有显著提升。
Docker 是一种轻量级的虚拟化技术，同时是一个开源的应用容器运行环境搭建平台，可以让开发者以便捷方式打包应用到一个可移植的容器中，然后安装至任何运行Linux或Windows等系统的服务器上。
部署Dify
系统要求
在安装 Dify 之前，请确保您的机器满足以下最低系统要求：
CPU >= 2 Core
RAM >= 4GB
快速部署
通过 Docker compose 部署 Dify
克隆 Dify 源代码至本地
进入 docker 目录
复制一份环境变量
采用默认端口，一键启动
git clone https://github.com/langgenius/dify.git` `cd dify/docker` `cp .env.example .env` `docker compose up -d
部署成功后如下图所示
Docker Desktop页面
说明
Windows 系统需要先安装 wsl，用于支持 Docker Desktop 的安装
部署Ollama
下载 Ollama
访问 https://ollama.ai/download，下载对应系统 Ollama 客户端，我是 Windows 系统，下载 Windows 版本，然后安装运行
部署Qwen2.5
下载 qwen2.5:7b 模型，ollama run qwen2.5:7b
部署Embedding模型
Embedding 是一种将词语或句子转换成数字向量的技术。它实际上是将高维、离散的输入数据（例如文本、图像、声音等）转换成低维、连续的向量表示的过程。
英文数据集选用 nomic-embed-text ，ollama pull nomic-embed-text
中文数据集选用 bge-m3，ollama pull bge-m3
使用Dify
设置账户
打开浏览器，输入 http://localhost/install ，设置管理员账号
配置模型
点击右上角头像，点击“设置”按钮
切换到模型供应商，进行模型配置，我这里已经配置好了，初次配置需要在页面下拉列表中找到“Ollama”
配置 Qwen2.5:7b 模型
配置 nomic-embed-text 模型
配置 bge-m3 模型
至此，整个配置流程结束，下一篇文章将介绍如何使用Dify搭建企业知识库聊天机器人
总结
本文详细介绍了如何将Dify本地私有化部署，并且接入Ollama部署本地大模型，构建本地RAG服务。希望能对大家有所帮助！
如何学习AI大模型？
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
