大模型

一文带你速通RAG、知识库和LLM！

检索增强生成（Retrieval Augmented Generation，RAG）是一种强大的工具，它通过将企业外部知识整合到生成过程中，增强了大语言模型（LLM）的性能。 RAG本质上是通过工程化手段，解决LLM知识更新困难的问题。其核心手段是利用外挂于LLM的知识数据库（通常使用向量数据库）存储未在训练数据集中出现的新数据、领域数据等。通常而言，RAG将知识问答分成三个阶段：索引、知识检索和基于内容的问答。 企业中使用RAG的主要目的是增强大模型，为大模型提供能力提升，目前主要是以下几方面： * a) 减少大模型在回答问题时的幻觉问题 * b) 让大模型的回答可以附带相关的来源和参考 * c) 消除使用元数据注释文档的需要 RAG的7大关键组成部分 接下来我们一起来看看组成RAG的7大关键组成部分。 第一、自定义知识库（Custom Knowledge） 定制知识库是指一系列紧密关联且始终保持更新的知识集合，它构成了 RAG 的核心基础。这个知识库可以表现为一个结构化的数据库形态（比如：MySQL），也可以表现为一套非结构化的文档体系（比如：文件、图图片、音

macOS + Ollama + Enchanted，Llama3本地化部署教程

4月19日，Meta开源了大模型Llama3，并在多项指标上超越了现有最先进的大模型。Ollama社区也同步新增 Llama3 的支持。接下来，我们将在MacBook Pro上部署Llama3，让大家在本地体验最强开源大模型。 硬件设置，MacBook Pro (2019款)，Intel CPU，8 Core，16GB内存。 具体步骤： * 安装Ollama * 下载Llama3 * 安装Enchanted 安装Ollama Ollama大家都比较熟悉了，安装非常方便，有macOS独立安装包。下载，解压，安装。 下载链接 安装完成后，会提示命令行：ollama run llama2，可以拷贝一下。但是注意要下载llama3，而不是llama2. 下载Llama3 进入 Terminal，执行（把llama2改为llama3）:ollama run llama3。下载需要等待一段时间，具体取决于网络速度。 Terminal

RAG 知识库搭建：Ollama+AnythingLLM 搭建本地知识库（附教程）

什么是 RAG RAG，即检索增强生成（Retrieval-Augmented Generation），是一种先进的自然语言处理技术架构，它旨在克服传统大型语言模型（LLMs）在处理开放域问题时的信息容量限制和时效性不足。RAG的核心机制融合了信息检索系统的精确性和语言模型的强大生成能力，为基于自然语言的任务提供了更为灵活和精准的解决方案。 RAG与LLM的关系 RAG不是对LLM的替代，而是对其能力的扩展与升级。传统LLM受限于训练数据的边界，对于未见信息或快速变化的知识难以有效处理。RAG通过动态接入外部资源，使LLM得以即时访问和利用广泛且不断更新的知识库，进而提升模型在问答、对话、文本生成等任务中的表现。此外，RAG框架强调了模型的灵活性和适应性，允许开发者针对不同应用场景定制知识库，从而满足特定领域的需求。 下图是 RAG 的一个大致流程： RAG就像是为大型语言模型（LLM）配备了一个即时查询的“超级知识库”。这个“外挂”不仅扩大了模型的知识覆盖范围，还提高了其回答特定领域问题的准确性和时效性。 想象一下，传统的LLM像是一个博学多才但记忆力有限的学者，它依赖于

全新Llama 3.2系列：性能提升明显，但真的是最优选择吗？（已测试)

令人兴奋的消息，Meta发布了Lllam3.2系列模型，当前的基准显示，Llama 3.2 在各种基准测试中表现优于 Claude3.5 Haiku 以及 GPT-4o-mini；加上前几天的Qwen2.5，现在开源的模型正在一步步缩小和闭源模型之间的差距，这很棒。 这是他们的第1次开源多模态大模型，总共有4个；其中两个是视觉模型（11B、90B）。90B可能是目前最大的视觉模型了，我记得前面一个比较大的是 Qwen2 VL 72B。 剩下的两个是1B和3B的，这些模型专为边缘计算和移动设备优化，支持 128k 令牌，擅长任务如摘要和遵循指令，针对各种处理器进行了优化。 Llama3.2作为Llama3.1的替代品，它是经过优化的，速度、准确性提高，特别擅长图像标题、视觉问答，甚至图像文本检索。 在这个演示视频中，你可以看到 Llama 3.2 模型能够准确分析和分类收据数据，随后以表格的形式展示结果，

大模型

本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？

前段时间，Meta 开源了 Llama 3.2 轻量化模型，为移动端跑大模型提供了新选择！同时，Llama 3.2 视觉模型（Llama 3.2 Vision）也正式开源，号称媲美 GPT-4o。前两天，Llama 3.2 Vision 已在 Ollama 上线！ 今日分享，就对它实测一番。 最后，应用到我们上篇的票据识别任务中，看看效果真有官宣的那么惊艳么？ 1. Llama 3.2 亮点 老规矩，还是简短介绍下：Llama 3.2 都有哪些亮点？ 一句话：轻量化 + 视觉多模态能力！ 具体点： * 文本模型：有

太强了！Ollama + MaxKB零代码本地搭建个人知识库AI应用，数据安全，还可以有权限控制！！

零代码本地搭建AI应用 📚 借助开源的，大模型应用不再遥不可及 🚀 当提到“大模型”和“本地部署”，很多人可能第一反应是：“这是不是只有那些顶尖的技术大牛才能搞定？” 其实，随着开源工具的发展，构建自己的大模型和知识库已经变得轻而易举，就像请一个聪明的私人助理帮你处理日常任务一样简单。 Ollama 和 MaxKB 就是这样一对黄金搭档，借助它们，你不需要深厚的技术背景，也能在本地搭建一个强大的 AI 系统。接下来，我们将带你一步步实现这个目标，让复杂的技术变得像拼积木一样简单。 💻 Ollama 和 MaxKB AI应用初体验 从日常的简单问答到复杂的知识调取，我们先来看看实际的效果。 * 主页面：包括应用、知识库、函数库、管理 * 应用对话界面 * 知识库 🤖后端智能“助理” ：Ollama部署 Ollama 是一款开源的本地大模型应用工具，想象它就是一个超聪明的私人助理，随时待命为你解答问题。更重要的是，部署它并不像想象中那么复杂，只需几个步骤，你就可以让它在自己的设备上运行，数据完全掌控在自己手里。

三步搞定私人AI助手 | LLaMA-3本地部署小白攻略（附教程）

“ 在你的电脑上运行一个强大的AI助手，它不仅能力超群，还把所有秘密都藏在你的硬盘里。好奇这是如何实现的吗？动动手，三分钟就可以完成LLaMA-3的本地部署！ ” 01、LLaMA-3‍‍‍‍ 最近在试验检索增强生成（RAG）的项目，想试试换一个强点的模型试试看效果是否有改观，动手试了一下本地搭建一个私有大模型作为基模型，这次试试LLama3，下次搭阿里通义千问的Qwen2模型。 早在4月份，Meta开源了 LLaMA-3（Large Language Model Meta AI 3）， 在多个关键的基准测试中性能优于业界先进同类模型，其在代码生成等任务上实现了全面领先，能够进行复杂的推理，可以更遵循指令，能够可视化想法并解决很多微妙的问题。 主要亮点： * 基于超过 15T token 训练，相当于 Llama 2 数据集的 7 倍还多； * 支持 8K 长文本，改进的 tokenizer 具有 128K token 的词汇量，可实现更好的性能；

ThinkRAG开源！笔记本电脑可运行的本地知识库大模型检索增强生成系统

ThinkRAG 大模型检索增强生成系统，可以轻松部署在笔记本电脑上，实现本地知识库智能问答。 该系统基于 LlamaIndex 和 Streamlit 构建，针对国内用户在模型选择、文本处理等诸多领域进行了优化。 1. 项目地址 ThinkRAG 在Github开源，使用 MIT 协议。你可以通过以下网址或点击“阅读原文”，获取代码和文档，在笔记本电脑上运行和使用。 https://github.com/wzdavid/ThinkRAG 2. 模型支持 ThinkRAG 可使用 LlamaIndex 数据框架支持的所有模型。关于模型列表信息，请参考以下文档。 https://docs.llamaindex.ai/en/stable/module_guides/models/llms/modules/ 现在，RAG框架太多，好用的系统太少。 ThinkRAG致力于打造一个直接能用、

【10分钟部署大模型-上篇】10分钟部署一个只属于你的大模型本地知识库（纯教程）

部署一个本地知识库，将你所有的东西都丢进去，一查即出，重要的是不用担心泄密，是不是很优秀。 折腾了好几天，今天终于部署好了自己的知识库。感觉非常棒。 机器配置如下：E5+X99+64G+2080Ti 22G +windowns。 这次我们的方案是采用ollama+docker+dify的方案。 1. ollama： Ollama是一个开源工具,它让用户能够在本地轻松运行和管理大语言模型。其主要特点包括: 官网下载ollama https://ollama.com/download 按常规步骤安装. 2. 更改下模型下载路径： 因为ollama下载模型默认装在C盘，多下几个C盘就爆了，所以我们得更改大模型下载路径。 1）搜索系统环境变量 2）环境变量 3）新建 4）如下填写 3.下载大模型 点击复制键 然后在win里打开cmd 粘贴刚刚的命令，下载大模型 4. 完成下载后，

打造个性化AI助手：LangGraph、AI智能体与Ollama的综合应用教程

一、Ollama 快速介绍 Ollama 是一个开源项目，它使在本地机器上运行大型语言模型（LLM）变得简单且用户友好。它提供了一个用户友好的平台，简化了 LLM 技术的复杂性，使其易于访问和定制，适用于希望利用 AI 力量而无需广泛的技术专业知识的用户。 它易于安装。此外，我们有一系列模型和一套全面的功能和功能，旨在增强用户体验。 关键特点： * 本地部署：直接在本地机器上运行复杂的 LLM，确保数据隐私并减少对外部服务器的依赖。 * 用户友好的界面：设计直观易用，适用于不同技术水平的用户。 * 可定制性：微调 AI 模型以满足您的特定需求，无论是研究、开发还是个人项目。 * 开源：作为开源项目，Ollama 鼓励社区贡献和持续改进，促进创新和协作。 * 轻松安装：Ollama 以其用户友好的安装过程脱颖而出，为 Windows、macOS 和 Linux 用户提供直观、无忧的设置方法。 Ollama

【10分钟部署大模型-下篇】10分钟即可本地部署一个只属于你的大模型本地知识库

书接上回，上篇我们完成了ollama + docker的部署，这篇我们介绍dify的部署。 1. 通过https://github.com/langgenius/dify下载dify压缩包 2. 解压后，放在想放的路径下，然后运行以下两条命令 cd path_to_your_dify_folder/docker docker compose up -d 3. 待按照完成后，我们运行 http://localhost/install 注册一个dify账户 1. 注册完成后，通过http://localhost/signin登录 在设置界面找到ollama，配置我们的模型参数。 其中，模型是我们上一步下好的模型，模型名称要和下载模型一致 基础URL填写为：http://host.docker.internal:11434. 保持后，点击“

大模型

Ollama 0.4 发布！支持 Llama 3.2 Vision，实现多模态 RAG

“ 阅读本文大概需要5分钟。 前言 最近，Ollama 推出了 0.4 版本，其中最大的亮点就是支持了 Llama 3.2 Vision 模型，该模型具备多模态特性，也就是说能够理解图像并将图像纳入提示词中进行处理，让模型更智能地处理RAG中的数据源，实现强大的视觉处理功能，例如：手写识别，准确读取手写内容；OCR识别，识别订单、账单等文档；图表与表格识别，解析各类数据；图像问答，实现图片内容的问答交互。 这种功能在之前的Ollama版本中是不支持的，因为Llama CPP不支持视觉模型。 在本篇文章中，我们就来体验一下这个“多模态”神器。 模型下载&运行 目前 Ollama 支持 11B 和 90B 的 Llama 3.2 Vision 模型，