大模型

【应用实战】利用Ollama + RAGFlow部署千问大模型：构建个人知识库AI智能体

将开源的大语言预训练模型部署到用户设备上进行推理应用，特别是结合用户专业领域知识库构建AI应用，让AI在回答时更具有专业性，目前已经有很多成熟的应用方案。其中，支持大模型本地化部署的平台及工具很多，比较出名的有ollama、vLLM、LangChain、Ray Serve等，大大简化了模型的部署工作，并提供模型全生命周期管理。对应地，需要知识库构建的相应工具，能处理各种格式（doc/pdf/txt/xls等）的各种文档，能够直接读取文档并处理大量信息资源，包括文档上传、自动抓取在线文档，然后进行文本的自动分割、向量化处理，来实现本地检索增强生成（RAG）等功能。这类工具主要有RAGFlow、MaxKB、AnythingLLM、FastGPT、Dify 、Open WebUI 等。本文将采用ollama + RAGFlow方式进行搭建，系统架构如下： 1 安装ollama ollama是一个开源的大型语言模型服务工具，旨在帮助用户在本地环境中部署和运行大型语言模型，其核心功能是提供一个简单、灵活的方式，将这些复杂的AI模型从云端迁移到本地机器上，简化大型语言模型在本地环境中的运行和

【一键部署】2000+开源大模型任意选择：本地搭建不挑环境、不挑配置（Ollama Windows/Linux/Mac安装教程）

一、Ollama介绍 2.1 基本介绍 Ollama是一个支持在Windows、Linux和MacOS上本地运行大语言模型的工具。它允许用户非常方便地运行和使用各种大语言模型,比如Qwen模型等。用户只需一行命令就可以启动模型。 主要特点包括: 1. 跨平台支持Windows、Linux、MacOS系统。 2. 提供了丰富的模型库,包括Qwen、Llama等1700+大语言模型,可以在官网model library中直接下载使用。 3. 支持用户上传自己的模型。用户可以将huggingface等地方的ggml格式模型导入到ollama中使用。也可以将基于pytorch等格式的模型转换为ggml格式后导入。 4. 允许用户通过编写modelfile配置文件来自定义模型的推理参数,如temperature、top_p等,从而调节模型生成效果。 5. 支持多GPU并行推理加速。在多卡环境下,可以设置环境变量来指定特定GPU。 6. 强大的技术团队支持，很多模型开源不到24小时就能获得支持。 总的来说,Ollama降低了普通开发者使用大语言模型的门槛,使得本地部署体验大模

手把手教你用Docker部署Dify平台，打造可视化LLM应用环境

“ Dify是一款开源的大语言模型(LLM)应用开发平台。它融合了后端即服务（Backend as Service）和LLM Ops的理念，使开发者可以快速搭建生产级的生成式AI应用。即使你是非技术人员，也能参与到AI应用的定义和数据运营过程中。 Dify内置了构建LLM应用所需的关键技术栈，包括对数百个模型的支持、直观的Prompt编排界面、高质量的RAG引擎、稳健的Agent框架、灵活的流程编排，并同时提供了一套易用的界面和API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上。” 01 — 关于Dify 你或许可以把LangChain这类的开发库（Library）想象为有着锤子、钉子的工具箱。与之相比，Dify提供了更接近生产需要的完整方案，Dify好比是一套脚手架，并且经过了精良的工程设计和软件测试。 重要的是，Dify是开源的，它由一个专业的全职团队和社区共同打造。你可以基于任何模型自部署类似AssistantsAPI和GPTs的能力，在灵活和安全的基础上，同时保持对数据的完全控制。 02 — 前提条件 Dify可以在运行Docker

Ollama-OCR 只需几行代码，轻松实现高质量文字识别！

Llama 3.2-Vision 是一种多模态大型语言模型，有 11B 和 90B 两种大小，能够处理文本和图像输入，生成文本输出。该模型在视觉识别、图像推理、图像描述和回答图像相关问题方面表现出色，在多个行业基准测试中均优于现有的开源和闭源多模态模型。 本文将介绍开源的 ollama-ocr[1] 工具，它默认使用本地运行的 Llama 3.2-Vision 视觉模型，可准确识别图像中的文字，同时保留原始格式。 https://github.com/bytefer/ollama-ocr Ollama-OCR 的特点 * 使用 Llama 3.2-Vision 模型进行高精度文本识别 保留原始文本格式和结构 * 支持多种图像格式：JPG、JPEG、PNG * 可定制的识别提示和模型 * Markdown 输出格式选项 Llama 3.2-Vision 应用场景

ChatOllama-本地大模型+RAG知识库

本文将介绍用ChatOllama这个项目实现与本地大语言模型的对话并通过这个项目搭建本地知识库进行问答 项目地址： https://github.com/sugarforever/chat-ollama 现在有很多支持本地运行大预言模型的项目和使用知识库的项目或者平台，之所以想介绍ChatOllama是因为个人使用过后感觉比其他项目好用。特别是它的本地知识库，也就是RAG问答效果，是我到现在用过的几个知识库中能检索到信息最准确的 虽然有不少平台支持知识库功能，但是实际使用的时候会发现检索回来的信息往往并不包含我们在知识库中提问的内容，RAG效果微乎其微 我看了一下发现字节的Coze平台算是比较好的，毕竟是大厂，我在Coze上做的知识库问答基本上都能检索到相关度较高的内容 而且Coze支持调节的知识库参数很多，另外加上免费的GPT4-Turbo模型可以使用，说实话这个纯免费的知识库直接秒杀绝大部分付费知识库服务了已经。所以不想走弯路的小伙伴建议直接上手Coze平台的知识库功能 尽管Coze平台的知识库功能已经很强大了，但是一方面数据隐私性不高，毕竟是在人家的平台进行使用；另

大模型

如何构建本地RAG系统教程

本文详细介绍如何利用Python和大型语言模型（LLM）构建一个检索增强生成（Retrieval-Augmented Generation, RAG）系统。该系统包括完整的数据处理，向量数据库，前端以及后端结构，能够从个人文档中学习知识，并在无需GPU的情况下于笔记本电脑上运行。 1. 引言 自然语言处理（NLP）是人工智能领域研究机器与人类语言交互的学科。NLP的巅峰目前当属大型语言模型（LLM）的出现。LLM在海量文本数据上进行训练，能够学习语言模式和变体。“语言模型”一词随着深度学习和神经网络的兴起而普及。特别是2018年，谷歌引入了基于Transformer架构的模型，极大地提升了NLP模型的性能（例如谷歌的BERT和OpenAI的GPT）。 如今，LLM通常用于文本到文本任务或“文本生成”（如翻译、摘要、聊天机器人和虚拟助手，甚至撰写整本书）。这催生了生成式人工智能（GenAI）的兴起，GenAI专注于生成新内容（如文本、图像、音频、视频）。 目前最先进的LLM包括： * OpenAI的ChatGPT * Anthropic的Claude * 谷歌的Bard

Pydantic AI+Web Scraper+Llama3.3Python=强大的人工智能研究代理

在这个视频中，我将快速演示如何使用 Pydantic AI、Web Scraper 和 Llama 3.3 创建一个多代理聊天机器人，以便为您的业务或个人使用构建一个强大的代理聊天机器人。 在检索增强生成（RAG）和基于大型语言模型（LLM）的工作流中，结构化输出提高了准确性和清晰度，使数据更易于理解。 我们许多人都知道验证或转换数据为正确格式是多么令人沮丧。当处理接口数据时，您会面对复杂的数据格式。如果不小心，您可能会遇到很难发现的错误。 这就是 Pydantic 发挥作用的地方。它是一个知名的数据验证工具，并在幕后发挥着关键作用。OpenAI、Anthropic、LangChain 和 LlamaIndex 都将 Pydantic 作为核心组件，负责数据验证等重要功能。 不久前，Pydantic 团队推出了 PydanticAI，这是一个基于 Pydantic 的 AI 代理框架。它旨在简化 AI 应用开发的复杂性，

自建本地AI回答大模型 ollama-openwebui

ollama-openwebui ollama是一个开源项目，它提供了一个平台和工具集，用于部署和运行各种大型语言模型。 ollama官网：https://ollama.com/ ollama下载地址：https://ollama.com/download GitHub地址：https://github.com/ollama/ollama ollama 介绍 ollama部署 我们这里选择直接部署docker,简单方便，docker部署忽略 docker镜像地址： https://hub.docker.com/r/ollama/ollama # 拉取docker镜像 docker pull ollama/ollama:latest # AMD显卡 docker run -d -v /mnt/c/ubuntu-wsl/data/ollama:/root/

用langchain搭配最新模型ollama打造属于自己的gpt

langchain 前段时间去玩了一下langchain,熟悉了一下大模型的基本概念，使用等。前段时间meta的ollama模型发布了3.0,感觉还是比较强大的，在了解过后，自己去用前后端代码，调用ollama模型搭建了一个本地的gpt应用。 核心逻辑 开始搭建 首先本地需要安装ollama的模型,这里有两种方式，大家自己选择即可，第一种选择官网下载, 第二种可以去docker hub里面下载，里面有ollama的镜像包, 这里为了方便我就用第一种了。 ollama 下载好之后，我们直接执行 ollama serve 命令即可, 出现下面的样子，代表执行成功了。 这时候ollama会运行在11434端口，这样我们的后端可以通过端口连接到ollama的服务了。 ollama run llama3 直接执行这个命令就可以在本地终端里起一个gpt, llama3是ollama最新的模型 后端代码实现 后端我们用nestjs来搭建 首先我们需要安装一个langchain的包 @langchain/community, 我这里选用的社区版，支持度比较好,模型

服务器繁忙？10分钟本地部署DeepSeek+Milvus，增强版不排队！

引言 过去一个月的DeepSeek有多火？ Sensor Tower数据显示，在其APP在最新的R1模型发布后，DeepSeek的前 18 天内下载量达到 1600 万次，几乎达到ChatGPT同一数据的两倍，不仅如此，DeepSeek还在全球140个国家的APP榜单中名列下载量排名第一。 刚刚收工的国内打工人，更是摩拳擦掌，期待着DeepSeek在新的一年成为自己新的AI牛马。 然而，暴涨的流量+层出不穷的DDOS攻击=服务中断宕机。 作为资深社畜兼DeepSeek的骨灰级粉丝，相信不少人最近一定感受到了类似的崩溃： 闹钟八点一响，牛马闪亮登场。开工第一天，当你满脸虔诚的将一个问题反复向DeepSeek问了不止十遍，但奈何，但DeepSeek的回复，始终是**“服务器繁忙，请稍后再试。”** 那么，有什么办法，能够让你随时随地都能流畅、稳定使用“不会冷暴力”的DeepSeek，甚至是增强版DeepSeek？ 答案是，本地部署。通过本地部署，我们不仅能有效缓解DeepSeek官方服务器的压力，避免了官服频繁宕机，更保证了自己的个人隐私数据，不会被上传到大模型，出现隐私泄

Ollama + Openwebui 本地部署大型模型与交互式可视化聊天

Ollama简介 Ollama是一个创新的平台，它允许用户在本地启动并运行大型语言模型。它提供了一个简单易用的内容生成接口，类似于OpenAI，但无需开发经验即可直接与模型进行交互。Ollama支持热切换模型，为用户提供了灵活性和多样性。 安装Ollama 要安装Ollama，请访问官方网站的下载页面：[Ollama下载页面]。在这里，你可以根据你的操作系统选择合适的版本进行下载，目前，Ollama支持macOS 11 Big Sur或更高版本。 macOS用户 对于macOS用户，可以直接点击下载链接获取Ollama的压缩包：[Download for macOS] Windows用户 对于Windows用户，可以参照上述链接中的步骤进行安装，安装过程中，你可以通过注册来接收新更新的通知。 使用Ollama 安装完成后，你可以通过命令行查看Ollama的可用命令。例如，在Windows的PowerShell中，输入ollama即可查看帮助信息和可用命令。 PS C:\Users\Admin> ollama Usage: ollama [flags] o

大模型

Mac Intel 本地 LLM 部署经验汇总（CPU Only）

1. Ollama 模型性能对比 为了解决这个问题，找很多 ollama 的资料，基本上可以确定 3 点信息： 1. ollama 会自动适配可用英伟达（NVIDIA）显卡。若显卡资源没有被用上应该是显卡型号不支持导致的。如下图： 1. ollama 支持 AMD 显卡的使用，如下图： 1. 至于 Apple 用户 ollama 也开始支持 Metal GPUs 方案 欸…看到这里好像又有点希望了，我的 MBP 估计也支持 Metal 方案吧🤔，接着我就到 Apple 官网查了一下 Metal 的支持情况。如下图： （其实 ollama 上说的支持 Metal GPUs