您将深入了解大规模语言模型（如GPT、BERT等）的最新技术与应用。我们提供详细的技术解析、模型训练方法、优化技巧及行业应用案例，帮助您掌握大模型的开发与部署。无论您是AI领域的新手还是专业从业者，这里都能为您提供丰富的学习资源和实践经验，助力您在大模型技术的前沿领域获得竞争优势，推动人工智能的创新应用。
1 参考文献 【官方指引】 【ModelScope训练】 【CUDA下载安装教程】 【安装cuDNN】 【安装PyTorch】 【安装Ollama】 2 基础环境 2.1 安装CUDA 【查看显卡驱动】nvidia-smi 【验证CUDA安装】nvcc -V 首先查看NVIDIA显卡对应的CUDA版本号，然后根据此版本号下载对应版本的Toolkit 2.2 安装cuDNN 把下载的cudnn压缩包进行解压，在cudnn的文件夹下，把bin，include，lib文件夹下的内容对应拷贝到cuda相应的bin，include，lib下即可，最后安装完成。 2.3 安装PyTorch # 验证PyTorch是否与CUDA兼容 import torch print(torch.\_\_version\_\_) print(torch.cuda.is\_available()) 3 通过Ollama调用模型 Ollama是一种比较简单方便的本地运行方案。通过Ollama官网直接安装，可搜索支持的大模型：
概述 本文说明如何在Agent中加入RAG查询引擎，这样就可以在Agent中使用外部的知识库，从而让Agent可以进行外部知识库中数据的查询，让Agent更加强大。 这种模式在很多场景下都很有用，比如：我们很多时候需要先查询或计算某个指标后，若数据或指标符合某个条件时，再通过工具函数来进行处理。该文的实验是通过llamaindex自带的一个例子来完成，我们可以通过该例子结合自己的业务来进行拓展。 本文运行的代码完全是在x86机器上，并且都是在本地部署跑通，不依赖openai的任何接口，完全免费。 实现思路 为了演示如何在Agent中使用 RAG 引擎，我们将创建一个非常简单的 RAG 查询引擎。我们的源数据将是维基百科上关于 2023 年加拿大联邦预算的页面，并已将其打印为 PDF 格式。 通过rag和agent结合，可以先从文档数据中获取到对应的数据，让后再调用tools函数，来对文档中读取到的数据进行处理。 注意：这些步骤都是大模型根据语义的理解选取合适的工具，自动执行的。而我们只需要给我们的代码指令，告诉它，我们想要什么即可。 运行环境 我的环境是一台虚拟机，没
Llama 3模型相比Llama 2具有重大飞跃，并在8B和70B参数尺度上建立了LLM模型的新技术。由于预训练和后训练的改进，Llama3模型是目前在8B和70B参数尺度上存在的最好的模型。训练后程序的改进大大降低了错误拒绝率，改善了一致性，增加了模型响应的多样性。我们还看到了推理、代码生成和指令跟踪等功能的极大改进，使Llama 3更具可操控性。 Meta原话： This next generation of Llama demonstrates state-of-the-art performance on a wide range of industry benchmarks and offers new capabilities, including improved reasoning. We believe these are the best open source models of their class, period. Llama
一、引言 本文会手把手教你如何部署本地大模型以及搭建个人知识库，使用到的工具和软件有 * Ollama * Open WebUI * Docker * AnythingLLM 本文主要分享三点 * 如何用Ollama在本地运行大模型 * 使用现代Web UI和本地大模型"聊天" * 如何打造完全本地化的知识库：Local RAG 读完本文，你会学习到 * 如何使用最好用的软件Ollama部署本地大模型 * 通过搭建本地的聊天软件，了解ChatGPT的信息是如何流转的 * RAG的概念以及所用到的一些核心技术 * 如何通过AnythingLLM这款软件搭建完全本地化的数据库 二、ollama的安装以及大模型下载 2.1 安装ollama 官方下载地址： 当安ollama之后，我们可以通过访问如下链接来判断ollama是否安装成功 arduino 复制代码 http://127.0.0.1:11434/ 2.2 使用ollama运行本地大模型 当安装完成ollama之后，我们就可以在命令行中运行如下命令既可以 arduino 复制代码
某些场景下可能希望构建一个完全本地离线可用的大模型，方法很多，模型也很多，比如 qwen、qwen2、llama3等，最简单快捷的首推使用 ollama 部署，模型选用 qwen 或 qwen2，针对中文任务效果更好。 首先下载 ollama 双击安装(277MB) ollama下载地址： 下载后双击安装 安装完毕后打开命令行黑窗口 开始菜单中找到命令提示符，点击打开 或者随便打开任意一个文件夹，然后在文件夹地址栏中输入 cmd 按回车。 都能打开一个黑窗口 找到想要使用的模型，推荐 qwen系列 打开这个网址 可以选择要使用的模型 比如使用 qwen，点击进入后，会看到如下 点击下拉框，可选择模型版本列表，4b 代表该模型有40亿参数，当然参数越大效果越好，但同样也要求你的电脑配置越高，不够高的话不仅运行慢，还可能卡死机。 如果你有英伟达显卡，并且独立显存不低于12G，可以选择 14b
大模型
本文实现了基于langchain 的本地知识库的基本功能，可离线访问。主要使用了Langchain，ChromaDb Ollama。 概念介绍 什么是RAG RAG 是retrieval-augmented-generation的缩写，直译中文的意思是 检索增强生成，可以简单理解能让训练好的大模型 LLM可以结合外部数据，可以补充或者修正大模型返回的答案，提高答案的准确性。 LLM 有哪些痛点 * 数据陈旧，一旦训练完成无法获取新知识。 * 只能获取公开的数据，很多企业内部数据由于数据安全的目的不会暴露在公网上，所以大模型不能获取相关数据 RAG的出现正好能解决以上问题 开始实现 实现步骤 我们目前要做的是 * 准备文档并进行解析 ，langchain_community.document_loaders 预制了一些各种文档的加载器可以选用 * 把文档向量化并存入数据库 * 文档向量搜索 * 结合提示词和大模型问答 前期准备 Ollama 安装 ollama 官网上有，这里就多说了。这里使用到了两个模型，可以用ollama pull
在我们看完 Langchain 基础之后，RAG 就是第二个难点。本文探索 langchain 中的 RAG 以及部分 langgraph RAG。 一、什么是 RAG ? Retrieval Augmented Generation 检索增强生成。 简单的说就是大模型，虽然比较全面，但是在一些细节上还是有很多的不同，这个时候我们就可以通过上下文的方式，给大模型一些额外的数据增强大模型的知识库，然后生成内容。RAG 从数据源到 LLM 输出，大致分为三个流程： * 索引 * 检索 * 生成 先看一张经典的图片： 二、索引 索引页分为三个部分： * 读取数据源 load * 分割文档 split * 向量存储 embed + vector 2.1) Load 因为数据源是多种多样的，langchain 中使用
什么 langchain ? LangChain是一个用于开发由大型语言模型（ LLMs ）支持的应用程序的框架。 从下面开始我们认知常用的 langchain 常用的生态库以及知识点。 资源库 langchain 有自己的生态，下面是 langchain 生态的一些常用的资源： * / * / langchain 不仅支持 Python 生态，也支持 TypeScript/JavaScript 生态，意味着开发者可以使用 JS 生态开发 AI 应用。 目前的 langchain 的版本是: v0.3+。langchain 集成众多的 llm 和组件，使得 AI 开发变得容易。 langchain 经典架构图 LCEL LCEL 全称 LangChain Expression Language，是一种创建任意自定义链的方法。 核心模块和安装 langchain
前置准备： 大模型启动器下载官网: (1)Olama+Docker本地部署Ollama官网地址: Docker下载地址: Open webui安装部署: MaxKB安装部署: 一、安装Ollama大模型启动器 1.浏览器打开Ollama官网，点击Download进行下载（如下图所示） 2.选择适合版本进行下载（如下图所示） 3.下载完成后，双击安装（默认）直到完成。 4.同时按键盘上Win+R，输入cmd进入，输入ollama，回车，显示如下图所示，表示ollama已安装成功 二、安装大模型 1.按下列步骤，修改大模型安装路径，如果不修改，默认会安装到C盘（系统盘）。按键盘上Win+i进入设置，搜索“查看高级系统设置”，进入【环境变量】 2.修改path，配置Ollama安装位置的参数，修改后点确定完成 3.
引言：什么是Open WebUI Open WebUI 是一种用于构建和管理基于 Web 的用户界面的开源框架，常用于简化开发者创建现代、交互性强的 Web 应用程序的过程。以下是它的关键点： 1、框架开源：Open WebUI 是开源的，开发者可以自由使用它，适用于各种Web 应用开发； 2、用户界面构建：它提供了丰富的 UI 组件和工具，帮助开发者快速构建响应式、易于使用的界面； 3、跨平台兼容：支持主流浏览器和操作系统，确保开发的 Web 应用在不同平台上都能流畅运行； 4、灵活性与扩展性：Open WebUI 具有高度的灵活性，允许与其他框架和工具集成，支持复杂的交互设计和功能扩展； 5、开发者友好：提供简洁的 API 和文档，使得开发者能够轻松上手，快速构建功能齐全的 Web 界面；
前言 MaxKB是一个基于大语言模型和检索增强生成（RAG）技术的开源知识库问答系统。它旨在帮助企业高效管理知识，并提供智能问答功能。MaxKB支持直接上传文档或自动爬取在线文档，能够进行文本自动拆分和向量化，从而有效减少大模型的幻觉现象，提升用户的问答交互体验。 该系统具有以下特点： 1、模型中立性：支持对接多种大语言模型，包括本地私有模型（如Llama 3、Qwen 2等）和国内外公共模型（如通义千问、OpenAI等）； 2、灵活编排：内置强大的工作流引擎和函数库，支持复杂业务场景下的AI工作过程编排； 3、无缝嵌入：可以快速嵌入到第三方业务系统，提升智能问答能力； 4、开箱即用：用户可以轻松创建知识库，支持多种文档格式的上传和处理。 MaxKB广泛应用于企业内部知识库、客户服务、学术研究和教育等场景，旨在成为企业的“最强大脑”。 1.浏览器打开链接： 基于大语言模型和 RAG 的知识库问答系统，下拉找到【快速开始】，参考代码如下： docker run -d
大模型
第一步，安装 Python 依赖包： WIN+R,打开CMD，输入： pip install ollama 也可以使用镜像 pip install ollama -i 第二步，启动ollama后，开始调用 Ollama 接口，以调用“qwen2.5:3b”为例 启动大模型“qwen2.5:3b”：Win+R调出运行框，输入cmd，在cmd中输入”ollama run qwen2.5:3b“并启动 ` import ollama def api_generate(text: str): print(f’提问：