您将深入了解大规模语言模型（如GPT、BERT等）的最新技术与应用。我们提供详细的技术解析、模型训练方法、优化技巧及行业应用案例，帮助您掌握大模型的开发与部署。无论您是AI领域的新手还是专业从业者，这里都能为您提供丰富的学习资源和实践经验，助力您在大模型技术的前沿领域获得竞争优势，推动人工智能的创新应用。
01.引 言 通义千问团队开源「强大」、「多样」、「实用」的 Qwen2.5-Coder 全系列，致力于持续推动 Open Code LLMs 的发展。 * 强大：Qwen2.5-Coder-32B-Instruct 成为目前 SOTA 的开源代码模型，代码能力追平 GPT-4o。在展现出强大且全面的代码能力的同时，具备良好的通用和数学能力； * 多样：在之前开源的两个尺寸 1.5B/7B 的基础上，本次开源共带来四个尺寸的模型，包括 0.5B/3B/14B/32B。截止目前 Qwen2.5-Coder 已经覆盖了主流的六个模型尺寸，以满足不同开发者的需要； * 实用：在两种场景下探索 Qwen2.5-Coder 的实用性，包括代码助手和
构建高效的本地知识库：RAG技术的应用与实践 一、引言 随着大型语言模型(LLM)的发展，企业和组织越来越重视如何利用这些模型来提升业务效率和服务质量。本地知识库的构建成为了一个重要的方向，尤其是在需要针对特定领域的知识进行问答时，本地知识库能够提供更准确和专业性的答案。本文将详细介绍如何使用检索增强生成(RAG)技术构建高效的本地知识库，并探讨其在实际应用中的优势。 二、本地知识库构建的重要性 本地知识库是存储和管理组织内部知识的一种方式，它可以是文档、iwiki或其他形式的信息集合。构建本地知识库有助于： 1. 提高信息获取效率：员工可以更快地找到所需的信息，从而提高工作效率。 2. 确保信息的准确性和安全性：本地知识库可以保证信息的准确性和安全性，特别是在涉及敏感信息的情况下。 3. 促进知识共享和学习：团队成员可以共享和学习组织内部的专业知识，促进团队成长和发展。 三、RAG技术概述 RAG（Retrieval-Augmented Generation）是一种结合了信息检索技术和语言模型的强大能力的技术，旨在提升基于自然语言的任务的表现。RAG技术的核心在于
01 什么是框架? 开始介绍之前, 我们先了解一下什么是框架?xx框架-IT人经常听到的名词。但是又有多少人知道框架的意思? 框架（framework）是一个框子:指其约束性，也是一个架子——指其支撑性。是一个基本概念上的结构，用于去解决或者处理复杂的问题。在IT软件领域，软件框架（software framework）的标准定义：通常指的是为了实现某个业界标准或完成特定基本任务的软件组件规范，也指为了实现某个软件组件规范时，提供规范所要求之基础功能的软件产品。 简而言之，框架其实就是某种应用的半成品，就是一组组件，开发可以基于框架已有的规范和标准，快速实现自己的需求，让开发者聚焦业务领域代码。 常见的Java后端框架：Mybatis、Spring、SpringMVC、SpringBoot。前端框架有：Bootstrap、jQuery、Vue、React。这些框架无一另外都是让开发者快速开发业务逻辑。按照框架规范，定义自己业务参数。 02 为什么需要大模型推理框架 之前介绍过《Transformer原理》 ，我们知道现在LLM都是基于深度学习模型开发，训练，深度学习开发、训
这篇文章主要介绍在自己本地gpu性能不足或者没有gpu的时候，如何部署体验llama3.1。 解决方案： 采用腾讯cloud Studio免费算力，结合ollama工具私有化部署llama3.1-8b 模型 1. 注册腾讯Cloud studio，注册网址https://cloud.tencent.com/product/cloudstudio 1. 登录之后，如果需要进行实名，就完成实名认证。 1. 目前每个月有1800分钟的免费基础算力，可以用来部署大模型 1. 创建的时候应用模板选择ollama 1. 创建完成点击实例进入开发环境 1. 点击终端->新建终端 1. 在命令行中输入以下命令 ollama run llama3.1 1. 等待命令执行完毕，出现下面这个页面就说明安装成功，现在就可以进行对话了。 1. 测试效果 总结: * cloud studio 注册完成之后可能需要进行实名认证，这个点击进行实名认证就可以，
1简介 随着人工智能技术的飞速发展，大语言模型（Large Language Models, LLMs）逐渐从云端走向本地，为开发者、研究者和技术爱好者提供了更灵活、更私密的应用可能。国产DeepSeek 作为一款高效且功能强大的开源大模型，凭借其毫不逊色于Chatgpt的推理能力和对中文场景的深度适配，成为许多用户探索本地智能化的首选工具。 然而，对于非专业开发者或刚接触本地部署的用户而言，复杂的配置流程、环境依赖和资源管理往往令人望而却步。本文旨在通过极简的步骤、清晰的说明和实用的技巧，帮助小白用户在最短时间内完成从零部署的流程。 2环境介绍 windows:win11 3安装ollama Ollama 是一个提供开源、简便且高效的工具平台，旨在使开发者能够在本地环境中运行和部署大型语言模型（LLMs）。Ollama 可以让用户轻松地运行一些主流的、开源的 LLM 模型，而无需依赖云服务，支持在本地服务器或个人计算机上进行推理任务。因此我们deepseek的载体就是ollama。 在官网下载ollama（安装包也可在本文附录A获取） https://ollama
大模型
你是不是也想在自己的电脑上运行AI助手，而不用担心网络延迟和隐私问题？今天，我们就来手把手教你如何本地化部署DeepSeek，即使你是完全的新手，也能轻松上手！ 第一步：搭建基础环境（安装Ollama） Ollama 是一个轻量级AI模型运行框架，支持多个开源模型，我们将用它来运行DeepSeek。 1. 下载 Ollama * 访问 Ollama 官网 * 根据你的操作系统选择安装包（Windows 选择 .exe，Mac 选择 .dmg） * 下载完成后，按照提示进行安装： * Windows：双击安装包，一路“Next”即可 * Mac：拖拽 Ollama 图标到 Applications 文件夹 2. 验证安装 安装完成后，打开终端（Windows 按 Win + R 输入 cmd，Mac
为了给以后的工作流和本地模型铺路，有必要说一下Ollama本地大语言后台的安装。 1.Ollama 在安装之前，有必要先说明一下Ollama是什么。 Ollama是一个大语言模型的服务后台，能够在零基础的前提下帮助用户轻松部署大语言模型。 其特点包括如下： 优点：Ollama后台服务能够帮助用户轻松搭建大语言模型服务，并且提供相应的API以扩展到其他如Dify等Web前台以及Obsidian等笔记软件，以最快的速度形成AI问答/AGENT/工作流等工作形式。并且Ollama提供模型免费下载，用户可以直接下载多种主流的开源大语言模型。同时Ollama支持不同系统，如windows、Linux、MacOS等 缺点：对于部分特殊的开源模型不支持/未收录，模型数量较大，用户需结合自己的需求自行分辨大语言模型的特点。 从多种角度来说，Ollama是目前最为快速、最方便的本地化大语言模型后台 2.Ollama的安装 2.1 下载Ollama 在下载前需要注意： 1、Windows系统需要在Windows10以上系统； 2、如果想要跑7b以上模型，建议显存在6g以上，内存
最近一直想基于RAG（检索增强生成，Retrieval-Augmented Generation）和大语言模型（Large Language Model, LLM）技术搭建一套属于自己的个人知识库，以为会涉及到诸多复杂的流程，包括模型调用、界面开发等。今天找到了一点资料，发现特别简单，花了几分钟实现了一下，主要用到了三个软件： * Ollama * Docker * AnythingLLM 1 基本资料介绍 大预言模型已经很常见了，包括ChatGPT、Claude、通义千问等等，此处就不再过多介绍了，这里主要介绍用到的几个软件和基本技术。 1.1 RAG 检索增强生成（RAG）是指对大型语言模型输出进行优化，使其能够在生成响应之前引用训练数据来源之外的权威知识库。大型语言模型（LLM）用海量数据进行训练，使用数十亿个参数为回答问题、翻译语言和完成句子等任务生成原始输出。在 LLM 本就强大的功能基础上，RAG 将其扩展为能访问特定领域或组织的内部知识库，所有这些都无需重新训练模型。这是一种经济高效地改进 LLM 输出的方法，让它在各种情境下都能保持相
1、下载Ollama Linux系统的安装命令如下： curl -fsSL https://ollama.com/install.sh | sh 2、进入llama3运行环境： ollama run llama3 3、启动服务： ollama serve 首次启动可能会出现以下两个提示： Couldn’t find ‘/home/用户名/.ollama/id_ed25519’. Generating new private key. 该提示表示文件系统中不存在ssh私钥文件，此时命令将自动帮我们生成该文件，并在命令行中打印相应的公钥。 Error: listen tcp 127.0.0.1:11434: bind: address already in use 看到该提示，
JSON格式的优势 在应用开发过程中，其实我们使用的最多的结构为json结构，其有非常明显的优势； * 轻量级：格式紧凑，比XML等其他数据交换格式更轻便，因此传输速度更快，占用带宽更少。 * 易于解析：基于文本，在各种编程语言中非常流行，都可以轻松解析和生成JSON数据。 * 平台无关性：语言无关性，可以在不同的系统和编程语言之间无缝交换数据。 * 支持复杂数据结构：表示复杂的对象和数组结构，这使得它非常适合表示层次化数据。 * 易于人类阅读：键值对格式，易于理解和阅读。 * 自描述性：有意义的键，这有助于理解数据结构的目的。 所以在AI应用开发，希望AI大模型可以返回Josn结构的数据，方便与现有系统的集成，同时也方便结果的解析。 技术方案 纯提示词方案 在早期大模型并不支持json结构数据返回，到目前为止也不是所有的大模型都支持的。前期只能通过prompt（提示词）来实现。 prompt：查询某个导演最受欢迎的电影，包括：电影名称、电影的描述、电影的发行时间、演员列表，其中演员信息包括：姓名、年龄、参演过的最受欢迎的电影，请以json的格式返回。
1. 函数调用基础 Open AI的[Function Calling API]可以通过如下HTTP请求完成，需要在请求体中加入tools字段，它是一个列表，意味着它支持多个函数描述。函数描述采用JSON结构体，包括函数名、函数解释、参数列表，参数列表中每个字段都需要描述类型和解释，如下所示。由于OpenAI Token用完了，我尝试了本地安装的Llama.cpp和Ollama安装的Command R Plus两个模型，他们都是明确不支持函数调用功能。 所以，我测试了通义千问和月之暗面，其中通义千问模型qwen-max支持函数调用，只是它不支持OpenAI中提到的[并发调用]功能，而月之暗面是全面支持函数并发调用。 * 请求 curl --location 'https://api.moonshot.cn/v1/chat/completions' \ --header 'Content-Type: application/json' \ --header
大模型
llama 大模型介绍 我们介绍 LLaMA，这是一个基础语言模型的集合，参数范围从 7B 到 65B。我们在数万亿个 Token 上训练我们的模型，并表明可以专门使用公开可用的数据集来训练最先进的模型，而无需诉诸专有的和无法访问的数据集。特别是，LLaMA-13B 在大多数基准测试中都优于 GPT-3 (175B)， llama2 大模型介绍 我们开发并发布了 Llama 2，这是一组经过预训练和微调的大型语言模型 (LLM)，其参数规模从 70 亿到 700 亿不等。我们经过微调的大语言模型（称为 Llama 2-Chat）针对对话用例进行了优化。我们的模型在我们测试的大多数基准上都优于开源聊天模型，并且根据我们对有用性和安全性的人工评估，可能是闭源模型的合适替代品 llama 大语言模型提供的主要模型列表 Code Llama 模型 Code Llama 是一个基于 Llama 2 的大型代码语言模型系列，