大模型

硬核教程！如何用LLaMA-Factory快速开发出自己的第一个大模型

1. 项目背景 开源大模型如LLaMA，Qwen，Baichuan等主要都是使用通用数据进行训练而来，其对于不同下游的使用场景和垂直领域的效果有待进一步提升，衍生出了微调训练相关的需求，包含预训练（pt），指令微调（sft），基于人工反馈的对齐（rlhf）等全链路。但大模型训练对于显存和算力的要求较高，同时也需要下游开发者对大模型本身的技术有一定了解，具有一定的门槛。 LLaMA-Factory项目的目标是整合主流的各种高效训练微调技术，适配市场主流开源模型，形成一个功能丰富，适配性好的训练框架。项目提供了多个高层次抽象的调用接口，包含多阶段训练，推理测试，benchmark评测，API Server等，使开发者开箱即用。同时借鉴 Stable Diffsion WebUI相关，本项目提供了基于gradio的网页版工作台，方便初学者可以迅速上手操作，开发出自己的第一个模型。 2. 本教程目标 以Meta-Llama-3-8B-Instruct 模型 和 Linux + RTX 4090 24GB环境，LoRA+sft训练阶段为例子，帮助开发者迅速浏览和实践本项目会涉及到的常见

六款大模型应用开发常用工具库

封面图片由通义万相生成 毫无疑问的明星库，几乎每一个大模型在发布时都会提供该库的推演支持。Transformer原本是由Google的工程师提出的一种深度学习模型结构的名字，该结构使用了注意力机制，有效的提升了模型表现。HuggingFace将自己开发的注意力机制库命名为Transformers，并逐渐在大语言模型开发中流行开来。 Transformers支持Rust。将以下内容添加至Cargo.toml文件 candle-transformers = { git = "https://github.com/huggingface/candle.git", version = "0.5.0" } 官网：https://github.com/huggingface/transformers llama.cpp 这个库是一个大语言模型推演库。其最大的特点在于无任何依赖的纯C/C++实现。支持Apple芯片加速、AVX, AVX2 and AVX512指令加速、1.5-bit, 2-bit, 3-bit, 4-bit, 5-bit,

NLP国内外大模型汇总列表[文心一言、智谱、百川、星火、通义千问、盘古等等]

NLP国内外大模型汇总列表[文心一言、智谱、百川、星火、通义千问、盘古等等] 中国大模型列表大全，全面收集有明确来源的大模型情况，包括机构、来源信息和分类等，随时更新。 Awesome family related to LLMS includes: * https://github.com/wgwang/awesome-LLM-benchmarks * https://github.com/wgwang/awesome-LLMs-In-China * https://github.com/wgwang/awesome-open-foundation-models 大模型相关的Awesome系列包括： * 大模型评测数据集： https://github.com/wgwang/awesome-LLM-benchmarks * 中国大模型列表： https://github.com/wgwang/awesome-LLMs-In-China * 开源开放基础大模型列表： https://github.com/

本地部署AI大模型三步走（Ollama+通义千问）

自ChatGPT在2022年11月30日问世以来，各类人工智能驱动的自然语言处理模型就纷纷冒出来了，它们可以理解和学习人类的语言跟人类进行对话，并能根据聊天的上下文来进行互动。目前ChatGPT-4在某些专业知识领域已经达到甚至超过博士生的水平了。在翻译、创作、知识问答、图片生成、视频剪辑、编程、测试、检验等等领域，AI大模型可谓大放异彩！网上也议论纷纷，说以后AI要淘汰这个职业，那个职业的，搞得人心惶惶的。实际上，AI大模型还是有一些局限性的，难以处理过于复杂的任务。但AI大模型的发展已经是大势所趋，不可逆转，它将深刻改变我们的工作和生活方式。因此，我们要积极拥抱AI大模型，不断提升自己的AI技能，与时俱进。毕竟：“未来淘汰的是不会用AI大模型的人！” 好了，现在开始抱大腿。怎么拥抱AI大模型呢？平时都是网上搜一下免费的AI会话窗口玩一下，但受数量限制不过瘾。那，可以把大模型装到自己的电脑上吗？答案是肯定的。这里得感谢各位开源大神，让我们普通人可以通过简单操作也能拥有AI模型。 先给大家介绍一下今天的主角Ollama：Ollama是一个强大的工具，它能在本地轻松部署和运行大型语言

【告别手动搭建】3分钟实现企业级检索AI，轻松部署大模型

在快速迭代的数字化时代，许多企业还在为如何高效搭建并应用AI大模型而苦恼。 繁琐的技术流程、高昂的成本投入以及复杂的人员配置，常常让企业望而却步。 今天就和大家分享一款企业级开源知识库检索AI 先看下效果图： 搭建教程： 先拉取代码，然后 docker-comopse 启动，此处需要 科学上网 源码地址： 进入docker部署目录： cd onyx/deployment/docker_compose docker-compose -f docker-compose.dev.yml -p onyx-stack up -d --pull always --force-recreate 启动后访问： 首次使用需要配置 1.配置LLM，这里使用ollama本地模型，也可以使用其他在线模型厂商，比如OpenAI。 API Base 如果在同一台机器上就填： 不是本机则替换下面IP： 模型我使用的 glm4，大家可以是自行替换LLama3，qwen2.5，前提是ollama服务已经拉取模型

大模型

Agentic RAG登场：RAG技术的进化之路

在2023年，检索增强型生成（RAG）技术占据了主导地位，而在2024年，智能体工作流程正在推动巨大的进步。使用AI智能体为构建更强大的、健壮的、多功能的大型语言模型（LLM）驱动的应用开辟了新的可能性。其中一个可能性是在智能体RAG流程中增强RAG流程中的AI智能体。 智能体RAG的基础知识 什么是检索增强型生成（RAG） 检索增强型生成（RAG）是一种构建LLM驱动应用的技术。它利用外部知识源为LLM提供相关上下文，减少幻觉现象。 一个简单的RAG流程包括一个检索组件（通常由一个嵌入模型和一个向量数据库组成）和一个生成组件（一个LLM）。在推理时，用户查询用于在索引文档上运行相似性搜索，检索与查询最相似的文档，并为LLM提供额外的上下文。 典型的RAG应用有两个相当大的局限性： * 简单的RAG流程只考虑一个外部知识源。然而，一些解决方案可能需要两个外部知识源，一些解决方案可能需要外部工具和API，例如网络搜索。 * 它们是一次性解决方案，这意味着上下文只检索一次。没有对检索到的上下文的质量进行推理或验证。 AI系统中的智能体是什么 随着LLM的流行，

手把手教你在本地部署DeepSeek R1，并集成到Dify中，建议收藏

兄弟们，太炸裂了，不知道你们最近是不是被DeepSeek发布的R1模型刷屏了。 据说DeepSeek R1模型用更低的训练成本，全方位逼近甚至超越OpenAI的o1模型，并且其APP也登上了中国和美国苹果应用商店免费榜的第一名。 相比于CloseAI，DeepSeek开源了其模型权重，使得普通人也可以在家用电脑上进行部署。 今天，手把手教大家在本地部署DeepSeek R1，并将其集成到Dify中，实打实提升你的工作效率！ 一、模型部署 在本节中，主要介绍如何在本地通过ollama部署DeepSeek R1。后面的章节将介绍如何将其集成到Dify中。 1.1 ollama安装 进入到ollama官网，选择对应的操作系统，下载ollama应用程序并安装： 安装成功之后，在命令行输入ollama，如果出现下面的提示，则说明安装成功。 1.2 模型部署 在ollama官网的顶部，点击「Models」，然后选择第一个「DeepSeek R1」： 在模型界面，根据自己的显存大小选择对应的版本： 比如，我的电脑是MacOS 32G，这里我选择了14b的模型，点击14b，然

开源项目Ollama让你的电脑也可以运行大模型

从OPEN AI推出大模型已经过去一年多了，想必大家已经感受到了AI对我们的影响。大型模型极具用途，其提升的准确性和处理更复杂任务的能力都令人赞叹。然而，本地运行这些模型却一直是一项艰巨的任务。运行这些模型需要大量的计算资源，而且数据存储需求往往超过了一般个人设备所能提供的。 此外，设置、配置和维护这些模型的过程可能复杂且耗时。同样，解决兼容性问题，排错和调试也会让用户在利用这些模型进行他们的研究或项目时望而却步。 虽然很早就有了开源大模型，我也一直跃跃欲试，但是苦于没有英伟达的显卡，所以一直没能本地运行。 但现在，有了一个解决方案 - 一项名为Ollama的开源项目。Ollama简化了实现大型模型的过程。借助Ollama，曾经令人畏惧的本地运行这些模型的任务变得轻而易举。它精简了整个过程，消除了与这些大型模型相关的设置和维护的复杂性。关键是不需要显卡，只使用CPU就可以运行。因此，有了Ollama，无论用户的技术栈或资源如何，大型模型的力量现在都已触手可及。 获取Ollama Ollama下载地址，推荐第一个，一般都能下载。  如果你像研究源码，到下面的地址，部分人无法访问

LLM生态下爬虫程序的现状与未来

最近出现一批与LLM有关的新的爬虫框架，一类是为LLM提供内容抓取解析的，比如  和  ，可以将抓取的网页解析为markdown这样的对LLM友好的内容，例如markdown，这类本质上还是传统的爬虫解决方案。还有一类是通过LLM+agent工作流方式来构建的下一代爬虫程序，比如、 等。 今天我们来分析下这两类爬虫框架原理并做简单的评价。 Jina Reader 是jina开源的针对LLM的解析工具，不仅开源，还提供了api供免费调用，在 https://r.jina.ai/<url> 中填入 Url ，然后请求这个地址，就能获取到 对LLM 友好的 Parsed Content（ Markdown），例如访问https://r.jina.ai/https://blog.google/technology/ai/google-deepmind-isomorphic-alphafold-3-ai-model/， 会得到： 代码语言：javascript Title: AlphaFold 3

LLM大模型：LlamaIndex 起步教程（本地模型）

提示：确保您已先按照自定义安装步骤操作。 这是一个著名的“五行代码”起步示例，使用本地 LLM（大语言模型）和嵌入模型。我们将使用 BAAI/bge-small-en-v1.5 作为嵌入模型，通过 Ollama 服务的 Mistral-7B 作为 LLM。 下载数据 本示例使用 Paul Graham 的文章《What I Worked On》文本。您可以在我们仓库的 examples 文件夹中找到这篇及其他多个示例。 最简便的方式是通过此链接下载该文件，并将其保存到名为 data 的文件夹中。 安装与设置 Ollama 是一个帮助您在本地配置 LLM（目前支持 macOS 和 Linux，您可以通过 WSL 2 在 Windows

【LLM大模型】LlamaIndex 安装与配置（不含OpenAI）

pip install llama-index 这是一个包含以下组件的启动包： * llama-index-core * llama-index-legacy （暂时包含） * llama-index-llms-openai * llama-index-embeddings-openai * llama-index-program-openai * llama-index-question-gen-openai * llama-index-agent-openai * llama-index-readers-file * llama-index-multi-modal-llms-openai 自定义安装（通过 Pip） 如果你不使用 OpenAI，或者想要更精细的选择性安装，你可以按需安装单个包。 例如，对于使用 Ollama 和 HuggingFace 嵌入的本地设置，安装可能如下所示： pip install llama-index-core llama-index-readers-file llama-index-llms-ollama llama-

大模型

【LLM大模型】本地玩转多模态Llama3

一般开源的LLM，例如Llama3和Qwen2等，只支持文本的输入，只能理解文本的内容，实现基于文本的逻辑推理和意图识别。 但是一些Chatbot，例如GPT-4V，就是拥有视觉能力，能够理解图片内容，能够更好的解决现实中的实际问题。 如何给开源大模型添加上视觉Vision？本篇文章助力大家在本地玩转多模态的Llama3。 理解LLaVA方案 给LLM装上电子眼： 添加上一个Image Projector，让大模型具有处理图片输入的能力，再经过向量对齐，输入LLM中，就可以使大模型增加对输入图片的理解。 所使用的文本单模型LLM和训练出来的Image Projector，统称为LLaVA模型。 LLaVA（Large Language-and-Vision Assistant），是一个在LLM基础上来实现对视觉问题问答的解决方案。 Image Projector的训练和测试，有点类似之前我们讲过的LoRA**微调方案，。 二者都是在已有LLM的基础上，用新的数据训练一个新的小文件。 只不过，LLM套上LoRA之后，有了新的灵魂（角色）；而LLM套上Image Pro