您将深入了解大规模语言模型（如GPT、BERT等）的最新技术与应用。我们提供详细的技术解析、模型训练方法、优化技巧及行业应用案例，帮助您掌握大模型的开发与部署。无论您是AI领域的新手还是专业从业者，这里都能为您提供丰富的学习资源和实践经验，助力您在大模型技术的前沿领域获得竞争优势，推动人工智能的创新应用。
这一年来，AI 发展的越来越快，大模型使用的门槛也越来越低，每个人都可以在自己的本地运行大模型。今天再给大家介绍一个最厉害的开源大模型服务框架——Ollama。 项目介绍 Ollama 是一个开源的大语言模型（LLM）服务工具，它允许用户在本地环境快速实验、管理和部署大型语言模型。它支持多种流行的开源大型语言模型，如 Llama 3.1、Phi 3、Mistral、Gemma 2 等，并且可以通过命令行界面轻松下载、运行和管理这些模型。 Ollama 的出现是为了降低使用大型语言模型的门槛，是让大型语言模型更加普及和易于访问。 项目安装 既然说到要降低门槛，Ollama 的安装也自然是非常的方便了。 Ollama 支持 macOS、Windows 和 Linux 操作系统，同时也提供了 Docker 镜像，方便在不同环境中部署。 * macOS: 可以通过 Homebrew 安装，使用命令
引言 “变老很糟糕（Getting old sucks）”，这是电影《勇敢者的游戏》里的一句台词。变老会让人不再敏捷、健壮，会让人疲于跟上社会发展的脚步。据统计，截止 2023 年底，60 岁以上人口占全国总人口的 21.1%。若干年后，这个比重可能会更大，而我们自己也将成为构成这一比重的分子之一。如何帮助老年人活得更舒适一些？如何帮助若干年以后的我们自己？我最近在思考这些问题。 有一天下班路上，我刷到了一篇推文，宣布 Google 将举办以 ”科技向善” 为主题的黑客马拉松比赛，鼓励开发者基于 Gemma 模型技术来表达社会关怀。这几乎在一瞬间就激发了我的灵感 —— LLM 擅长处理大段文字，这不正适合用来帮老年人提升阅读体验吗？我有一些长辈，他们视力不好，还可能识字不全。当儿孙辈不在身边时，吃药之前读说明书往往是非常困难的事情。用大语言模型来处理药品说明书的文字内容，并以语音问答的形式来辅助理解，无论是从技术可行性还是用户友好性的角度来考虑，这似乎都非常通顺！ 于是，在热爱编程和科技向善这双重精神动力的推动下，
背景 随着行业内越来越多的AI产品落地，很多同学都对AI技术产生浓厚的兴趣，但苦于目前动作几十G上百G的大模型，并且手上的消费级电脑也无法满足各种模型部署运行要求，本文就是基于此背景，介绍如何使用Mac Book Pro本地搭建大模型的入门教程，希望能帮助到对AI有兴趣的同学。毕竟不管什么岗位，如果能自己搭个Demo进行AI相关的学习，也不失为一种AI入门方式。 纸上谈兵终觉浅，绝知此事要躬行，正好借着9月OpenAI最新发布的o1大模型，写一个本地模型部署指南，本人电脑是Mac Book Pro M3 18G机器搭建，M1、M2的机器也是可以的。 方案选择 首先解释一下什么是模型量化 * 模型量化是做什么的: 模型量化是将浮点数值转化为定点数值，同时尽可能减少计算精度损失的方法。 * 为什么要做模型量化: 模型量化既能减少资源消耗，也能提高运行速度，使大规模推理服务的性能提升。 * 对哪些数值做量化: 可以对模型参数（weight）、激活值（activation）或者梯度（gradient）做量化。 * 常见的量化精度有哪些: 通常可以将模型量化为 int4、int
4月18日，Meta在官方博客官宣了Llama3，标志着人工智能领域迈向了一个重要的飞跃。经过笔者的个人体验，Llama3 8B效果已经超越GPT-3.5，最为重要的是，Llama3是开源的，我们可以自己部署！ 本文和大家分享一下如何在个人电脑上部署Llama3，拥有你自己的GPT-3.5+! 很多读者担心本地部署时个人电脑的硬件配置不够，实际上这种担心是多余的，笔者使用的是MacBook M2 Pro (2023款), 主要硬件配置如下： * 10核CPU * 16G内存 部署步骤大致如下： * 安装Ollama * 下载Llama3 * 安装Node.js * 部署WebUI 安装Ollama Ollama可以简单理解为客户端，实现和大模型的交互，读者可以前往[ollama.com/download，根据…] 下载之后打开，直接点击Next以及Install安装ollama到命令行。安装完成后界面上会提示ollama run llama2，不需要执行这条命令，因为我们要安装llama3。 下载Llama3 打开新的终端/命令行窗口，执行以下命令：
环境搭建 系统环境 需要Nvidia显卡，至少8G显存，且专用显存与共享显存之和大于20G 建议将非安装版的环境文件都放到非系统盘，方便重装或移植 以Windows11为例，非安装环境文件都放在 E 盘下 设置自定义Path文件夹 创建 E:\mypath 文件夹，将其添加进用户环境变量Path中，之后会用 CMake 下载 CMake 的 Windows x64 ZIP 对应文件： 解压到E:\environment\cmake 将E:\environment\cmake\bin添加到用户环境变量Path中 C++编译 下载 Community 版 Visual Studio： 运行后选择桌面c++板块内容安装，若中途取消安装了，可以在开始菜单下栏的新增项目（或推荐项目）中找到该安装程序 这里只需要c++的编译环境，把除了C++板块以外的安装项目全部取消勾选（
大模型
什么是 RAG RAG，即检索增强生成（Retrieval-Augmented Generation），是一种先进的自然语言处理技术架构，它旨在克服传统大型语言模型（LLMs）在处理开放域问题时的信息容量限制和时效性不足。RAG的核心机制融合了信息检索系统的精确性和语言模型的强大生成能力，为基于自然语言的任务提供了更为灵活和精准的解决方案。 RAG与LLM的关系 RAG不是对LLM的替代，而是对其能力的扩展与升级。传统LLM受限于训练数据的边界，对于未见信息或快速变化的知识难以有效处理。RAG通过动态接入外部资源，使LLM得以即时访问和利用广泛且不断更新的知识库，进而提升模型在问答、对话、文本生成等任务中的表现。此外，RAG框架强调了模型的灵活性和适应性，允许开发者针对不同应用场景定制知识库，从而满足特定领域的需求。 下图是 RAG 的一个大致流程： RAG就像是为大型语言模型（LLM）配备了一个即时查询的“超级知识库”。这个“外挂”不仅扩大了模型的知识覆盖范围，还提高了其回答特定领域问题的准确性和时效性。 想象一下，传统的LLM像是一个博学多才但记忆力有限的学者，它依赖于
之前三金有介绍过一款搭建私人 AI 知识库的开源产品——FastGPT，使用过一段时间之后发现在上传本地文件时偶尔会失败，而且只有付费版才可以使用 Web 站点同步功能，所以也就萌生了再找找平替产品的念头。 在花费了大量时间在 Github 畅游之后，Dify 出现了～ 那么 Dify 是什么呢？ 它是一个开源的 LLM 应用开发平台。包含 AI Workflow、RAG、模型管理以及可观测性功能等，即使是小白也能快速使用 Dify 搭建一款 AI 产品。 它拥有以下 7 个核心功能： * 工作流：我们可以在 Dify 提供的画布上快速构建出一个可以执行自动化任务的 AI 应用； * 支持大多数市面上流行的 AI 模型：包括 ChatGPT、Mistral、Llama3 以及通义千问等； * 直观简洁的界面，可以用于制作提示、比较模型性能以及向基于聊天的应用程序添加文本转语音等附加功能；
商业人工智能和大型语言模型 (LLM) 有一个很大的缺点：隐私。在处理敏感数据或专有数据时，我们无法从这些工具中获益。因此，我们需要了解如何在本地运行私人 LLM。开源模型提供了一种解决方案，但它们也有自己的挑战和优势。 设定期望值 开源软件种类繁多，有数以千计的模型可供选择，从 Meta 等大型组织提供的模型到个人爱好者开发的模型，各有不同。然而，运行这些模型也面临着一系列挑战： * 它们可能需要强大的硬件，须拥有足够的内存和一个 GPU * 尽管开源模型在不断改进，但它们的功能通常仍无法与 ChatGPT 等更完善的产品相提并论，因为 ChatGPT 得益于庞大的工程师团队的支持。 * 并非所有模型都能用于商业用途。 不过，正如同谷歌的一份文件所指出的，开源和闭源模型之间的差距正在缩小。 Hugging Face 和 Transformers Hugging Face 相当于机器学习和人工智能的 Docker Hub，提供了大量开源模型。并且，Hugging Face 会定期对模型进行基准测试，并提供排行榜，帮助用户选择最佳模型。
2025新年伊始，今年将是“Agentic系统之年”，“2025将会出现真正Agent”，时不我待，请签收属于你的AI Agents技术栈综述。 理解AI Agents生态 尽管我们看到了大量关于Agent栈和市场的分类图，但我们往往不同意它们的分类方式，发现它们很少反映开发者实际使用的。在过去几个月中，随着在内存、工具使用、安全执行和部署方面的进步，Agent软件生态系统有了显著的发展，因此，能够真正落地的“Agent技术栈（agent stack）”应该是怎样尼？ AI Agents技术栈，被组织成三个关键层：Agent托管/服务、Agent框架，以及LLM模型和存储。 从LLM到LLM Agent 在2022年和2023年，我们看到了LLM框架和SDK的兴起，比如LangChain（2022年10月发布）和LlamaIndex（2022年11月发布）。同时，我们也看到了几个“标准”平台的建立，这些平台通过API消费LLMs以及自部署LLM推理（vLLM和Ollama）。 在2024年，我们看到了对AI“Agent”的兴趣急剧转变，更广泛地说，是对复合系统的兴趣。
早上刷微博看到@酱紫表分享他第一次在本地跑大模型，看得我手痒，于是在我这台 Mac Studio 上也安装跑了下。 安装过程很简单，一个软件，一行命令，就可以在 Mac 上使用大语言模型对话，就像用 ChatGPT 一样，而且 Mac 断网也可以用。 下面分享一下过程。 安装 Ollama Ollama 是一款可以让电脑本地运行大语言模型（LLM）的工具，所以第一步是安装 Ollama。 打开官网 ollama.com，点 Download↓下载，然后选择 macOS 版下载即可。 把下载的 .app 文件放到「应用程序」文件夹即是安装（小羊驼🦙图标好可爱）。 第一次打开 Ollama 会提示安装命令行工具（Ollama 本身并没有 GUI（
利用周末的时间，在自己的笔记本电脑上部署一个本地大模型，过程也记录下来分享给对此有兴趣的朋友们。 【步骤】 模型相关的基础概念这里不多赘述了，直接进入实战。 整个部署过程分为三个步骤： 步骤一：下载ollama大模型工具 步骤二：在ollama工具中，下载通义千问大模型 步骤三：下载AnythingLLM并配置选择ollama的通义千问模型，直接在窗口对话 ※文末打包了本次部署的所有安装文件 【逐步骤讲解】 官网下载ollama https://ollama.com/download 安装后启动ollama 命令行窗口，敲入命令ollama list，此时显示没有任何大模型，开始去下载 下载大模型，阿里千问 0.5b （5亿参数） ollama run qwen:0.5b 特意一早爬起来 ，网速快得飞起。小400M不到一分钟下载完成。 下载完成后，简单问一个小问题，看看反应如何？ 0.5b是通义千问最小的一个模型，安装在普通笔记本上，反应速度还可以。返回的内容也还行，自己做练习搞点小研究足够了。
大模型
你是否曾想过，如果有一个工具，能够理解你的意图并自动执行复杂的网络数据抓取任务，那会怎样？ScrapeGraphAI[1] 就是这样一个工具，它利用最新的人工智能技术，让数据提取变得前所未有地简单。 ScrapeGraphAI 是一个用于网络抓取 Python 库，它使用大语言模型（LLM）和直接图为网站、文档和 XML 文件创建抓取管道。只需说出您想要提取哪些信息，它就会为您完成！ 工具特点 * 简单易用：只需输入 API 密钥，您就可以在几秒钟内抓取数千个网页！ * 开发便捷：你只需要实现几行代码，工作就完成了。 * 专注业务：有了这个库，您可以节省数小时的时间，因为您只需要设置项目，人工智能就会为您完成一切。 快速开始 在线示例 1.官方 Streamlit https://scrapegraph-ai-demo.streamlit.app/ 2.Google Colab https://colab.research.