大模型

使用 ollama 在本地试玩 LLM大模型（附教程）

在 chatGPT 的推动下。LLM 简直火出天际，各行各业都在蹭。听说最近 meta 开源的 llama3 模型可以轻松在普通 PC 上运行，这让我也忍不住来蹭一层。以下是使用 ollama 试玩 llama3 的一些记录。 什么是 llama LLaMA（Large Language Model Meta AI）是Meta开发的大规模预训练语言模型，基于Transformer架构，具有强大的自然语言处理能力。它在文本生成、问答系统、机器翻译等任务中表现出色。LLaMA模型有多个规模，从几亿到上千亿参数，适用于不同的应用场景。用户可以通过开源平台如Hugging Face获取LLaMA模型，并根据需要进行微调。LLaMA的灵活性和可扩展性使其在自然语言处理领域具有广泛的应用前景。 什么是 ollama Ollama是一款用于本地安装和管理大规模预训练语言模型的工具。它简化了模型的下载、安装和使用流程，支持多种流行的模型如GPT-4和llama。Ollama通过易于使用的命令行界面和API，帮助用户快速部署和运行自然语言处理任务。它还支持多GPU配置和模型微调，适应各种计算

Zed AI + Ollama：最强开源AI代码编辑器，轻松配置本地LLM模型

最近，我介绍了 Zed AI，它是一款非常好的带有 AI 功能的代码编辑器，与 Cursor 很相似，但它是开源的。 如果你还没看过那篇文章，我来快速总结一下：Zed 是一款开源编辑器，据称比 VS Code 更快、更好，总体上非常优秀。它还是开源的，这很酷，最近，他们在编辑器中添加了 AI 功能，使它非常类似于 Cursor。 它兼容多个提供商，你可以使用 API 密钥进行配置。此外，他们还提供免费试用 Claude 3.5，我之前已经介绍过如何免费使用并通过 API 配置。 不过我没讲的是如何将其与 Ollama 模型一起使用。 因此，今天我将向你展示如何使用 Ollama 模型。 首先，让我们安装

保姆级教程：使用ollama本地部署开源大模型

chatGPT 刚出来没多久的时候，openai 时不时的限制使用频率，当时我想要是能本地部署一个大模型，无限制的使用该多好哇。后来有很多团队/公司陆陆续续在 github 开源了他们自己训练的大模型，但是部署使用的操作门槛比较高，曾经试图部署过一个，报了几个错也没时间折腾就放弃了 前几天我发现了一个叫 ollama 的项目，根据介绍，一条命令就能跑起来一个大模型，因此实际体验了一下，项目地址： https://github.com/ollama/ollama 先说一下使用体验，极其丝滑，完全没有报错，感觉就像是刚开始学 web 安全，需要自己搭漏洞复现环境的我，遇到了 vulhub 这个项目哈哈哈哈 接下来是部署指南： 首先去 github 的 release 页面下载一个编译好的程序并安装 https://github.com/ollama/ollama/releases 安装好之后直接在命令行执行ollama run llama2就会自动去下载并运行

搭建个人知识库 | 手把手教你本地部署大模型

一、引言 今天给大家分享的是手把手教你如何部署本地大模型以及搭建个人知识库 读完本文，你会学习到 * 如何使用Ollama一键部署本地大模型 * 通过搭建本地的聊天工具，了解ChatGPT的信息是如何流转的 * RAG的概念以及所用到的一些核心技术 * 如何通过AnythingLLM这款软件搭建完全本地化的数据库 虽然我们大多数人不需要在自己部署大模型，但是我期望在本文的帮助下，能够带你手把手折腾一遍。 这样在使用任何软件的时候，可以做到知其然，知其所以然。 二、你的硬件达标了么 所有人都会手把手教你部署XX大模型，听起来很诱人，因为不需要科学上网，不需要高昂的ChatGPT会员费用。 但是在开启下面的教程之前，我希望你能有个概念：运行大模型需要很高的机器配置，个人玩家的大多数都负担不起 所以：虽然你的本地可能可以搭建出一个知识库，但是它不一定能跑的起来 下面我通过一组数据来让大家有个感性的认知。以下文字来源于视频号博主：黄益贺，非作者实操 生成文字大模型 最低配置：8G RAM + 4G VRAM 建议配置：16G RAM +

【大模型部署】Window上使用Ollama和MaxKB部署本地AI

前导 Ollama是一个本地部署大语言模型并运行的开源项目 MaxKB是一个用于管理本地大语言模型且能前端显示的开源项目 需要使用到Docker 一：下载Ollama Ollama官网： cmd下输入ollama验证是否部署成功 二：在ollama网站上搜索想部署的模型并部署 这里以通义千问(qwen)为例 在cmd下ollama run qwen:4b qwen代表模型名称 4b代表有4百亿模型参数，b means billion 数字越高，训练的模型参数越多 看到下面的结果表示部署成功，可在命令行进行对话 ollama list 用于显示本地有几个模型 ollama run 后面跟要运行的模型 ollama rm 后面跟要删除的模型 三、使用MaxKB在浏览器交互 在docker下进行MaxKB部署： 浏览器中输入本地ip和端口8080,进入页面 用户名: admin 密码: MaxKB@123… 进入 系统设置-模型设置-添加模型-添加Ollama 四、部署一个简单的chat实例 点击

大模型

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等

🌟解锁 GraphRAG 的力量：用于高级语义搜索、嵌入、矢量搜索等的终极 RAG 引擎！ github：https://github.com/microsoft/graphrag Hi，这里是Aitrainee，欢迎阅读本期新文章。 我刚刚发现了目前最好的完全开源的RAG系统，微软AI推出的GraphRAG。GraphRAG是一个数据管道和转换套件，利用各种大型语言模型的强大功能，从非结构化文本中提取有意义的结构化数据。 在介绍GraphRAG之前，我需要解释一下RAG的基本概念。 RAG（Retrieval-Augmented Generation）是一种自然语言处理方法，通过外部知识增强现有的大型语言模型，以便在回答需要特定知识的问题时，提供更相关的答案。 这种方法被广泛使用，因为它不仅是最经济实惠的方法，还能减少大型语言模型的幻觉倾向，使生成的内容更贴近上下文信息。 除了用于问答，RAG还可以用于很多自然语言处理任务，例如从文本中提取信息、推荐、情感分析和摘要，这些都可以在私有本地存储中完成。那么，GraphRAG和传统的基准RAG系统有何不同呢？ Graph

macOS + Ollama + Enchanted，本地部署最新 Llama3（附教程）

4月19日，Meta开源了大模型Llama3，并在多项指标上超越了现有最先进的大模型。Ollama社区也同步新增 Llama3 的支持。接下来，我们将在MacBook Pro上部署Llama3，让大家在本地体验最强开源大模型。 硬件设置，MacBook Pro (2019款)，Intel CPU，8 Core，16GB内存。 具体步骤： * 安装Ollama * 下载Llama3 * 安装Enchanted 安装Ollama Ollama大家都比较熟悉了，安装非常方便，有macOS独立安装包。下载，解压，安装。 下载链接 安装完成后，会提示命令行：ollama run llama2，可以拷贝一下。但是注意要下载llama3，而不是llama2. 下载Llama3 进入 Terminal，执行（把llama2改为llama3）:ollama run llama3。下载需要等待一段时间，具体取决于网络速度。 Terminal

Ollama: LLM私有化部署工具（附教程）

概述：Ollama 基本介绍： Ollama * Ollama是一个支持在Windows、Linux和MacOS上本地运行大语言模型的工具。 它允许用户非常方便地运行和使用各种大语言模型,比如Qwen模型等。 用户只需一行命令就可以启动大语言模型。 主要特点 * 跨平台支持Windows、Linux、MacOS系统。 * 提供了丰富的模型库,包括Qwen、Llama等1700+大语言模型,可以在官网model library中直接下载使用。 * 支持用户上传自己的模型。 用户可以将huggingface等地方的ggml格式模型导入到ollama中使用。 也可以将基于pytorch等格式的模型转换为ggml格式后导入。 * 允许用户通过编写modelfile配置文件来自定义模型的推理参数,如temperature、top_p等,从而调节模型生成效果。 * 支持多GPU并行推理加速。 在多卡环境下,可以设置环境变量来指定特定GPU。 * 强大的技术团队支持，很多模型开源不到24小时就能获得支持。 总的来说,Ollama降低了普通开发者使用大语言模型的门

实战本地电脑部署 DeepSeek-R1

继昨天安装好最新版Ollama后，今天如约进行了本地版 DeepSeek-R1 的安装和运行。 下面，以像素级细节复盘这次安装过程。 吃过早饭，来到电脑桌旁，昨天晚上安装Ollama后没有关机，电脑依然是昨天晚上睡觉前的状态。 Windows系统的PowerShell窗口中，昨天晚上最后一条命令及其结果还显示在电脑屏幕上： C:\Users\…＞ollama -v ollama version is 0.5.7 一看之下，很手痒，就在键盘上输入了启动DeekSeek本地化安装的命令： C:\Users\…＞ollama run DeepSeek-R1 程序立即启动，我赶紧用手机拍下这一刻的屏幕画面。为了尽量不干扰安装程序的顺利运行，我没有使用截屏工具。 [图1] 安装很快就走过了中程，应该赶紧再拍一张照片。 [图2] 很快就到了98%，我眼睛盯着屏幕，手里准备拍照，生怕错过了什么。 [图3] 99%了，很快，见证历史的时刻(手动狗头)。 [图4] 100%

国产AI之光Deepseek-r1的本地化部署搭建方法

在AI领域，DeepSeek正如日中天的闪耀着令人瞩目的光芒，DeepSeek应用范围广泛，在多个行业的智能化发展有着广阔应用前景。并且，DeepSeek凭借其技术实力、开源理念及广泛的应用场景，已经在科技领域开辟出一片属于自己的天地。 那么，如何在本地化部署DeepSeek呢？ 以macOS为例，Windows可同理参照。 二 先下载ollama。 进入到ollama官网 https://ollama.com，直接点击download，download for macOS，下载完毕后正常安装。 三 下载模型。 在ollama官网顶部的搜索框里，输入“deepseek-r1”，结果页里默认选中的是“7b”模型，选择你想要的模型。 选择完毕后右边自动给出命令，直接点击右边的复制按钮复制命令，然后打开系统的终端命令行窗口，将复制的命令直接粘贴进去，并回车，即可开始下载。 下载的时长与网速有关。 下载完成后，既可以在终端窗口中开启聊天，也可以下载Chatbox进行聊天。 四 下载软件对接模型。 进入chatbox官网 https://chatboxai.app/z

本地部署DeepSeek R1最新大模型教程

欢迎来到关于本地部署DeepSeek R1模型的详细教程！本文将指导您如何在自己的电脑上设置并运行这个强大的AI模型，享受隐私保护、零成本使用的优势。 为什么选择本地部署？ 在本地运行AI模型如DeepSeek R1具有多个显著优势： * 隐私保护：您的所有数据都保存在您的设备上，避免了共享敏感信息的风险。 * 成本效益：DeepSeek R1可以免费使用，无需任何订阅或使用费。 * 控制自由：无需依赖外部服务，您可以自由进行模型的微调和实验。 第一步：安装****Ollama Ollama是我们在本地运行DeepSeek R1所依赖的工具，它为用户提供了一个简便的环境来管理和部署AI模型。 1. 访问Ollama官网：前往Ollama的官方网站，根据您的操作系统（macOS、Linux或Windows）选择并下载相应的安装包。 1. 安装Ollama： * 对于macOS用户：请确保您的系统是macOS 11 Big Sur或更新版本。 * 下载后，按照官网提供的安装指南进行安装。 点击下载 第二步：拉取Dee

大模型

Multi-Agent架构-CrewAI详解

在人工智能(AI)快速发展的今天，多智能体系统(Multi-Agent Systems, MAS)作为一种新兴的技术架构，正逐渐展现出其在解决复杂任务中的巨大潜力()。作为Multi-Agent Systems的一个杰出代表，CrewAI以其独特的设计理念和强大的功能，为构建高效协作的智能体团队提供了有力支持。本文将深入探讨CrewAI的基本概念、架构、关键组件以及其在多个领域的应用前景。 一、Multi-Agent Systems概述 Multi-Agent系统是由多个独立但相互协作的智能体组成的集合。这些智能体各自具备一定的智能和自治能力，能够通过相互通信、共享信息和协调行动来共同完成复杂任务。在语言模型和AI的背景下，Multi-Agent Systems被赋予了新的生命力，它们能够像人类团队一样，通过语言模型进行高效沟通，共同应对挑战（）。 CrewAI作为这一领域的佼佼者，专注于为开发者提供一个构建Multi-Agent应用的框架，旨在使AI智能体能够无缝协作，共同解决复杂问题。通过CrewAI，开发者可以轻松地构建出具有高级协作能力的智能体团队，从而在自动化、机器人、