大模型

轻松搭建代码大模型：Ollama本地部署一触即达

CodeGeeX4-ALL-9B作为最新一代CodeGeeX4系列模型的开源版本发布后，很多用户对这次更新的CodeGeeX插件支持本地模式非常感兴趣，都希望能够在本地部署CodeGeeX4-ALL-9B，然后通过本地模式接入CodeGeeX插件中来使用代码补全和智能问答的功能。 CodeGeeX4-ALL-9B这次也专门适配了GGUF，今天我们详细介绍只用简单的一招，不用考虑环境和依赖，通过Ollama跑起来本地的CodeGeeX代码大模型。首先我们需要用到的Ollama也是一个开源项目，是在本地快速跑各种开源大模型的最优选择之一。CodeGeeX4-ALL-9B在开源后不到24小时就获得了Ollama的支持，目前通过Ollama下载已经超过了6000次+。 安装使用的过程非常简单，跟着下面的教程，大家也可以一起来体验： 首先，把Ollama开源项目一键安装在自己的电脑上。建议安装Ollama0.2或更高版本。MacOS和Windows都有一键安装包。Linux也只需要执行一行命令。 安装完成后，打开终端，输入ollama，能看到这些信息就说明Ollama已经安装成功。 接

一文读懂DeepSeek-R1本地部署配置要求（建议收藏）

发布[把AI带回家：DeepSeek-R1本地部署指南！再也不怕宕机了！！]后，有不少读者私信询问本地部署DeepSeek-R1的电脑配置要求。 收到，本文来一起看看DeepSeek-R1每个版本的配置要求及适合场景。 根据 Ollama 平台提供的 DeepSeek-R1 模型信息，以下是不同参数量模型的本地部署硬件要求和适用场景分析。 注：部分数据基于模型通用需求推测，具体以实际部署测试为准。 1. DeepSeek-R1-1.5B * CPU: 最低 4 核（推荐 Intel/AMD 多核处理器） * 内存: 8GB+ * 硬盘: 3GB+ 存储空间（模型文件约 1.5-2GB） * 显卡: 非必需（纯 CPU 推理），若 GPU 加速可选 4GB+ 显存（如 GTX 1650） * 场景:

5分钟部署deepseek，逆天傻瓜式三步快速打造本地大模型

DeepSeek，如此亲民，逆天了！ AI的世界瞬息万变，来晚一步，都翻天覆地！ 来，跟上快速3步5分钟，打造本地大模型！ 第一步：下载安装 Ollama 网址：https://ollama.com/ _Ollama是_一个专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的开源框架。你可以把Ollama看作是一个装LLM的容器。 下载后，直接运行OllamaSetup 安装，然后下一步下一步，就可以了。电脑右下角出现小猪猪，就已经启动啦。 第二步：下载安装deepseek 在Ollama的网站上，选择模型：deepseek-r1 根据自己的设备容量选择合适的版本，一般我们选择1.5b版 复制 ollama run deepseek-r1:1.5b，到cmd窗口回车，就自动安装了！ OK，你的本地大模型就已经装好了，可以来试试啦。 第三步：安装WebUI 如果你不喜欢命令行的方式，

LangGraph进阶：手把手教你打造电影脚本AI

LangGraph是著名的大模型开发框架LangChain推出的用于构建基于复杂工作流的LLM应用的开发库。LangGraph把任务的节点与关系用Graph结构来定义以支持更多样更复杂的应用场景，特别是： * 实现包含循环、迭代等复杂工作流的高级RAG范式 * 需要更灵活控制的Agent应用，如指定Tool、增加人机交互等 * 多智能体系统（Multi-Agent System）的构建 我们在之前的文章中曾经介绍过LangGraph实现C-RAG，本文将分享一个如何使用LangGraph构建一个创作电影场景与脚本的多智能体应用。 关于多智能体系统 AI智能体是一个基于大模型的具备自我感知、规划与行动能力的AI应用。而多智能体系统（MAS）顾名思义就是由多个AI智能体构成，通过相互关联与协作共同完成任务的智能体系统。 MAS可以是每个智能体有自己独立的LLM、提示词、Tools或者其他自定义代码，用来与其他智能体协作，比如一个虚拟的AI软件公司，可以由多个独立的LLM智能体来担任架构师、程序员、测试人员等多个角色；也可以是一个LLM在不同的提示下扮演不同的

在本地跑一个大语言模型(3) - 让模型自主使用工具

在前两篇文章里，我们已经介绍了如何在本地运行Ollama以及如何通过提供外部数据库的方式微调模型的答案。本篇文章将继续探索如何使用“函数调用(function-calling)”功能以扩展模型能力，使其在“智能”的道路上越走越远。 function-calling介绍 根据OpenAI官方文档，function-calling是使得大型语言模型具备可以连接到外部工具的能力。简而言之，开发者事先给模型提供了若干工具（函数），在模型理解用户的问题后，自行判断是否需要调用工具以获得更多上下文信息，帮助模型更好的决策。 举个例子：在[上一篇文章])我们是利用Document loaders将事先准备好的文本作为上下文提供给模型，而使用function-calling以后，我们只要提供一个“搜索函数”作为工具，模型即可自己通过搜索引擎进行搜索然后得出答案。 得益于最新的模型训练，现在的模型既能够检测何时应调用函数（取决于输入），还能够以比以前的模型更贴近函数签名的方式响应 JSON。 用途 function-calling有什么用？官网给出3个例子： * 创建通过调用外部 A

DSPy实战：三十分钟无痛上手自动化Prompt框架

前言： 伴随着LLM模型的发展，一个优秀的Prompt对于任务成功起到了关键的作用。但目前大模型使用中的Prompt调优愈发成为一个痛点问题。如何优雅的解决这个痛点？ DSPy框架的出现使自动生成解决复杂问题的Prompt成为了现实。 只需输入你的问题，Prompt的调整，思维链，知识库等使用全部交由框架自动执行，最终给出一个令人满意的结果，并且这一切过程都可以被查看。 DSPy作为一个高效的自动化Prompt框架，为开发者提供了强大的工具，简化了复杂的Prompt生成和管理过程。本教程将带您在三十分钟内快速上手DSPy，帮助您轻松实现自动化Prompt的创建和优化。 为了帮助读者更深入的理解框架使用，笔者在官方教程之外还会额外增加自定义数据的教程，注意官方教程代码块命名为Repo-office， 自定义数据代码块命名为Repo-custom，两个代码块功能如未特别说明则完全一致。 本文面向的读者主要是有一定编程基础，特别是对自然语言处理感兴趣的开发者。无论您是技术小白还是资深开发者，都可以通过本文了解并掌握DSPy的基本使用方法。 一：DSPy介绍 DSPy 是一款

轻松上手Spring AI：开启全民大模型运行新篇章

springAI初体验 让人人都能跑大模型 Spring AI是一个旨在简化开发包含人工智能功能的应用程序的项目。它受到Python项目如LangChain和Llama Index的启发，但并非这些项目的直接移植。Spring AI的核心理念是为开发AI应用程序提供基础抽象，这些抽象有多个实现，使得在不同实现之间轻松切换组件，且代码更改最小化。 他们的设计理念是：为开发人员提供一个抽象接口，为将生成式AI作为独立组件纳入应用奠定基础 目前支持所有主要的模型提供商，如OpenAI、Microsoft、Amazon、Google和Huggingfac 这个文章将带你体验一下他与Ollama大模型的结合。 有兴趣的可以先去了解一下官方文档。 话不多说，我们直接进入实战环节。 因为这个是一个比较新的包。所以我们需要按照官方文档的提示，首先放入代码仓库地址 <repositories> <repository> <id>spring-milestones</id> <name>Spring Milestones</name> <ur

RAG大模型入门与实践：掌握核心技术的全面指南

前言 在大语言模型（LLM）飞速发展的今天，LLMs 正不断地充实和改进我们周边的各种工具和应用。如果说现在基于 LLM 最火热的应用技术是什么，检索增强生成（RAG，Retrieval Augmented Generation）技术必占据重要的一席。RAG 最初是为了解决 LLM 的各类问题的产生的，但后面大家发现在现阶段的很多企业痛点上，使用RAG好像是更好的解决方案。在介绍 RAG 之前，我们先来看一下现在LLM存在的问题。 LLM的问题 尽管LLM拥有令人印象深刻的能力，但是它们还面临着一些问题和挑战： * 幻觉问题：大模型的底层原理是基于概率，在没有答案的情况下经常会胡说八道，提供虚假信息。 * 时效性问题：规模越大（参数越多、tokens 越多），大模型训练的成本越高。类似 ChatGPT3.5，起初训练数据是截止到 2021 年的，对于之后的事情就不知道了。而且对于一些高时效性的事情，大模型更加无能为力，比如帮我看看今天晚上有什么电影值得去看？这种任务是需要去淘票票、猫眼等网站先去获取最新电影信息的，

抢先体验AI领域的新宠儿：Llama3.1，部署实战探索！

本文简介 就在今天，Meta 发布了 Llama 3.1，这次带来的中杯、大杯和超大杯3个版本。 从纸面数据来看，Llama 3.1 超大杯已经能跟 GPT-4 Omni、Claude 3.5 Sonnet 分庭抗礼了。 而中杯和大杯更是将同量级的对手摁在地上摩擦。 要知道，Llama 的对手可是闭源模型啊工友们！ 小扎同志说，开源AI会成为行业的标准，就像Linux一样！ 不管怎么说，既然你开源了，那我就在本地部署起来吧。 本文使用 Ollama 在本地运行大语言模型，它不止能运行 Llama 3.1 ，还支持阿里的 qwen2 等开源模型。 同时借助 OpenWebUI 的帮助，让你可以在图形化界面里跟 Llama 3.1 聊天互动。 安装

大模型

Llama 3.1本地部署指南：Ollama、OpenWeb UI与Spring AI

本文介绍如何使用 Ollama 在本地部署 Llama 3.1:8B 模型，并通过 OpenWeb UI 和 Spring AI 来增强模型交互体验和简化 API 的调用过程。 Ollama Ollama 是一个开源的大语言模型服务工具，旨在简化大模型的本地部署和运行过程。用户只需要输入一行命令（如： ollama run llama3.1 ），即可在本地硬件环境中部署和使用大语言模型。Ollama 还提供了 REST API 接口，下文中会介绍如何使用 Spring AI 集成 Ollama，实现与大模型 API 接口的交互。 Ollama 支持下载 Llama、Gemma、qwen 和 glm4 等多种主流大语言模型和代码语言模型，我们可以在