大模型

实战指南：利用LangChain构建高效意图识别系统

基于LangChain的意图识别实践 简短回顾 Lumos! 🪄 Lumos 擅长于大型语言模型（LLM）所擅长的任务，比如： * 摘要新闻文章、论坛帖子与聊天历史 * 关于餐厅和产品评价的查询 * 提取来自密集技术文档的细节 Lumos 甚至帮我优化了学习西班牙语的过程。该应用的操作逻辑极其方便。随着我不断深入使用这个应用，我也渐渐发掘出用LLM在浏览器中的新奇用法。 重建计算功能 🧮 在处理文本任务时，LLM 既有创意又灵巧。但它们的设计原则不是基于确定性[Andrej Karpathy 曾将大型语言模型形容为 “dream machines”]。因此，像 456*4343 这样简单的运算，LLM无法通过预测模型给出正确的回答。对于一个包含众多数值和符号的复杂方程，即便是最高级的模型也可能力不从心。 456*4343 — 56/(443-11+4) 等于多少？ LLMs 在处理特定任务时需要借助额外的工具，比如执行代码或解决数学问题等。Lumos 也是如此。我不记得为什么需要在浏览器里快速使用计算器了（或许是计算税收？），但我知道我不想拿出手机或另开一

To B最容易落地的Agent场景：DataAgent

引言 随着AI浪潮的奔涌而来，企业之间（B2B）的竞争越来越激烈，企业也在不断寻求利用先进的技术来提升效率、降低成本并增强竞争优势。其中，Agent技术以其灵活性和智能化成为2B市场的一大亮点。Agent技术，尤其是数据分析Agent，正在重新定义企业如何处理和分析大量数据，以便更好地理解市场动态、客户需求和业务运营。 数据分析与商业智能(BI)在中大型企业的日常运营中的重要性毋庸置疑，无论是基本的财务数据分析，还是涵盖了对复杂的客户和运营数据进行深入洞察的需求，都需要借助专业的工具。传统BI工具使用门槛高、过度依赖技术部门、结果产出周期长的问题在AI时代可以借助大模型的能力得以缓解。 基于大模型的数据分析助手(Data Agent)，可以以自然语言处理的方式进行数据分析任务，无需深入了解复杂的查询语言或编程技巧。这些Data Agents能够将自然语言指令转换为具体的数据操作，如API调用、数据库查询，甚至编写专门的数据分析脚本，实现数据的提取、分析和结果的可视化。这种方法的底层架构和工作原理将AI的先进能力与数据分析需求进行结合，可以降低BI工具的使用门槛，加快洞察的获取速度

llama3微调非常详细，收藏我这篇就够了

本教程基于RockyLinux8版本，著于2024年5月21日。机器单机4090Ti 24G显存。 训练时候GPU使用23G左右。 1. 下载中文模型 下载训练好的llama3-8B版本中文模型 地址：[huggingface.co/shenzhi-wan…] 放置在：/data/dataset/model/llama3/8b-chinese-chat 2. 使用llamafactory微调和部署 # 建立存放目录 mkdir -p /data/dataset/project cd /data/dataset/project # 注意版本是： v0.6.1 （不同版本区别还是很大） git clone https://github.com/hiyouga/LLaMA-Factory.git cd /data/dataset/project/LLaMA-Factory-0.6.1

打造个人AI大模型：本地电脑部署全攻略

前言; 现在的ai很多，让我看得有些眼花缭乱，随着ai的发展，现在已经有很多ai的大模型已经支持开源，所以现在支持部署一个大模型在自己电脑上，数据私人化。 如果不知道自己是否需要或者是否合适配置可以跳到本文的结尾查看小编的使用感受。 正文： 首先打开开源网站github，大家自行百度就好 然后用到现在非常火的ollama这个开源项目，项目地址是 https://github.com/ollama/ollama 各位可以直接打开，然后里面有他们的项目介绍，还有直达官网的链接，然后自行选择下载对应的版本。 安装好后可以在win加r输入cmd调出命令行窗口输入ollama进行查看ollama是否安装成功，如果安装成功则会跳出以下界面，但是这时候还没有下载大模型，所以还不能直接使用 所以当你要选择模型下载的时候可以回到ollama的官网右上角处有模型的选项，点击后就可以选择开源的模型 点击后就可以筛选大模型，然后每个大模型其实会有不同的版本，对应需要的空间也不同，大家可以自行根据自己的电脑配置进行选择，然后右边就是它的下载代码，只需要把它粘贴到刚才的命令行窗口即可。

Spring AI集成Ollama+llava:7b：实战探索大模型的多模态应用

前面的文章介绍的基本上都是单一数据格式的输入处理，比如输入文本输出文本的Chat模型、输入文本输出图片的图片模型、输入文本输出音频的模型等。本篇文章将介绍如何实现同时处理多种类型的数据格式？ 什么是多模态 多模态是指模型同时理解和处理来自各种来源的信息的能力，包括文本、图像、音频和其他数据格式。 人类同时处理多种数据输入模式的知识。我们的学习方式，我们的经验都是多模态的。我们不仅有视觉，只有音频和文本。 现代教育之父约翰·阿莫斯·夸美纽斯在其著作中提到; “All things that are naturally connected ought to be taught in combination” “所有自然联系的事物都应该结合起来教授” 但是机器学习方法通常集中在为处理单一模式而量身定制的专用模型上。与人类的学习行为是相反的，然而新一波的多模态大型语言模型开始出现。多模态大型语言模型 （LLM） 功能使模型能够与其他模态（如图像、音频或视频）一起处理和生成文本。 Spring AI 集成哪些多模态大模型 * OpenAI * gpt-4-visual-p

大模型

Ollama：本地大语言模型解决方案

在人工智能领域，大语言模型（LLM）因其在自然语言处理上的强大能力而备受瞩目。然而，这些模型往往需要大量的计算资源和网络连接，限制了它们在本地环境的应用。Ollama 的推出，为这一问题提供了解决方案。作为一个开源平台，Ollama 允许用户在本地机器上轻松设置和运行 LLM，简化了整个流程，使得本地部署语言模型变得更加可行和高效。 简介 Ollama 是一个开源的人工智能模型项目，专注于开发高质量的语言模型。该项目的目标是使先进的自然语言处理技术更加普及和易于获取，同时促进研究社区的合作与创新。Ollama 项目提供了多种语言模型的训练代码、数据集以及预训练好的模型权重，以便研究人员和开发者能够快速构建和部署自己的语言生成应用。 Ollama 的核心特性 开源与易用性 Ollama 的最大优势之一是它的开源性质。这意味着开发者社区可以共同参与到平台的开发和优化中来，同时也保证了软件的透明度和可定制性。Ollama 的易用性体现在它简化了下载、安装和与 LLM 交互的过程。用户只需通过简单的命令行操作，即可在本地机器上启动和运行模型。 REPL交互环境 Ollama

多模态大模型Llama 3.2 发布！站起来了

AI大模型前沿 今天凌晨，大新闻不断。一边是 OpenAI 的高层[又][又][又]动荡了，另一边被誉为「真・Open AI」的 Meta 对 Llama 模型来了一波大更新：不仅推出了支持图像推理任务的新一代 Llama 11B 和 90B 模型，还发布了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。 不仅如此，Meta 还正式发布了 Llama Stack Distribution，其可将多个 API 提供商打包在一起以便模型方便地调用各种工具或外部模型。此外，他们还发布了最新的安全保障措施。 真・Open AI 诚不我欺！各路网友和企业都纷纷激动地点赞。要知道，现在距离

基于ollama搭建本地大模型，保姆级教程手把手教会你

基于ollama搭建本地大模型 * 效果图 下载安装ollama 官网地址： 选择适合自己的系统 win直接安装即可，linux运行以下命令 curl -fsSL https://ollama.com/install.sh | sh win环境配置，增加环境变量 1. 增加host变量 1. 更改模型位置配置（可选） 建议使用默认位置，即 C:\Users{用户}.ollama\models 如果安装到其余盘符，则会产生大量的磁盘IO，影响生成速度。 1. 环境变量增加完成后记得重启ollama 运行模型 选择合适的模型运行对应的命令 如 ollama run gemma:2b 则会自动下载模型到本地，下载完成浏览器访问localhost:11434出现如下信息说明安装完成 chat界面 * 项目地址： * 运行环境需要node版本 > 18 * 下载之后当前目录执行npm

详尽指南：在本地电脑上使用Ollama部署大模型及安装Chatbox

某些场景下可能希望构建一个完全本地离线可用的大模型，方法很多，模型也很多，比如 qwen、qwen2、llama3等，最简单快捷的首推使用 ollama 部署，模型选用 qwen 或 qwen2，针对中文任务效果更好。 首先下载 ollama 双击安装(277MB) ollama下载地址： [www.ollama.com/download] 下载后双击安装 安装完毕后打开命令行黑窗口 开始菜单中找到命令提示符，点击打开 或者随便打开任意一个文件夹，然后在文件夹地址栏中输入 cmd 按回车。 都能打开一个黑窗口 找到想要使用的模型，推荐 qwen系列 打开这个网址  可以选择要使用的模型 比如使用 qwen，点击进入后，会看到如下 点击下拉框，可选择模型版本列表，4b 代表该模型有40亿参数，当然参数越大效果越好，但同样也要求你的电脑配置越高，不够高的话不仅运行慢，还可能卡死机。

在4GB显存限制下构建LLM基础开发环境指南

有 nvidia 4GB 显存的设备，就可以搭建一个用于 LLM 的基本开发环境。 比如这里使用的是 NVIDIA GeForce GTX 1650, 4GB 显存。 另外，经测试也能运行在 NVIDIA GeForce GTX 3050 4GB 笔记本上。 基本思路 * 消耗显存主要是 * LLM，大语言模型，如果使用 Qwen2:1.5b，大约消耗 2GB，如果是 Qwen2:0.5b，则更小 * embedding，嵌入模型，bge-large-zh-v1.5@f16, 大约消耗 1.2GB * 基础开发环境用于测试程序是否能跑通，因此可以先用本地小模型 * 如果需要更大的模型，可以再使用云端模型 * 切换本地模型和云端模型很容易，

RAG Flow搭建AI医疗助手，附带完整教程+源码

在搭建AI医疗助手时，RAGFlow平台提供了一个便捷高效的方法。通过RAGFlow，你可以快速创建一个医疗问诊助手。该平台提供了智能问答系统，能提供基于证据的准确回答，非常适合构建医疗客服系统。此外，RAGFlow允许用户通过自定义模型和工作流来创建符合特定需求的AI助手。 开源的RAG引擎：RAGflow 在当今科技飞速发展的时代，人工智能（AI）已经成为各行各业不可或缺的一部分。特别是在文档处理和数据分析领域，AI的应用更是无处不在。今天，我要向大家介绍一个开源的AI框架引擎——RAGflow。它能够在深度文档理解方面执行检索增强生成（Retrieval-Augmented Generation，简称RAG），并且被认为是目前最优秀的RAG框架之一。本文将详细探讨RAGflow的创新功能、技术特点以及如何在实际应用中发挥其最大潜力。 原理： RAGFlow是一个基于对文档深入理解的开源 RAG（检索增强生成）引擎。它的作用是可以让用户创建自有知识库，根据设定的参数对知识库中的文件进行切块处理，用户向大模型提问时，RAGFlow先查找自有知识库中的切块内容，接着把查找到的

大模型

【轻松上手】手机部署Phi3与Llama3最新大模型：完整攻略！

大模型无疑是此次AI革命的主角，大模型基于Scaling Law（缩放定律）。简单的说，就是数据越多，参数越大，算力越强，模型最终的能力就越强。随着模型参数和预训练数据规模的增加，模型能力与任务效果不断改善，展示出了一些小规模模型所不具备的“涌现能力”。 随着大模型时代的逐步来临，以ChatGPT为代表的前沿大模型技术正逐步在经济、法律、社会等诸多领域展现其重要价值。与此同时，众多AI企业纷纷推出开源大模型，其规模正遵循扩展定律实现指数级增长。 然而，**一个不可忽视的趋势是，大模型的体积正在逐渐精简，使得私有化部署成为可能。这一需求显得尤为重要，特别是在对个人隐私保护要求极高的场景中。**想象一下，一个能够深入了解你各类数据的AI机器人，在无需联网传输数据的情况下，直接在你的设备上运行并为你提供决策支持，这无疑大大增强了用户的信任。而如果这种AI只存在企业的“云服务器”上，尽管性能更强，但安全性及可靠性就堪忧了。 **本文在此会介绍几个适合私人部署的最新大模型，然后手把手部署到电脑及手机。**不过，丑话说在前，现阶段不要对“本地私有部署的大模型”有过高的期待哈。那我们开始吧！