您将深入了解大规模语言模型（如GPT、BERT等）的最新技术与应用。我们提供详细的技术解析、模型训练方法、优化技巧及行业应用案例，帮助您掌握大模型的开发与部署。无论您是AI领域的新手还是专业从业者，这里都能为您提供丰富的学习资源和实践经验，助力您在大模型技术的前沿领域获得竞争优势，推动人工智能的创新应用。
一、关于RAG 1.1 简介 检索增强生成（Retrieval-Augmented Generation，RAG）是一种结合了信息检索和语言模型的技术，它通过从大规模的知识库中检索相关信息，并利用这些信息来指导语言模型生成更准确和深入的答案。这种方法在2020年由Meta AI研究人员提出，旨在解决大型语言模型（LLM）在信息滞后、模型幻觉、私有数据匮乏和内容不可追溯等问题。 即：RAG 就是可以开卷回复的 LLM 1.2 发展 RAG技术的发展历程可以分为三个主要阶段： 1. Naive RAG：这是RAG技术的基础阶段，它包括了索引（Indexing）、检索（Retrieval）和生成（Generation）三个基本步骤。在这个阶段，RAG通过整合外部知识库来增强LLMs，但是存在一些限制，例如准确性低、召回低、组装prompt的问题以及灵活性问题。 1. Advanced RAG：为了解决Naive RAG的不足，Advanced
使用到的工具 * docker * oneapi + fastgpt * ollama 安装docker 已安装有docker的话跳过这一步 执行命令安装docker（一行一行执行） curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun systemctl enable --now docker 执行命令安装docker-compose（速度会比较慢） curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose chmod
你是否曾想过，如果有一个工具，能够理解你的意图并自动执行复杂的网络数据抓取任务，那会怎样？ScrapeGraphAI[1] 就是这样一个工具，它利用最新的人工智能技术，让数据提取变得前所未有地简单。 ScrapeGraphAI 是一个用于网络抓取 Python 库，它使用大语言模型（LLM）和直接图为网站、文档和 XML 文件创建抓取管道。只需说出您想要提取哪些信息，它就会为您完成！ 工具特点 * 简单易用：只需输入 API 密钥，您就可以在几秒钟内抓取数千个网页！ * 开发便捷：你只需要实现几行代码，工作就完成了。 * 专注业务：有了这个库，您可以节省数小时的时间，因为您只需要设置项目，人工智能就会为您完成一切。 快速开始 在线示例 1.官方 Streamlit https://scrapegraph-ai-demo.streamlit.app/ 2.Google Colab https://colab.research.
Llama 3.2-Vision 是一种多模态大型语言模型，有 11B 和 90B 两种大小，能够处理文本和图像输入，生成文本输出。该模型在视觉识别、图像推理、图像描述和回答图像相关问题方面表现出色，在多个行业基准测试中均优于现有的开源和闭源多模态模型。 本文将介绍开源的 ollama-ocr[1] 工具，它默认使用本地运行的 Llama 3.2-Vision 视觉模型，可准确识别图像中的文字，同时保留原始格式。 https://github.com/bytefer/ollama-ocr Ollama-OCR 的特点 * 使用 Llama 3.2-Vision 模型进行高精度文本识别 保留原始文本格式和结构 * 支持多种图像格式：JPG、JPEG、PNG * 可定制的识别提示和模型 * Markdown 输出格式选项 Llama 3.2-Vision 应用场景
大模型
前几天聊了个客户需求，客户基于 Dify 构建 RAG 服务，但是团队技术能力有限，RAG 的召回准确率不高，想找人帮忙调优。 刚好我们团队接手了这个案例，经过初步的模型调优、参数优化、Prompt 优化等操作，把准确率提升到90%以上。 在做 POC 的过程中，知识库文件太大，遇到了 Dify 向量空间已满的问题。 花费 59 美刀开通专业版做 POC，不是很有必要，索性本地部署 Dify，进行测试。 主要工具 Dify 是一款开源的大语言模型(LLM) 应用开发平台，拥有可视化的操作界面，结合了 AI 工作流、RAG 管道、代理功能、模型管理、可观察性功能等，可以快速从原型开发到生产。 Ollama 是一个开源的大模型管理工具，它提供了丰富的功能，
当大模型成本逐渐降低，可靠性提升后，这意味着越来越多的业务应用将会与 LLM 结合，为了让这种结合更加顺畅，需要有与现有基础设施相兼容的工具和框架来支撑 LLM 应用开发的快速开发 通用大模型性能评测参见： * github： * 在线报告： 一、应用开发平台Maas 1.1 阿里： * 应用构建工具: 插件中心, 流程编排, Prompt工程, RAG, Agent * 模型开发工具: 训练数据管理, 模型调优, 模型评测, 模型部署 1.2 百度： * 数据管理： 数据集、 数据标注、 数据处理、 数据回流 * 应用工具： 插件编排[对话类、生成类、编排类]、 RAG、 Prompt模板、 Prompt优化、 Prompt评估 * 模型调优： 模型精调【精调样板，Post-PreTrain, SFT,
前两天，我在CloudStudio上部署了一套Deepseek-R1大模型，每个月10000分钟的使用额度，部署过程简直轻松，只有两三步操作。 对于需要进行大规模计算或处理的任务，这个平台的部署体验简直是秒杀其它平台的简便快捷！ 具体可以参考这篇上万阅读量的文章： [近乎零成本体验！Deepseek-R1模型云端部署全攻略！] 但是，如何远程通过本地客户端访问我们部署的Deepseek-R1模型呢？这一篇文章将会给你答案。 CloudStudio配置 进入CloudStudio的主页面，打开“终端”按钮。 执行这两行命令即可： ssh-keygen -t rsa -b 2048 -f ~/.ssh/id_rsa ssh -i ~/.ssh/id_rsa -R 80:localhost:6399 localhost.run 简单来说，这个操作的目的是：通过 SSH 隧道让别人通过公网访问你云服务器运行的服务。 将这个地址输入到浏览器上，出现下面的界面，代表已经可以外部访问大模型了。 本地客户端安装 本地客户端该如何访问呢？对比多个之后选用openweb-
最近 DeepSeek 实在是太火了，总结了下高赞的帖子以及现有的方式，基本符合下面两种模式。 1、Ollama、LM studio 这种一键安装 gguf 格式模型的软件，差不多可以实现 2 分钟完成本地部署 2、Chatbox 、CherryStudio、AnythingLLM 这种客户端软件，配合 ollama 可以进行可视化使用，并且添加 RAG 等功能。 今天给大家介绍下如何通过下载模型权重进行部署，包括 DeepSeek-R1 以及最新的 Janus-Pro 都可以按这个方式来部署。由于我们采用 transformers 下载了模型权重的方式部署，理论上所有模型都会支持，属于比较通用的方法，这个方法的缺点就是没有额外的加速推理的功能，推理速度会低于 Vllm、SGLang 等推理框架。 掌握了这个方法，你就又比别人更进一步。 一、模型下载 我们推荐国内用户使用 modelscope 去下载相关模型权重，下载速度更快、
最近国产大模型DeepSeek特别火，以至于频繁出现反应迟缓甚至宕机的情况，和两年多之前ChatGPT的遭遇颇为相似。 万幸，DeepSeek是一个开源模型，我们大可以通过本地部署，在自己的终端上随时使用！接下来就教大家具体的操作： ** 一、用Ollama下载模型 ** 首先我们需要安装Ollama，它可以在本地运行和管理大模型。 到Ollama官网 https://ollama.com，点击下载，然后选择适合自己系统的版本，这里选择Windows： 下载完成后点击安装，完成后安装窗口会自动关闭，你的系统托盘图标会出现一个常驻的Ollama标记： 接下来点击Ollama官网左上方的“Models”按钮，会列出支持的各种模型，目前最火的DeepSeek-R1排在显眼位置，点击进入主题页面： 进入这个界面后，点击下拉菜单，可以看到多个版本。我的主机是4090显卡24G显存，选择32b版本（数字越大，对显存要求越高）： 选择好模型之后，点击右侧这个按钮，复制指令，这里是：ollama run deepseek-r1:32b 在Windows搜索栏输入“cmd”回车，唤出命
DeepSeek 模型近期可谓风头正劲，其 R1 模型性能卓越，推理精准，已然达到 OpenAI o1 模型的水准。 DeepSeek 开源免费，还支持模型蒸馏，更疯狂的是，近期 DeepSeek 直接冲上美区 App Store 榜首，堪称国产 AI 之光！ 然而，随着访问量暴增，官网频繁出现服务中断，API 接口也进入维护状态。 那该怎么办呢？还有什么办法可以正常使用 DeepSeek 吗？ 别慌！今天教你一招绝杀技——无需网络、不限次数、完全免费的本地部署方案，完美复刻官方体验！ 整体方案介绍 先用一幅图来简要说明整体的方案，如下： 一、安装 Ollama Ollama 是一个用于本地运行大语言模型（LLM）的开源工具，它能够让用户在本地设备上轻松下载、管理和运行
在当前的AI革命中，大模型扮演着至关重要的角色，而这背后的基础便是Scaling Law。简而言之，随着数据、参数和计算能力的不断提升，大模型的能力也随之增强，展现出小规模模型所无法比拟的“涌现能力”。 越来越多的AI企业纷纷推出开源大模型，按照扩展定律实现指数级的增长，为AI领域的发展注入了新的活力和动力。 然而，另一个不可忽视的趋势是，大型模型的体积正在逐渐缩小，这为私有化部署提供了可能。这一趋势对于个人隐私保护要求较高的场景尤为重要。通过无需联网传输数据，直接在设备上运行的AI技术，我们可以增强用户的信任感。尽管云服务器上的AI可能具备更高的性能，但其安全性和可靠性却令人担忧。因此随着模型体积的减小，私有化部署将成为更加可行和受欢迎的选择。 本文介绍几个适合私有化部署的最新大模型，并提供部署指导，手把手部署到电脑及手机。 热门的大模型如ChatGPT和Bard受限于专有闭源技术，限制了其应用并模糊了技术透明度。相比之下，开源AI大型模型（LLMs）如Meta的Llama 3和微软的Phi3，不仅增强了数据安全和隐私保护，还降低了成本、减少了外部依赖，并实现了代码透明和模型定
大模型
大模型，在2023年主要称之为大型语言模型（Large Language Models），是一种基于人工智能和机器学习技术构建的先进模型，旨在理解和生成自然语言文本。这些模型通过分析和学习海量的文本数据，掌握语言的结构、语法、语义和上下文等复杂特性，从而能够执行各种语言相关的任务。LLM的能力包括但不限于文本生成、问答、文本摘要、翻译、情感分析等。 我们最熟悉的大模型，莫过于CHATGPT。但我们最常用的大模型，未必是CHATGPT。 目前，相信所有的企业都有一个认知，在现在或者未来，我要在工作中使用AI，我的企业也要在运行中使用AI。 但是，由于每个人对大模型的认知程度不一，以上的“ 我要用AI！”其实就等于“我要进步”这种比较模糊的认知，真正到应用的时候，这种认知是不够的。 因此，我们有了下面这篇科普： 为什么GPT如此强大，我们还要用本地大模型？ 这里的LLMs特指Llama2/3、Mistral、GLM3-6B等开源大模型 可用性 线上LLMs： 线上部署的LLMs提供即时访问和高可用性，基本实现7*24小时运作。一般好的模型服务商都直接提供API输出，他们赚的