您将深入了解大规模语言模型（如GPT、BERT等）的最新技术与应用。我们提供详细的技术解析、模型训练方法、优化技巧及行业应用案例，帮助您掌握大模型的开发与部署。无论您是AI领域的新手还是专业从业者，这里都能为您提供丰富的学习资源和实践经验，助力您在大模型技术的前沿领域获得竞争优势，推动人工智能的创新应用。
ChatGPT 刚上线的时候我用的很少，还是习惯用 Google。主要还是因为不信任，怕它对我胡说八道。 慢慢的，也没有一个明确的时间点，就用的越来越多了。特别是涉及到一些技术问题，用它的回答基本上都可以解决。 原来的搜索模式需要我自己去选择看哪个链接，具体的答案也是靠自己筛选，总结。 现在则完全不同，直接就由 AI 总结好了，效率肯定是大大提升。 今天分享一个开源项目，我理解是一个搜索聚合器，包括前后端。后端使用 Python 开发，FastAPI 框架。 项目还是比较活跃的，star 增长也很快。这篇文章拖了两天才发，结果发现又多了 200 个。 项目简介 这个项目是完全免费的，并且可以本地私有部署，无需 GPU。 系统会根据用户提出的问题，到多个搜索引擎去搜索，然后把搜索结果发给 LLM，由 LLM 来生成最终答案。 功能特性： * 完全免费 * 完全本地化，且私有部署
Ollama 概述 Ollama 是一个快速运行 LLM（Large Language Models，大语言模型）的简便工具。通过 Ollama，用户无需复杂的环境配置，即可轻松与大语言模型对话互动。 本文将解析 Ollama 的整体架构，并详细讲解用户在与 Ollama 进行对话时的具体处理流程。 Ollama 整体架构 Ollama 使用了经典的 CS（Client-Server）架构，其中： * Client 通过命令行的方式与用户交互。 * Server 可以通过命令行、桌面应用（基于 Electron 框架）、Docker 其中一种方式启动。无论启动方式如何，最终都调用同一个可执行文件。 * Client 与 Server 之间使用 HTTP 进行通信。 Ollama Server 有两个核心部分： * ollama-http-server：
————前言———— 谷歌 Gemma 是一个基于 Python 的图像分析工具，提供快速和准确的物体检测、定位、分类和风格迁移功能。它使用 TensorFlow Lite 模型，使它可以快速运行在移动设备上。 主要功能 物体检测：Gemma 可以识别图像中的物体，并标出其位置和类别。 物体定位：Gemma 可以定位图像中的物体，并提供其精确位置。 图像分类：Gemma 可以对图像进行分类，根据图像的内容分类。 风格迁移：Gemma 可以将一种图像的风格转移到另一种图像。 特点 速度快速：Gemma 使用 TensorFlow Lite 模型，可以快速运行在移动设备上。 准确性：Gemma 使用预训练的模型，可以实现准确的物体检测和分类。 易用性：Gemma 是一个开源工具，易于使用。 还包：Gemma 包含许多功能，例如图像加载、
一、故事起因 因所在行业特殊，很多敏感数据需要使用大模型进行数据的处理和分析，无法使用公有云上的各种模型，于是在公司内部部署了 Ollama 来跑本地模型解决问题。 这会问题来了，手机端需要访问 Ollama API，可没个趁手的 App，那就花一个晚上写一个吧。 Swift + SwiftUI，问题不大。 二、功能设计 目前需要下面这几个功能： 2.1 Ollama 服务配置 需要支持 Ollama 服务的配置，包括： * 服务地址 * 使用的模型 * 系统 prompt * 模型参数(这个目前还没做) 2.2 Ollama API 流式调用 为了提升体验，调用的是 Ollama API 的流式调用，每次调用只返回一部分结果，然后客户端不断读取，直到全部返回。 2.3
你有没有遇到过这种情况：工作中需要快速查找资料，结果花了大把时间在一堆无关信息中苦苦挣扎？或者说，你公司里的数据海量，却无法高效地找到所需的关键知识？其实，你可能已经掌握了一项强大的工具——知识图谱（Knowledge Graph），而你还不知道如何用它提高效率。 今天我们就来聊聊如何使用 Ollama 和 Embeddings 这两个工具，来搭建自己的知识图谱，快速解决复杂问题。而且，这套方案不仅适合技术大牛，同样也适合技术小白，简单易上手。 知识图谱到底是啥？为什么你应该关心？ 先别急，我们先把“知识图谱”这个听起来很高级的词拆解一下。简单来说，知识图谱就是将信息以点和线的方式连接起来，把它们之间的关系直观地展示出来。比如，你想了解“苹果公司”和“乔布斯”的关系，知识图谱会把这两者关联起来，并展示它们之间的联系。 这有什么用呢？想象一下，假设你要做一个项目，涉及到很多领域的知识点。如果没有一个系统的方式整理这些信息，你可能得翻阅大量文档，花上几个小时甚至几天去理清所有的关系。而有了知识图谱，你只需要输入一个关键词，系统就会帮你把相关的知识点都串联起来，
大模型
Ollama 简介 Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架。 官网： GitHub 地址： Ollama 安装 下载安装 Ollama 在 Ollama 官网根据操作系统类型选择对应的安装包，这里选择 macOS 下载安装。 安装完在终端输入 ollama，可以看到 ollama 支持的命令。 Usage: ollama [flags] ollama [command] Available Commands: serve Start ollama create Create a model from a Modelfile show Show information for a model run Run a
1.为什么要本地离线部署Ai大模型？ 离线部署AI大模型有多个重要原因，涵盖了安全性、隐私、成本、控制性和可靠性等方面。以下是一些主要的原因和详细解释： 1.1. 数据隐私和安全 * 敏感数据保护：某些应用需要处理高度敏感的个人或商业数据，如医疗记录、金融信息或知识产权数据。离线部署可以确保这些数据不离开本地环境，减少泄露的风险。 * 合规性：一些行业和地区对数据保护有严格的法规和要求（如GDPR），要求数据必须在本地存储和处理。 1.2. 成本控制 * 长期成本降低：虽然初期的硬件投资较高，但长期使用本地部署可能比持续支付云服务的使用费用更为经济，特别是在处理大量数据或频繁使用时。 * 避免云计算费用波动：使用云服务时，费用可能会因使用量波动而不可预测。离线部署能够提供更稳定的成本控制。 1.3. 性能和延迟 * 低延迟：本地部署可以提供更低的延迟，特别适合需要实时响应的应用，如自动驾驶、工业控制和实时通信。 * 高性能：在本地部署中，硬件资源专用于特定任务，可以进行更好的性能优化。 1.4. 控制和定制化 * 完全控
在开始使用Gemma开源大语言模型（LLM）前，我们先了解下Gemma以及配套的工具。 基本介绍 Gemma 是由 Google 推出的一系列轻量级、最先进的开放模型。这些模型基于与 Gemini 模型相同的研究和技术构建，由 Google DeepMind 和 Google 内部其他团队共同开发。Gemma 的名字来源于拉丁语 “gemma”，意为“珍贵的石头”，象征着其在 AI 领域的重要价值。 这次发布的Gemma不仅仅只有2B 和 7B这两种规模，实际上是发布了Gemma系列（经过预训练的变体和指令优化的变体，大大小小50多种），Gemma 模型非常适合各种文本生成任务，包括问答、总结和推理。 同时，还能在Keras3.0（以集成主要框架JAX、PyTorch和TensorFlow）上用于推理和监督微调（SFT）的工具链。以及提供了谷歌Colab和Kaggle笔记本快速部署代码和HuggingFace等第三方AI平台的集成，使用户能快速上手体验。 第三方体验地址我会放在文尾。 基础性能 这次开源的Gemma和Gemini用的是同样的技术和基础组件，
最近RAG热度不减，微软开源了GraphRAG，很是火爆呀，本着学习的态度，我也部署使用了一下，无奈没有梯子，不能用openAI，于是想着能不能使用本机的模型，替换openAI的 llm和embedding模型，说干就干，整个过程真是曲折，踩坑不少，但最终 结果还是好的，终于完美部署到本机使用了，哈哈，下面来给大家分享一下，自己也记录一下，以免后边再使用时重复进坑。 本人也搞了一个RAG项目，非常适合学习，自用，二次开发，欢迎star https://github.com/yuntianhe2014/Easy-RAG 官方安装流程（找我一键包） graphRAG的安装还是很简单的，直接pip pip install graphrag 但要注意，官方说了需要 python3.10-3.12 安装完成后，建立一个文件夹，存放你的知识数据，目前graphRAG仅支持txt和csv mkdir -p ./ragtest/input
2024年8月1日，MaxKB开源知识库问答系统正式发布v1.4.0版本。在这一版本中，MaxKB的社区版支持对接OpenAI、Ollama和本地的向量模型，并且支持设置模型的使用权限，同时MaxKB还支持知识库自定义向量模型。 自v1.4.0版本开始，MaxKB正式推出专业版。 MaxKB专业版在社区版基础上提供X-Pack增强功能，目前首批推出的增强功能包括：支持自定义系统Logo和主题，支持问答对话框的个性化设置，支持LDAP登录认证，以及提供开放的API。 自2024年4月发布至今，MaxKB开源知识库项目的全网下载量正式突破了15万次，在代码托管平台GitHub获得了超过8,500个Star，Fork数量超过1,100次。来自开源社区的积极反馈持续验证着用户侧对智能知识库问答系统的迫切需求，以及MaxKB在这一重要生成式AI应用场景的受欢迎程度。 亮点更新 ■ 向量模型支持OpenAI、Ollama和本地部署 在v1.4.0社区版本中，MaxKB支持添加OpenAI、Ollama和本地部署的向量模型，并且支持将模型的使用权限设置为公用或者私有。在此前的MaxKB版
某些场景下可能希望构建一个完全本地离线可用的大模型，方法很多，模型也很多，比如 qwen、qwen2、llama3等，最简单快捷的首推使用 ollama 部署，模型选用 qwen 或 qwen2，针对中文任务效果更好。 首先下载 ollama 双击安装(277MB) ollama下载地址： 下载后双击安装 安装完毕后打开命令行黑窗口 开始菜单中找到命令提示符，点击打开 或者随便打开任意一个文件夹，然后在文件夹地址栏中输入 cmd 按回车。 都能打开一个黑窗口 找到想要使用的模型，推荐 qwen系列 打开这个网址 可以选择要使用的模型 比如使用 qwen，点击进入后，会看到如下 点击下拉框，可选择模型版本列表，4b 代表该模型有40亿参数，当然参数越大效果越好，但同样也要求你的电脑配置越高，不够高的话不仅运行慢，还可能卡死机。 如果你有英伟达显卡，并且独立显存不低于12G，可以选择 14b
大模型
什么是 RAG RAG，即检索增强生成（Retrieval-Augmented Generation），是一种先进的自然语言处理技术架构，它旨在克服传统大型语言模型（LLMs）在处理开放域问题时的信息容量限制和时效性不足。RAG的核心机制融合了信息检索系统的精确性和语言模型的强大生成能力，为基于自然语言的任务提供了更为灵活和精准的解决方案。 RAG与LLM的关系 RAG不是对LLM的替代，而是对其能力的扩展与升级。传统LLM受限于训练数据的边界，对于未见信息或快速变化的知识难以有效处理。RAG通过动态接入外部资源，使LLM得以即时访问和利用广泛且不断更新的知识库，进而提升模型在问答、对话、文本生成等任务中的表现。此外，RAG框架强调了模型的灵活性和适应性，允许开发者针对不同应用场景定制知识库，从而满足特定领域的需求。 下图是 RAG 的一个大致流程： RAG就像是为大型语言模型（LLM）配备了一个即时查询的“超级知识库”。这个“外挂”不仅扩大了模型的知识覆盖范围，还提高了其回答特定领域问题的准确性和时效性。 想象一下，传统的LLM像是一个博学多才但记忆力有限的学者，它依赖于