【谷歌开源】Gemma本地部署全指南：从零开始轻松上手
在开始使用Gemma开源大语言模型（LLM）前，我们先了解下Gemma以及配套的工具。
基本介绍
Gemma 是由 Google 推出的一系列轻量级、最先进的开放模型。这些模型基于与 Gemini 模型相同的研究和技术构建，由 Google DeepMind 和 Google 内部其他团队共同开发。Gemma 的名字来源于拉丁语 “gemma”，意为“珍贵的石头”，象征着其在 AI 领域的重要价值。
这次发布的Gemma不仅仅只有2B 和 7B这两种规模，实际上是发布了Gemma系列（经过预训练的变体和指令优化的变体，大大小小50多种），Gemma 模型非常适合各种文本生成任务，包括问答、总结和推理。
同时，还能在Keras3.0（以集成主要框架JAX、PyTorch和TensorFlow）上用于推理和监督微调（SFT）的工具链。以及提供了谷歌Colab和Kaggle笔记本快速部署代码和HuggingFace等第三方AI平台的集成，使用户能快速上手体验。
第三方体验地址我会放在文尾。
基础性能
这次开源的Gemma和Gemini用的是同样的技术和基础组件，谷歌自信地认为Gemini是他们目前发布以来最强大、功能做广泛的大语言模型。Gemma7B在基准测试上明显超过了Llama-2 7B和13B，无论是科目问答，推理性能，数学能力还是代码能力都要比Llama-2强太多（这里的数据是基于关键基准上测试的）。
论文内的性能如下图：
好了，以上就是Gemma的简单介绍，有兴趣的小伙伴可以看下原文：
传送门：https://blog.google/technology/developers/gemma-open-models/
快速上手
在安装前先确定C盘目录大于20G，再根据自己的电脑配置安装不同型号的Gemma，8G显卡跑2b应该问题不大，16G以上的跑7b也没问题。
这次使用Gemma，我们还是用LLM的老朋友开源的Ollama项目。我们先进入Ollama的主页（地址在文尾）。
进入主页后，点击下载按钮，进入下载页。
总共有macOS、Linux和Windows三个版本，根据您的系统，选择一个版本下载，这次我们以windows为例。
下载完成后就是这个可爱的羊驼图标，然后我们双击OllamaSetup.exe安装，默认情况下是装在C盘的，直接点install一键安装。
安装完成后，系统任务栏右下角位置会多出一个草泥马的头像，这代表已经完成安装了。接下来，我们打开windows自带的powershell待命（在windows搜索栏搜powershell）。
接下来，我们再回到ollama官网的模型页面，在模型列表处找到Gemma，点进去。
进去之后Overview是模型概述，不管它，直接点Tags，茫茫多的型号该怎么选呢。
以下是Gemma的版本和型号参考：
2b 和 7b：表示模型的参数数量，分别是2亿和7亿参数。
instruct：表示模型是针对特定指令或任务进行训练的。
text：表示模型专注于处理文本数据。
fp16：表示模型支持半精度浮点数（16位浮点数），这有助于在保持相对较高精度的同时减少内存使用和提高计算效率。
每个型号后面的q4_0、q4_1等是模型的不同版本，是基于模型性能、训练数据集、优化策略或其他因素的不同迭代。例如，q4_0是第四个迭代的初始版本，而q4_1可能是在q4_0基础上的改进版本。
那么我们选latest这个版本，也就是最新版。
直接在powershell里输入命令ollama run gemma开始下载，下载无需魔法不过可能会花点时间。
下载完成后，在send a message行里就可以直接与gemma对话了。
tips：
1. 运行不同版本的gemma，示例**：**
ollama run gemma:2b``ollama run gemma:7b
2. gemma默认下载在C盘；
3. 按Ctrl+D退出gemma；
4. run ollama gemma启动gemma；
5. ollama list查看模型型号列表.
Ollama项目地址：https://github.com/ollama/ollama
Ollama官网地址：https://ollama.com/
如何学习AI大模型？
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
