大模型

零门槛部署 Llama 3，70B 版本只占 1.07G 存储空间

优质文章学习记录

06 Feb 2025 — 10 min read

4 月 18 日，Meta 宣布开源 Llama 3，这个号称「迄今为止最好的开源大模型」一经发布，立刻引爆科技圈！

www.zeeklog.com - 零门槛部署 Llama 3，70B 版本只占 1.07G 存储空间

发布当天恰逢斯坦福大学教授、AI 顶尖专家吴恩达的生日，作为 AI 开源倡导者，他激动地发文表示：这是我收到过最好的生日礼物，谢谢 Meta。

Meta 首席科学家、图灵奖获得者 Yann LeCun也在自己的账号上硬核推荐了自己的最新开源模型——支持 8k 长文本，在 24k GPU 集群上使用超过 15T tokens 进行训练，在多项评测基准中表现优异， 部分任务中，Llama 3-8B 的表现优于 Llama 2-70B。更多版本将在数月后发布。
据其官网显示，Llama 3 采用了包括监督微调 (SFT)、近端策略优化 (PPO) 和直接策略优化 (DPO) 在内的先进指令调优技术，与 Llama 2 相比有质的飞跃。在安全性上，采用 Llama Guard 2、Code Shield、CyberSec Eval 2 的新版信任和安全工具，比 Llama 2 有更好的「错误拒绝表现」。
值得一提的是，Llama 3 发布时，Meta 还在官方博客上表示，其正在训练一款超过 400B 参数的新版本模型。英伟达高级科学家 Jim Fan 认为，未来可能推出的 Llama 3-400B 标志着开源社区或能用上 GPT-4 级别模型，这会改变许多研究工作和基层初创公司的计算方式。

为了评估 Llama 3 在真实世界场景中的性能， Meta 特意开发了一个全新的高质量人类评估数据集，覆盖的实际用例包括但不限于：征求建议、集体讨论、分类、封闭式问答、编程、创意写作、信息抽取、角色扮演、开放式问答、逻辑推理、文本重写以及总结等。
结果表明，在与 Claude Sonnet、Mistral Medium 和 GPT-3.5 的比较中，Meta Llama 70B 占据优势地位。

性能超越 GPT-3.5、直逼 GPT-4，相信大家现在都迫不及待地想要上手体验 Llama 3 了。为了帮助大家减少漫长的下载等待时间，节省计算资源，降低模型部署难度，HyperAI超神经在教程页面上线了「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」和「使用 Ollama 和 Open WebUI 部署 Llama3-70B」教程。

Ollama 和 Open WebUI 分别提供了强大的后端模型管理和前端界面交互功能，结合使用这两个工具，可以轻松完成大模型的部署和管理。 Llama3-70B 只占用 1.07GB 的存储空间， 一键克隆即可启动！
HyperAI超神经教程地址：

8B：

70B：

小编已经根据教程部署了 Llama 3 模型，帮大家浅试了一下实际效果。
小编故意引导了一下 Llama 3，结果它没被骗到。但是同样的问题却骗过了 GPT-3.5！看它一本正经地回答问题，小编忍不住快要相信了。

五一快要来了，假期去哪里玩，这么多地方选哪个呢？

数学问题它也能解决哦，再也不用头疼给家里的小朋友辅导功课了！

还可以翻译，解决我大麻烦了！

睡前小故事，又一个技巧 get 到了。

Demo 运行

登录 hyper.ai，在「教程」页面，选择「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」或「用 Ollama 和 Open WebUI 部署 Llama3 70B」。
接下来小编将以「使用 Ollama 和 Open WebUI 部署 Llama3-70B」教程为例介绍。

点击「在线运行此教程」，页面跳转后，点击右上角「克隆」，将该教程克隆至自己的容器中。

点击右下角「下一步：选择算力」。

跳转后，选择「NVIDIA RTX A6000 48GB 」、选择镜像「PyTorch」，点击「下一步：审核」。新用户使用下方邀请链接注册，还可获得 4 小时 RTX 4090 + 5 小时CPU的免费算力时长！

HyperAI超神经专属邀请链接（直接复制到浏览器打开即可注册）：

注意：如果运行的是「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」教程，选择「NVIDIA GeForce RTX 4090」运行即可。

点击「继续执行」，等待分配资源，当状态变为「运行中」后，点击「打开工作空间」。

打开工作空间后，在启动页新建一个终端会话，然后在命令行里输入以下内容，启动 Ollama。

OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

再新建一个终端页面，然后在命令行里输入以下内容，启动 Open WebUI。

bash /openbayes/input/input1/open-webui/backend/start.sh

稍等片刻，当命令行出现「INFO:Uvicorn running on API 地址到浏览器地址栏中，即可打开 Open WebUI 页面。请注意，用户需在实名认证后才能使用 API 地址访问功能。

效果展示

打开 Open WebUI 界面后，登录账号。账号：密码：adminadmin

2.选择 Llama 3-70B 模型。

3.输入问题，即可使用啦。

目前，HyperAI超神经官网已上线了数百个精选的机器学习相关教程，并整理成 Jupyter Notebook 的形式。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。