大模型

【AI大模型部署】Qwen2大模型保姆级部署教程，快速上手最强国产大模型

优质文章学习记录

06 Feb 2025 — 12 min read

前言

李彦宏说说：开源大模型不如闭源，但是阿里好像不这么想。

Qwen大模型表示性能和开源，我都要了！最近，被国内外网友催更的Qwen大模型发布了V2版本。

今天就一起看看这次的升级重点，并手把手教你如何自己部署一套Qwen2，然后大家就可以自己开始使用探索了。

Qwen2

就在6月7日，阿里云重磅发布全球性能最强的开源模型Qwen2-72B，从官方发布的技术Blog中可以看到，Qwen2-70B在十多个权威测评榜单中，得分都超过了Llama3-70B，也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。

可以说，目前Qwen已经成为除Llama外，全球开发者的另一主流选项。所有人均可在魔搭社区和Hugging Face免费下载通义千问最新开源模型。

Qwen2这次大幅提升了代码、数学、推理、指令遵循、多语言理解等能力，这里总结几个 qwen2突出的方面：

代码和数学

在这方面Qwen的表现一直不错，这次qwen2更近一步，刷新历史成绩。

长文本

在长文本方面，Qwen2-72B-Instruct能够完美处理128k上下文长度内的信息

安全

在安全方面，根据给出的测试数据，Qwen2-72B-Instruct模型在安全性方面与GPT-4的表现相当。

部署教程

开源大模型最大的好处，就是可以自己部署来玩，那我就来实际部署Qwen2运行一下。

1、本地部署

首先我们先来看本地部署，有条件的话当然是要本地跑一跑啦。开始前，首先要确认一下自己的硬件配置，根据自己的情况来选择合适的模型。

本地运行我选择的工具是Ollama，之前我的视频中也给大家介绍这款工具，基本下载安装很简单可以参考一下。

接下来我们准备下载qwen2模型，在ollama的models里直接搜qwen就能找到Qwen2的模型。

这里我们进入qwen2之后，可以看到有很多的相关说明，包括模型的不同版本选择，还有一些参考的测评分数。我的机器只能选择7B的模型，这里选7B，然后复制命令

ollama run qwen2:7b

再打开一个终端直接运行即可。

之前的发ollama文章的时候API功能没有说明，这里给大家介绍一下。最新的版的Ollama启动模型后会自动带有API服务，可以通过以下指令访问刚刚部署好的qwen2。

curl <http://localhost:11434/api/generate> -d '{
  "model": "qwen2:7b",
  "prompt":"Why is the sky blue?","stream":"false"
}'

使用curl或者API工具的时候，记得加上stream：false的参数来关闭流式返回。

如果想通过代码使用API的，可以使用Ollama推出的SDK，比如Ollama.js，使用也很简单，先通过npm安装，然后就可以在代码中使用了。

npm i ollama

简单试了一下，我本地的16G内存可以跑得动，但速度确实就一般了。对于一般人来说，自己在本地组大显存比较麻烦，所以我也给大家带来一套云上部署的参考，毕竟云上资源的优势就是随用随启。

2、云上部署

云上部署的话，首推是用阿里云提供的大模型服务平台百炼，这样你就不需要再从头一点点的搞配置了。

进入百炼平台，选择模型中心-模型部署-部署新模型，之后选择合适的模型进行部署。因为目前qwen2模型还没有上来，这里就先用千问max为例，选择后付费的模式。

部署所需的费用，点击确认后，系统将开始部署，系统将在部署成功后开始计费。对于部署模型的收费情况，可以参考这里。

等待部署完成后，我们就可以使用自己的在线大模型了。

其实如果是想调用Qwen2的能力，最建议的方式是通过API来使用，这是最经济的方式，可以省下部署资源的费用。

本地和云上对比

这里我将本地部署和云上部署做一个简要的对比。

本地部署优势：可控性强、如果已经有了基础硬件，那么没有成本。但是需要有一些动手能力。

云上部署优势：云上使用首推的是使用API，第一如果考虑综合的硬件投入，实际成本是更低的。第二不用考虑环境和配置，上手容易。当然对应的缺点是需要公网。

举个例子，Qwen-72B开源模型、每月1亿token用量为例，在阿里云百炼上直接调用API每月仅需600元，如果是自己本地部署，前期投入大家自己心里有数。

如果企业级的选择，尤其是初创企业，那么更建议从云上开始，毕竟自己的业务才是核心。

Qwen2实测反馈

此前，Qwen1.5就在各大权威榜单和大模型竞技场中，超越了国内几乎所有大模型，无论是开源还是闭源。而这次发布的Qwen2，据说性能又有大幅提升，其中，Qwen2-72B的性能尤其优越。本次发布的所有模型都能够支持30多国语言，除了中文、英文之外，还增加了27种语言相关的高质量数据，提升了模型的多语言能力。