llama3实战微调，还不会大模型微调的看过来！手把手教会你大模型微调

本教程基于RockyLinux8版本，著于2024年5月21日。机器单机4090Ti 24G显存。 训练时候GPU使用23G左右。

1. 下载中文模型

下载训练好的llama3-8B版本中文模型 地址：

放置在：/data/dataset/model/llama3/8b-chinese-chat

2. 使用llamafactory微调和部署

# 建立存放目录
mkdir -p /data/dataset/project
cd /data/dataset/project

# 注意版本是： v0.6.1  （不同版本区别还是很大）
git clone https://github.com/hiyouga/LLaMA-Factory.git

cd /data/dataset/project/LLaMA-Factory-0.6.1
pip install -r requirements.txt

# 进入下面目录，添加你的训练数据
cd /data/dataset/project/LLaMA-Factory-0.6.1/data

# 比如我添加的stock.json，是指令的数据

# 形如：
'''
[{"instruction": "请给出以下区域板块包含的个股名称和代码，使用;隔开", "input": "贵州", "output": "贵州茅台600519;"},{"instruction": "请给出以下区域板块包含的个股名称和代码，使用;隔开", "input": "贵州", "output": "贵州茅台600519;"}]
'''
# 计算文件的sha1值，得到值073db05fbf903c494e0826615194fef77c24fa1f
sha1sum stock.json

# 添加数据集的信息
vim /data/dataset/project/LLaMA-Factory-0.6.1/data/dataset_info.json
# 新增如下 文件名和sha1的值
'''
  "stock_zh": {
    "file_name": "stock.json",
    "file_sha1": "073db05fbf903c494e0826615194fef77c24fa1f"
  },
'''

# 添加llama3的数据模板
vim /data/dataset/project/LLaMA-Factory-0.6.1/src/llmtuner/data/template.py

# 添加如下(去掉''')：
'''
_register_template(
    name="llama3",
    format_user=StringFormatter(
        slots=[
            (
                "<|start_header_id|>user<|end_header_id|>\n\n{{content}}<|eot_id|>"
                "<|start_header_id|>assistant<|end_header_id|>\n\n"
            )
        ]
    ),
    format_system=StringFormatter(
        slots=[{"bos_token"}, "<|start_header_id|>system<|end_header_id|>\n\n{{content}}<|eot_id|>"]
    ),
    format_observation=StringFormatter(
        slots=[
            (
                "<|start_header_id|>tool<|end_header_id|>\n\n{{content}}<|eot_id|>"
                "<|start_header_id|>assistant<|end_header_id|>\n\n"
            )
        ]
    ),
    default_system="You are a helpful assistant.",
    stop_words=["<|eot_id|>"],
    replace_eos=True,
)
'''

# 创建运行脚本
cd /data/dataset/project/LLaMA-Factory-0.6.1
touch single_lora_llama3.sh
chmod +x single_lora_llama3.sh
vim single_lora_llama3.sh
# 输入如下
'''
#!/bin/bash
export CUDA_DEVICE_MAX_CONNECTIONS=1
 
export NCCL_P2P_DISABLE="1"
export NCCL_IB_DISABLE="1"
 
CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
  --stage sft \
  --do_train True \
  --model_name_or_path /data/dataset/model/llama3/8b-chinese-chat \
  --dataset stock_zh \
  --template llama3 \
  --lora_target q_proj,v_proj \
  --output_dir output1 \
  --overwrite_cache \
  --per_device_train_batch_size 2 \
  --gradient_accumulation_steps 64 \
  --lr_scheduler_type cosine \
  --logging_steps 5 \
  --save_steps 100 \
  --learning_rate 2e-4 \
  --num_train_epochs 1.0 \
  --finetuning_type lora \
  --fp16 \
  --lora_rank 128 
'''
# 对上面部分参数说明：
# --model_name_or_path为下载的模型目录
# --dataset stock_zh 为训练数据集所对应的配置信息
# --template llama3 为模板中的llama3名称所对应的模板
# --output_dir output1 为训练后的lora模型存放地址

# 直接运行脚本
./single_lora_llama3.sh

# 会在目录下生成output1目录，目录内容如下，红色部分为lora模型

# 与基础模型合并
vim /data/dataset/project/LLaMA-Factory-0.6.1/export.sh
# 输入如下
'''
#!/bin/bash
python src/export_model.py \
  --model_name_or_path /data/dataset/model/llama3/8b-chinese-chat \
  --adapter_name_or_path /data/dataset/project/LLaMA-Factory-0.6.1/output1 \
  --template llama3 \
  --finetuning_type lora \
  --export_dir  /data/dataset/model/llama3/8b-chinese-chat/output_lora1 \
  --export_size 2 \
  --export_legacy_format false
'''
# 参数说明：
# --model_name_or_path 基础模型目录
# --adapter_name_or_path 微调后的lora模型
# --export_dir 合并后的模型目录

chmod +x /data/dataset/project/LLaMA-Factory-0.6.1/export.sh
bash /data/dataset/project/LLaMA-Factory-0.6.1/export.sh

cd /data/dataset/model/llama3/8b-chinese-chat/output_lora1 
# 进入目录查看结果

# 启动模型
cd /data/dataset/project/LLaMA-Factory-0.6.1
vim run_web.sh
# 输入如下
'''
CUDA_VISIBLE_DEVICES=0  python src/web_demo.py \
    --model_name_or_path  /data/dataset/model/llama3/8b-chinese-chat/output_lora1 \
    --template llama3 \
    --infer_backend vllm \
    --vllm_enforce_eager
'''
chmod +x run_web.sh
./run_web.sh

3. 模型打包

需要使用llama.cpp，去官网找安装过程，这里不描述了，编译安装后目录如下： （存放位置：/data/dataset/project/llama.cpp）

运行命令(输出)：
​```bash
mkdir -p /data/dataset/model/llama3/custom
cd /data/dataset/project/llama.cpp

python ./convert.py /data/dataset/model/llama3/8b-chinese-chat/output_lora1  --outtype f16 --outfile /data/dataset/model/llama3/custom/8b.bin --vocab-type bpe

#输出后有单个文件15G截图：

4. 使用phidata启动RAG

4.1 安装ollama

curl -fsSL https://ollama.com/install.sh | sh

# 使用ollama list 看到应该是空的
touch Modelfile
vim Modelfile
# 输入如下
'''
FROM /data/dataset/model/llama3/custom/8b.bin
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
SYSTEM """You are a helpful assistant. 你是一个乐于助人的助手。"""
PARAMETER temperature 0.2
PARAMETER num_keep 24
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
'''
# 参数说明：FROM 后面跟着我们第3步打包后的模型(llama3这个名字在phidata选择的时候回用到，不能修改)

ollama create llama3 -f ./Modelfile
ollama list
# 会输出：
'''
NAME                    ID              SIZE    MODIFIED    
llama3:latest           a4c53495050c    16 GB   5 hours ago
'''

# 安装phidata需要的向量模型
ollama run nomic-embed-text

ollama list
# 会输出：
'''
NAME                    ID              SIZE    MODIFIED    
nomic-embed-text:latest 0a109f422b47    274 MB  5 hours ago
llama3:latest           a4c53495050c    16 GB   5 hours ago
'''

4.2 安装phidata

cd /data/dataset/project
git clone https://github.com/phidatahq/phidata.git
# 进入目录
cd /data/dataset/project/phidata
pip install -r cookbook/llms/groq/rag/requirements.txt

# 拉取向量数据库(需要做翻墙代理)
docker pull phidata/pgvector:16

# 启动docker
vim pg_start.sh
# 输入如下：
'''
docker run -d \
  -e POSTGRES_DB=ai \
  -e POSTGRES_USER=ai \
  -e POSTGRES_PASSWORD=ai \
  -e PGDATA=/data/dataset/pgdata/data \
  -v pgvolume:/data/dataset/pgdata \
  -p 5532:5432 \
  --name pgvector \
  phidata/pgvector:16
'''
# 启动
streamlit run cookbook/llms/ollama/rag/app.py

最后看到页面是：

然后输入上面的地址到浏览器，会显示：

上传文件的时候后台会显示：(其实是15页文本，不知道为什么回答12页)

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓