7
15
大模型Hello Word！新手也能快速上手？
2025-02-08 18:02:35
1点赞
2收藏
0评论
文末附原视频地址，请耐心看一遍文档。
安装WSL2就不说了找kimi吧
假设你在 Windows 中有一个文件夹 D:ChatWithRTX_Offline_2_11_mistral_Llama/wt，并且你想在 WSL2 中访问它，可以按照以下步骤操作：
打开 WSL2 终端：
你可以通过 Windows 的“开始菜单”或搜索栏找到你的 Linux 发行版（如 Ubuntu），然后打开它。
导航到对应的目录： 在 WSL2 终端中，输入以下命令：
cd /mnt/d/ChatWithRTX_Offline_2_11_mistral_Llama/wt/just_train
这里 just_train 就是压缩包解压以后的目录
这个在代码中的train.py第十行
注意修改路径这里的意思是 挂载你 的Windows 路径,实在不会写, 像我一样丢给kimi写去.
执行命令:
./train.sh 开始等待
开始等待,目前我的配置是:
i7-14700KF
64g内存
4080 16gb 显卡
微调这个0.5b qwen2.5 实际时间大约半小时
0.5b 的实际效果如下 :
遇到的问题：我用kimi 排查的
问题的核心是 Trizon 在编译 C/C++ 代码时未能找到 C 编译器。以下是一些可能的解决方案：
报错信息：
`Traceback (most recent call last): File "/mnt/d/ChatWithRTX_Offline_2_11_mistral_Llama/wt/just_train/train.py", line 73, in trainer.train() File "", line 126, in train File "", line 363, in _fast_inner_training_loop File "/mnt/d/ChatWithRTX_Offline_2_11_mistral_Llama/wt/just_train/py311/lib/python3.11/site-packages/transformers/trainer.py", line 3318, in training_step loss = self.compute_loss(model, inputs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/mnt/d/ChatWithRTX_Offline_2_11_mistral_Llama/wt/just_train/py311/lib/python3.11/site-packages/transformers/trainer.py", line 3363, in compute_loss outputs = model(**inputs) ^^^^^^^^^^^^^^^ File "/mnt/d/ChatWithRTX_Offline_2_11_mistral_Llama/wt/just_train/py311/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1532, in _wrapped_call_impl return self._call_impl(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/mnt/d/ChatWithRTX_Offline_2_11_mistral_Llama/wt/just_train/py311/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1541, in _call_impl return forward_call(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/mnt/d/ChatWithRTX_Offline_2_11_mistral_Llama/wt/just_train/py311/lib/python3.11/site-packages/accelerate/utils/operations.py", line 819, in forward return model_forward(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File 报错了 怎么处理 ?
原话加上， 报错了 怎么处理 ? 丢给kimi，下面输出了处理办法。
1. 安装 C 编译器
确保你的系统中安装了 C 编译器（如 GCC）。在 WSL2 中，可以使用以下命令安装：
bash复制
sudo apt update
sudo apt install build-essential
2. 设置 CC 环境变量
如果 C 编译器已安装但未找到，可以手动设置 CC 环境变量：
bash复制
export CC=/usr/bin/gcc-11
（/usr/bin/gcc-11 是 GCC 的路径，可以根据你的系统实际情况调整）
3. 检查依赖库
确保以下依赖库已安装：
bash复制
sudo apt install libgomp1
4. 重新启动并尝试
重新启动你的 WSL2 环境并重新运行代码：
bash复制
wsl --shutdown
wsl
5.Trizon 在wsl 中执行模型微调 效率很慢 需要什么设置么 ？
在 WSL2 中进行模型微调时，如果使用 NVIDIA GPU 并且效率较低，可以尝试以下优化方法：
1. 启用 NVIDIA CUDA 支持
确保你的 WSL2 环境已正确配置 NVIDIA CUDA 支持，以便充分利用 GPU 加速：
安装支持 CUDA 的 GPU 驱动程序：
下载并安装支持 NVIDIA CUDA 的 WSL 驱动程序。
确保驱动程序版本与你的 CUDA 版本兼容。
安装 WSL2：
确保 WSL2 已启用，并安装基于 glibc 的 Linux 发行版（如 Ubuntu）。
确保 WSL2 的内核版本为 5.10.43.3 或更高版本。
安装 CUDA Toolkit：
在 WSL2 中安装 CUDA Toolkit，确保版本与你的 GPU 驱动程序兼容。
例如，运行以下命令安装 CUDA Toolkit：
bash复制
sudo apt update sudo apt install cuda
WSL2 中安装 CUDA 时，直接使用 sudo apt install cuda 命令可能会失败，因为 CUDA 的安装需要特定的步骤和配置。以下是正确的安装方法：
1. 移除旧的 NVIDIA 签名密钥
在安装 CUDA 之前，需要移除旧的 NVIDIA 签名密钥：
bash复制
sudo apt-key del 7fa2af80
2. 安装 CUDA 的 GPG 密钥
下载并安装 CUDA 的 GPG 密钥。根据 NVIDIA 官方文档，可以使用以下命令：
bash复制
wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
3. 更新 APT 软件包列表
更新 APT 的软件包列表，以确保可以找到 CUDA 的安装包：
bash复制
sudo apt update
4. 安装 CUDA Toolkit
安装 CUDA Toolkit：
bash复制
sudo apt install cuda-toolkit
5. 验证安装
安装完成后，可以通过以下命令验证 CUDA 是否安装成功：
bash复制
nvcc --version
如果安装成功，会显示 CUDA 的版本号。
6. 配置环境变量
为了确保系统能够找到 CUDA 的相关库和工具，需要配置环境变量。编辑 ~/.bashrc 文件，添加以下内容：
bash复制
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
然后运行以下命令使环境变量生效：
再用 nvidia-smi 验证驱动是否正确加载!
bash复制
source ~/.bashrc
ok nice
7. 重启系统
为了确保所有更改生效，建议重启系统：
bash复制
sudo reboot
或者
wsl --shutdown
然后
wsl
再执行
nvcc --version
视频原文：【5分钟学会微调大模型Qwen2】 https://www.bilibili.com/video/BV1BM4m117Jk
懒人包下载地址: 链接：https://pan.baidu.com/s/1nHs1WEzbC64GiKbNqiWpJw?pwd=4pje 预训练模型在model文件夹中，大家也可以下载其他的模型放到这个文件夹里面微调哦 （需要修改train.py 第10行的模型路径）
