什么值得买App下载 App ›
连续签到专享现金活动

Qwen3.5 在本地怎么用Transformers部署?

Qwen3.5 系列发布后,社区涌现了大量基于 vLLM、SGLang 等高级推理框架的部署教程。然而,这些框架对初学者而言学习曲线较陡,配置复杂度较高。相比之下,直接使用 HuggingFace Transformers 进行推理和训练更加灵活友好,但相关实践资料相对匮乏。经过测试,Qwen3.5 作为原生多模态模型,其 HF 部署方法与 Qwen-VL 系列高度一致。本文将提供完整的示例代码,帮助快速上手本地部署。
01环境准备
  1. 安装依赖包
    确保已安装 transformers、torch 等基础库,可通过 pip install transformers torch 安装。
  2. 加载模型与处理器
    使用 AutoModelForCausalLM 和 AutoProcessor 加载 Qwen3.5 模型及其对应的处理器。
  3. 配置推理参数
    根据硬件情况设置 torch_dtype(如 float16 或 bfloat16)和 device_map(如 auto)。
02代码示例
以下提供两个典型场景的完整代码示例,分别为本地图片推理和本地文件推理。
  1. 本地图片推理
    使用 processor 处理图片和文本输入,通过 model.generate() 生成响应。
  2. 本地文件推理
    读取本地文件内容,通过 processor 编码后输入模型进行推理。
03注意事项
  • 模型版本选择
    确保使用与 Qwen3.5 兼容的 transformers 版本,避免因版本不匹配导致报错。
  • 硬件资源要求
    推理过程中需注意显存占用,建议根据 GPU 显存调整 batch_size 和 max_length。
  • 输入格式规范
    图片和文本输入需符合 processor 的格式要求,否则可能导致推理失败。

评论

评论区空态插画

当前文章无评论,是时候发表评论了