最全LLM大模型推理成绩实测（20260523）

推荐人：太平洋的水

2026-05-24 10:13:27

目前最详细的大圆模型测试各种设备都有，有手机，有电脑，有 Mac，有 Windows。

AI小值总结了该内容

2025-05-31 13:00:05

文章记录了作者使用不同硬件设备进行LLM大模型推理测试的过程和结果。测试涉及多种硬件，包括CPU、显卡、手机和平板等，主要使用q4km、q8和fp16（bf16）等参数进行推理，并记录了TTFT和TPS等性能指标。测试中加入了多个开源编程代理模型和推理模型，如Devstral、Mistral AI、All Hands AI、deepseek r1 0528 distill qwen3 8b等，并对模型的参数和性能进行了详细记录。此外，还提到了不同设备的配置和推理成绩，如Dell 7780工作站、HP Omen 暗夜精灵9、机械革命笔记本等，并对测试结果进行了分析和总结。