现有RK3588设备如何扩展AI算力？RK1828搭配YY3588部署指南

当系统、视频与AI任务同时运行时，主控与协处理器如何分工？

图1

如果你正在做一台边缘AI设备，可能已经遇到过这样的取舍：一块主控既要负责系统、视频和网络，又要同时承担模型推理。任务较轻时，这种集成方式简单直接；随着模型规模、视频路数或并发任务增加，资源争用、温度和响应延迟就可能一起成为瓶颈。此时，除了继续优化主控侧，还可以引入独立AI协处理器，让系统任务与推理任务分工运行。

YY3588本身已经具备RK3588的板载NPU，是否增加协处理器，取决于模型规模、输入规模、并发任务和持续运行条件。本文定位为官方资料核验型部署指南，重点梳理连接、供电、散热、软件版本和服务验证环节；性能数据引用Rockchip官方参考平台，YY3588+RK1828的具体表现仍需结合实际设备验证。

为什么YY3588还要搭配RK1828？

YY3588本身就是一块面向边缘AI的ARM计算平台。它采用Rockchip RK3588，CPU为4个Cortex-A76加4个Cortex-A55核心，最高频率2.4GHz；板载NPU峰值算力最高6 TOPS。官方Wiki目前列出的系统包括Android 14、Debian 12、Ubuntu 22.04、Buildroot和OpenHarmony。

这套配置已经可以承担设备控制、视频处理、网络通信和一部分RKNN模型推理。但在本地大语言模型、多模态模型或更高吞吐的视觉推理场景中，还会遇到两个实际问题：

1.AI任务会与主系统争用资源；

2. 模型推理、摄像头处理、业务程序和网络服务都放在一块SoC上，系统调度和散热设计会变得更复杂。

在这套组合中，YY3588继续负责Linux/Android系统、外设、网络和业务调度，RK1828作为独立AI协处理器，集中执行经RKNN3工具链处理后的神经网络推理。

可以把组合关系理解为：

开发电脑（配置、调试，可选）

         |

      ADB / SSH

         |

YY3588（RK3588主控、系统与业务程序）

         |

  PCIe / 已适配的通信链路

         |

RK1828（独立AI协处理器）

图2

需要注意的是，YY3588的6 TOPS与RK1828的20 TOPS分别来自不同NPU，不能直接相加后当作某个模型的实际性能。最终速度取决于具体模型、量化方式、软件版本、输入长度、任务调度和散热条件。

先认识RK1828：M.2形态的AI协处理器

根据Rockchip RM182XMC0 Datasheet V1.1，RK1828模组的主要特征包括：

项目

RK1828模组信息

产品角色

AI协处理器

NPU峰值算力

最高20 TOPS（INT8）

支持的数据类型

INT4、INT8、INT16、FP8、FP16、BF16

处理器

3个独立64位RISC-V核心

片上DRAM

5GB

模组尺寸

22mm x 80mm x 6mm（不含风扇版本）

连接器

M.2 Key B-M

高速通信

PCIe 2.1或USB 3.0，两者复用同一Multi-PHY

M.2描述的是机械形态和连接器类型。判断RK1828能否接入一块主控板，还要核对宿主端的PCIe模式、复位与时钟、驱动、系统镜像、独立供电和结构空间。

YY3588官方Wiki把板底M.2 M-key槽定义为PCIe 3.0 NVMe SSD接口；现有公开页面尚未提供RK1828直接插入该槽的完整接线和供电说明。因此，实际组合应使用youyeetoo确认过的YY3588+RK1828连接方案、配套镜像和套件清单，以已适配的M.2/PCIe扩展方案为准。

图3

上电前必须确认的四件事

1.确认系统镜像已经适配RK1828

Rockchip RKNN3 Quick Start V1.0.4中的协处理器示例使用Rockchip RK3588 EVB。RK3588芯片相同，并不代表所有第三方RK3588板卡镜像已经包含相同的PCIe端点支持、设备树和用户态组件。

在YY3588上部署时，应使用供应方明确标注支持RK1828的系统镜像或BSP，并按照对应版本的适配说明操作。Rockchip EVB示例可以帮助理解流程，但不直接代替YY3588的板级适配资料。

2. 锁定同一套RKNN3版本

本文的软件基线是RKNN3 SDK V1.0.4。以下组件应来自同一版本：

• RK1828固件；

• YY3588上的RKNN3 Runtime；

• rknn3_transfer_proxy；

• rkllm3-server；

• RKNN模型及配套的tokenizer、embedding文件。

部署时应统一使用同一版本的固件、Runtime、模型和服务程序。例如，V1.0.4模型应配套V1.0.4运行环境，以减少加载失败和兼容性问题。

3. 按模组与套件规格供电

RM182XMC0 Datasheet给出的模组推荐输入是12V典型值，允许范围为8V至14.4V，推荐输入电流范围为2A至4A。具体转接板和销售套件还可能有自己的电源要求，因此应使用套件指定的适配器和供电方式。

24V已经超过模组资料给出的输入范围，存在损坏硬件的风险；负载下出现通信异常时，应优先核对适配器、电流能力、线材压降和转接板要求。

所有安装、拆卸和转接板操作都应在断电状态下完成，避免热插拔。

4. 持续负载需要主动散热

Rockchip散热设计指南明确使用带风扇散热器进行大模型功耗和结温测试，并建议按不同工作模式设计散热能力。持续运行LLM或高吞吐视觉模型时，应安装与模组匹配的散热器和风扇，并保证机箱风道。

模型成功启动后，还应通过持续负载测试观察温度、频率和稳定性，确认散热能力能够覆盖实际工作时长。

图4

图5

软件验证：先确认两级设备，再启动模型

图6

下面命令限定在以下环境：

• 开发电脑为Ubuntu/Debian类Linux；

• YY3588运行已经适配RK1828的64位Linux镜像；

• RKNN3 Runtime和RK1828固件均为V1.0.4；

• YY3588与RK1828已经按配套方案完成断电安装和供电。

Android、Buildroot或自编译内核的目录和工具路径可能不同，需要按对应系统资料调整。

第一步：确认开发电脑能够访问YY3588

Rockchip Quick Start使用ADB连接RK3588主控。开发电脑尚未安装ADB时，可在Ubuntu/Debian中执行：

sudo apt install adb

adb devices

正常结果应至少出现一行设备序列号，状态为device：

List of devices attached

   device

设备序列号以adb devices的实际输出为准。

如果YY3588镜像没有启用ADB，但可以通过SSH或本地终端登录，也可以直接在板端继续后面的检查。RK1828是否正常工作，最终以板端设备识别结果为准。

第二步：确认YY3588为64位ARM系统

进入YY3588终端后执行：

uname -m

本文所用Linux安装包对应ARM64，预期输出为：

aarch64

若输出不是aarch64，需要改用与当前系统架构匹配的软件包。

第三步：确认RKNN3运行环境

与资料一同提供的Linux ARM64安装包名为：

rknn3_rk182x_m2_installer_arm64.tgz

该包的readme_install.txt要求以root身份或通过sudo运行install.sh。安装脚本会把运行库、固件、rknn3_transfer_proxy、rknn-smi和rkllm3-server写入系统目录，并配置启动服务。因此只能在确认“安装包版本与当前YY3588镜像匹配”后使用。

# 仅在安装包与YY3588镜像已经确认匹配时执行

sudo ./install.sh

如果系统已经由供应方预装V1.0.4环境，建议保留现有组件并先核对版本，避免重复安装造成覆盖。

第四步：让YY3588识别RK1828

先确认程序的实际安装路径，再在YY3588终端执行设备查询：

command -v rknn3_transfer_proxy

rknn3_transfer_proxy devices

V1.0.4 Quick Start手动部署示例使用/usr/bin，随资料提供的ARM64安装脚本则把程序安装到/bin。不同Linux系统还可能合并这两个目录，因此以command -v的实际输出为准。若第一条命令没有返回路径，说明运行环境尚未正确安装，不要继续启动模型。

PCIe连接正常时，官方文档给出的输出格式如下：

List of ntb devices attached

0000:01:00.0    <设备标识>    PCIE

第一列Bus ID和第二列设备标识以实际输出为准，示例中的0000:01:00.0仅用于说明格式。

只有看到RK1828设备后，才进入模型服务阶段。如果只有List of ntb devices attached而没有设备行，应先检查套件连接、独立供电、散热风扇、适配镜像和rknn3_transfer_proxy服务，不要直接把问题归因于模型文件。

多设备场景可以使用下面的命令查询Bus ID：

rknn-smi info

rkllm3-server的--device-id参数应填写实际查询到的Bus ID。

启动一个OpenAI兼容的大模型服务

RKNN3 V1.0.4提供rkllm3-server，用于加载RKNN格式的大模型，并提供部分OpenAI兼容接口。

启动前，至少要准备同一模型、同一版本配套的三个文件：

• *.rknn模型；

• *.tokenizer.gguf词表；

• *.embed.bin嵌入文件。

下面使用Rockchip Quick Start中的Qwen2.5-3B文件名作为示例。实际文件名或目录不同，就必须替换成真实路径：

rkllm3-server

 -m qwen2.5-3b.rknn

 --vocab qwen2.5-3b.tokenizer.gguf

 --embed qwen2.5-3b.embed.bin

 --alias Qwen2.5-3B

 --host 127.0.0.1

 --port 8080

 -c 768

 --n-predict 512

 --repeat-penalty 1.1

 --presence-penalty 1.0

 --frequency-penalty 1.0

 --top-k 1

 --top-p 0.8

 --temp 0.8

只有一块RK1828时，--device-id不是必填项。连接多块协处理器时，再增加：

--device-id

这里把监听地址设为127.0.0.1，是因为官方示例API不要求真实密钥，不适合未经保护直接暴露到局域网或公网。如果需要让其他设备访问，应先配置访问控制或反向代理，再决定是否监听0.0.0.0。

先检查服务是否就绪

保持服务进程运行，在第二个终端执行：

curl -i http://127.0.0.1:8080/health

根据V1.0.4文档：

• HTTP 503并返回Loading model：模型仍在加载；

• HTTP 200并返回{"status":"ok"}：服务已经就绪。

只有收到200后再发送对话请求。

调用OpenAI兼容接口

curl http://127.0.0.1:8080/v1/chat/completions

 -H "Content-Type: application/json"

 -H "Authorization: Bearer no-key"

 -d '{

   "model": "Qwen2.5-3B",

   "messages": [

     {"role": "system", "content": "You are a helpful assistant."},

     {"role": "user", "content": "请用三句话介绍边缘AI。"}

   ]

 }'

rkllm3-server提供部分OpenAI兼容接口，具体兼容范围以当前版本实现为准。把现有应用迁移过来时，还应逐项验证流式输出、错误格式、上下文长度和多会话行为。

官方性能数据应该怎样看？

RKNN3 SDK V1.0.4 Release Note给出了一组RK3588+RK1828参考结果：

模型

Input Tokens

New Tokens

TTFT

Decode TPS

Qwen2.5-7B

128

128

162.25ms

70.47

Qwen3-4B

128

128

109.78ms

88.47

Qwen3-8B

128

128

182.20ms

61.34

同一版本说明还列出YOLOv8s在640 x 640输入下的参考结果：单核33.01 FPS，多batch多核212.32 FPS。

图7

这些数字需要连同测试条件一起阅读：测试平台是RK3588+RK1828，二者通过PCIe连接；RK3588使用performance模式；RK1828 NPU频率为1GHz。Release Note没有注明所用RK3588主板为YY3588，因此上表属于Rockchip官方软件版本的参考数据，YY3588实机成绩和业务端到端性能仍需在目标环境中测试。

RM182XMC0 Datasheet V1.1把RK1828定位为支持7B大模型，而V1.0.4 Release Note还列出了Qwen3-8B测试。这说明特定Qwen3-8B模型可以在对应量化方案和测试条件下运行；不同8B模型的速度、内存占用和上下文长度仍需分别验证。

常见问题：先排链路，再排模型

adb devices没有设备

Rockchip文档建议依次检查USB数据线、电脑USB端口和ADB服务。电脑与Docker容器不要同时各自占用一个ADB Server；需要在容器中使用ADB时，可以先在电脑侧执行：

adb kill-server

rknn3_transfer_proxy devices没有设备行

优先检查四项：

3. 是否使用YY3588+RK1828已适配的连接方案；

4. RK1828供电是否符合套件要求；

5. YY3588镜像是否包含对应PCIe/驱动支持；

6. 固件、Runtime和Proxy是否均为V1.0.4。

供电排查应保持在资料规定的电压范围内，并核对适配器、电流能力、线材和转接板。

/health长期返回503

503只表示模型仍在加载。如果持续不恢复，应回到rkllm3-server前台日志，检查模型、tokenizer和embed文件是否属于同一模型与同一版本，以及模型路径是否正确。

接口能返回内容，但结果不符合预期

这时链路可能已经工作，问题更可能在模型转换、量化、聊天模板、提示词或采样参数。建议保存原始模型基线，并使用相同输入比较转换前后的结果，再定位差异来自模型还是硬件环境。

总结

RK1828与YY3588的组合逻辑很清晰：YY3588负责系统、接口和业务调度，RK1828作为独立AI协处理器承担经RKNN3部署的推理任务。真正决定项目能否落地的，不只是“20 TOPS”这个数字，而是下面这条证据链是否完整：

适配的物理连接和供电

       -> 匹配的YY3588系统镜像

       -> 同版本RKNN3固件与Runtime

       -> transfer_proxy识别RK1828

       -> 模型文件完整匹配

       -> health返回200

       -> 业务输入下验证准确率、延迟、温度和稳定性

已有设备升级，还是新建双模组方案？

对于已经部署的RK3588设备，完全替换原有硬件往往需要重新进行系统、结构和应用适配，升级成本并不低。如果现有平台具备可用的PCIe资源，并能满足供电、结构、驱动和系统镜像等适配条件，可以评估通过M.2/PCIe扩展方案接入RK1828，为设备增加最高20 TOPS（INT8）的独立NPU能力。

如果从零搭建双模组设备，或者希望采用便于统一适配的RK3588主控平台，可以考虑YY3588与RK1828组合方案。YY3588负责操作系统、网络、外设和业务程序，RK1828负责扩展本地AI推理能力。

更多关于YY3588+RK1828双模组方案、RK1828模组规格、配套扩展部件及部署方法，可查阅youyeetoo（风火轮机器人）发布的产品说明与技术资料。