RK3562 开发板:把 1 TOPS NPU 用起来,跑通第一个 RKNN 推理 demo

2026-11-20 15:04:13 pet_admin

「模型在 PC 上跑得好好的,一上板就报驱动错」「转出来的模型怎么都加载失败」「明明是 1 TOPS 的 NPU,推理却慢得不像硬件加速」——售后服务里,NPU 相关的求助几乎都落在这三句话上。真正的原因,八成不在模型本身,而在「转换工具 / 板端 runtime / NPU 驱动」三者没对齐,或输入输出预处理没对上。

第二天我们把屏点亮了,画面能显示;今天给它一点「智能」内容——跑通第一个 RKNN 推理 demo,把检测框画到那块屏上。顺序依旧是刻意排的:先证明驱动在、版本齐、shape 对,再去谈「推理快不快」。全文所有需要你自己测的数值,我们只给测量方法,不给结果。

接上期 / BEFORE YOU START

Day 02 做完,你手上应该有两样东西:一块电压、排线、屏参都对得上、已经能正常显示的屏,以及一份可随时换回去、可回退的 dts(配合 Day 01 的黄金镜像与调试串口)。今天所有的推理结果,最后都要画到「这块屏」上。

为什么先强调它:demo 在终端里打印出坐标不算完,能不能稳定显示在已点亮的屏上、成不成得了开机自启的样机,才决定它是不是一个能交付的功能。屏没点亮就先别急着调 NPU,回去把 Day 02 的验收记录补齐;有回滚路径,才敢反复换模型、换参数。

写给佩特的用户:我们的 RK3562 不是一个板型,而是一组——P01 开发板、P03 主板(标准 / LVDS / EDP 三个版本)、P04 通用主板、CORE 核心板,以及 Q 系列一体屏 / 一体机。本期引用的算力事实出自《PET_RK3562_P03(标准版)用户手册》原文:「内置 RKNN NPU,1TOPS 算力,用于 AI 应用」;摄像头接口、自检命令与自启机制出自《P01 硬件手册》《Debian 应用开发手册》《系统开发手册》。

不同板型的 NPU 描述、摄像头接口、系统自启方式与随货 SDK 都不一样。请按板卡型号找对应资料包,不要跨板型套用 SDK、镜像与设备名。

本文适用环境 / TESTED ON

硬件:RK3562 / RK3562J 系列,佩特 P01 / P03(标准版)/ P04 主板与 Q 系列一体机
系统:板端 Android 13 / Debian 11 / 12;PC 主机一台用于模型转换
物料:MIPI CSI 摄像头或 USB 摄像头、已点亮的屏(Day 02)、调试串口、对应板型排线
资料:随货 SDK(含 librknnrt 与官方 demo)、《Debian 应用开发手册》、《P03 标准版用户手册》、瑞芯微 RKNN 官方文档
说明:具体版本号、库路径、算子支持与性能数据,以随货 SDK 与瑞芯微官方文档为准

先收藏,跟着做更省事。三处版本匹配表、自检命令、验收清单,我们整理成了《Day3 NPU 推理速查卡》;后台回复「RKNN」领取 PDF 版。

一、先认清 RKNN:一颗 NPU,四个角色

「1 TOPS」是手册给出的算力标称,不是实测性能承诺。真正决定这个 demo 能不能跑起来的,是链路上的四个角色:训练后模型(PC 端的浮点权重,还不是 NPU 能直接加载的格式)→ rknn-toolkit2(PC 端做转换、配置量化、指定均值 / 归一化与输入 shape)→ .rknn 模型文件(量化后的编译产物,PC 与板端之间唯一的交付物)→ 板端 librknnrt + NPU 驱动(加载模型,通过 C / Python API 把计算交给 NPU)。

这里最容易被忽略、也最值得先写在纸上的,是「三处版本必须匹配」:PC 端的转换工具、板端的 librknnrt 运行时、内核里的 NPU 驱动。任意一处错开,常见表现就是「模型加载失败」或「能加载但结果全错」。具体版本号、库路径、算子支持与性能数据,一律以随货 SDK 与瑞芯微官方文档为准——本文不写死,也不替你猜。

还有一点要先讲清楚,免得走弯路:NPU 不是「把模型丢进去就自动变快」的黑盒。量化会把权重从浮点压到定点,带来精度与速度的取舍;输入 shape 一旦和转换时不一致,轻则报错、重则输出全是错的坐标。所以本文把「参数怎么记、怎么比」写得比「命令怎么敲」更重——这也是我们和一步到位的速成教程最大的区别。

RKNN 核心概念:1 TOPS 规格、四个角色卡、三处版本必须匹配

▲ 图 1 一颗 NPU、四个角色,以及最容易被忽略的「三处版本必须匹配」

Day 3 路线图:5 件事,约 90 分钟

从驱动自检到把检测框画上屏,一共 5 件事、约 90 分钟。和前两期一样,每一步都给一个可验证的验收标准——这是同行教程普遍缺、但我们坚持写的一条:跑通不等于验过,验过才敢往下走。

Day3 五步路线图:确认 NPU 就绪、认清链路、备齐环境、跑通 demo、上屏固化

▲ 图 2 五件事的时间分配、每步交付物与 TOTAL 汇总

STEP 01 / 15 MIN
确认 NPU 驱动与运行时就绪

第一步不碰模型,先问板子「NPU 在不在」。三条只读检查:① dmesg | grep -i rknpu 看内核启动日志里 NPU 驱动有没有正常初始化、有没有报错;② lsmod 列出已加载模块,人工确认 NPU 相关项在列;③ 翻随货 SDK,确认里面的 librknnrt 与官方 demo 和板端当前系统是同一套、匹配的——别从别处随手拷一个库过来。

把「转换工具 / 板端 runtime / NPU 驱动」三处版本抄进一张表,先对齐再往下走。这一步花十分钟,能省掉后面两小时的「模型加载失败」排查。命令输出以板端实测为准,本文不编造任何日志内容、寄存器与设备树节点。

这三条检查都是只读的,不会改动系统,放心在样机上跑。如果 dmesg 里连 rknpu 相关的初始化信息都搜不到,先别怀疑模型,回到固件与 SDK 的匹配上:确认当前板端系统就是随货 SDK 对应的那套镜像,必要时用 Day 01 的烧录流程重烧一次干净系统再验。

# 板端:驱动与运行时自检(只读,不改系统)$ dmesg | grep -i rknpu$ lsmod# 查随货 SDK:确认 librknnrt 与 demo 和板端系统匹配# 库路径、版本号以随货 SDK 为准,本文不写死
STEP 01 命令台:dmesg、lsmod、三处版本匹配与只读自检命令

▲ 图 3 先看驱动在不在,再看三处版本对不对齐

STEP 01 验收标准:dmesg 无 NPU 驱动报错;lsmod 见 NPU 相关模块;随货 SDK 的 librknnrt 与 demo 和板端系统匹配;三处版本对齐并记入表格。四项全过,才进 STEP 02。

STEP 02 / 15 MIN
认清链路:模型是怎么变成 NPU 能跑的

把这条数据流在纸上画一遍,比急着敲命令重要:PC 端用 rknn-toolkit2 加载训练后模型,配置量化、均值 / 归一化与输入 shape,导出 .rknn;把文件拷到板端;板端由 librknnrt 经 NPU 驱动加载模型,C / Python API 发起推理;拿到的输出张量还要经过后处理——置信度阈值筛选、NMS 去重复框、坐标还原——才变成能画到画面上的检测框。

五个参数两端必须一致:量化方式、输入 shape(尺寸 / 通道顺序 / 布局)、均值与归一化、后处理规则、置信度阈值。转换时怎么设,推理时就得怎么喂;「模型能加载但框乱飞」十有八九是这里没对上,而不是 NPU 坏了。所有转换参数与算子支持情况,以随货 SDK 与瑞芯微官方文档为准。

顺带把「量化」这个词说透:它的作用是把权重和激活从浮点压到定点,让 NPU 算得更快、占内存更少,代价是可能掉一点精度。所以 STEP 04 我们要求做「量化前后精度对比」,而不是只看能不能出结果。掉多少算可接受,得由你的场景自己定,本文同样不给阈值。

RKNN 关键链路流程:PC 转换、.rknn 交付、板端加载与推理、后处理画框

▲ 图 4 从模型到画框:五个节点与两端必须一致的五个参数

STEP 02 验收标准:能画出完整链路并说清每个参数的落点;.rknn 文件生成成功;把输入 shape、均值 / 归一化、量化方式与置信度阈值记下来,作为后面精度对比的基线。

STEP 03 / 20 MIN
备齐两端环境:Debian 自检 + PC 工具链 + 输入源

板端 Debian 侧要 python3、OpenCV、numpy。佩特《Debian 应用开发手册》给了三条现成自检,直接拿来用:验 OpenCV 的 python3 -c "import cv2; print(cv2.__version__)"、验 OpenCL 的 clinfo -a、验 OpenGL 的 glmark2-es2 --off-screen(按手册先停显示管理器、起 Xorg)。这些是手册写明的现成能力,不用自己猜包名。

# 板端 Debian:手册给出的三条现成自检$ python3 -c "import cv2; print(cv2.__version__)"$ clinfo -a# OpenGL 自检:先停显示管理器、起 Xorg$ systemctl stop gdm$ systemctl stop lightdm$ Xorg &$ glmark2-es2 --off-screen

PC 侧装好 rknn-toolkit2 并备齐模型文件;输入源用 MIPI CSI 摄像头或 USB 摄像头。《P01 硬件手册》写明的接口是 MIPI CSI 30Pin 4 Lane,可接两个 MIPI 摄像头,另有 HDMI 转 CSI 模组做 HDMI_IN。不方便接摄像头时,先用一张静态图片或一段视频文件把链路跑通也可以,别卡在硬件这一环。

佩特原厂专属提醒:P03 标准版 1TOPS NPU、MIPI CSI 接口、Debian 三自检、bootapp_qt 自启、Android 全屏广播

▲ 图 5 别去别处猜:佩特随货手册里已经写明的 5 件事

这张图是本期最值得存的一张。NPU 规格、摄像头接口、三条自检命令、bootapp_qt 自启机制与 Android 隐藏状态栏广播,都出自随货手册——通用教程不会替你写。具体路径与版本号仍以随货 SDK 与对应手册为准。

STEP 03 验收标准:三条自检命令都能正常执行、无「模块不存在」类报错;PC 端能打开并转换模型文件;摄像头(或替代输入源)能被系统识别并读到一帧。

STEP 04 / 20 MIN · 自己计时
跑通官方 demo,并自己统计 FPS

用随货 SDK 里的官方 demo 起步,别一上来就换自己的模型。按这个顺序验收:① 模型加载成功——观察加载日志,无报错;② 输入输出 shape 对齐——打印或查看张量形状,与转换时记录的一致;③ 量化前后精度对比——同一组样本,转换前后各测一次,自己记录差异;④ 自己用计时统计 FPS——循环推理 N 次,用总耗时算单帧耗时与帧率,或用 time 粗测整段耗时(含前后处理)。

最后这一条要特别说明:FPS 取决于模型、输入尺寸、量化方式、前后处理与系统负载,没有可以照抄的「标准值」。本文不给任何实测数值,也不建议你拿别人的数字当验收线。请自己计时、自己记录,写清测量条件(次数、是否预热、是否含前后处理),再写进《模型-版本-性能记录表》。测量方法比测量结果更重要。

# 循环推理 N 次,用总耗时统计单帧耗时 / FPS# 次数、预热、是否含前后处理,自己定义并记录$ time python3 <demo.py># 脚本名、参数与demo位置以随货 SDK 为准# 本文不提供、也不编造任何 FPS 实测数值

跑不起来时,先分「起不来」还是「结果不对」,再按五个分支逐条排除:驱动未加载、版本不匹配、模型算子不支持、内存不足、输入预处理不一致。前两个回头查 STEP 01 的三处版本,后三个分别看转换日志、可用内存与两端预处理参数。

把这五类分支抄进速查卡,比记五条命令有用:现场最贵的从来不是「不会敲」,而是「不知道该往哪个方向查」。驱动类和版本类往回查 STEP 01,算子类查转换日志,内存类看可用余量,预处理类两端逐项比——方向对了,通常十分钟内就能定位。

RKNN demo 失败分支排查树:驱动未加载、版本不匹配、算子不支持、内存不足、预处理不一致

▲ 图 6 五类常见失败分支:现象、定位方向与处理思路

STEP 04 验收标准:模型加载成功、shape 对齐、量化精度对比有记录、FPS 有自己测得的数据并注明测量条件;五类常见失败分支都能说出定位方向。

STEP 05 / 20 MIN
把检测框画到 Day 02 那块屏上,并固化

demo 在终端里打印出坐标不算完,把框画到第二天点亮的那块屏上,才算闭环。用 QT 或 OpenCV 把后处理得到的检测框叠加到画面上显示;这一步正好复用 Day 02 的显示链路,屏参、方向、分辨率都不用重调——这就是我们把点屏放在第二天的原因。

往交付形态再走一步:按《Debian 应用开发手册》做开机自启——QT 程序更名 bootapp_qt 放到 /usr/local/sbin/,桌面自启定义在 /etc/xdg/autostart/bootapp_qt.desktop;要改路径就改 /usr/local/sbin/boot_app.sh 里的 APP_PATH。Android 侧要让推理结果全屏,可用《系统开发手册》里的 gzpeite.intent.systemui.hidenavigation、hidestatusbar 等广播隐藏导航栏与状态栏。

# Debian:QT 程序开机自启(路径与文件名以手册为准)$ adb push bootapp_qt /usr/local/sbin/$ adb shell chmod +x /usr/local/sbin/bootapp_qt# 桌面自启项:/etc/xdg/autostart/bootapp_qt.desktop# Android 全屏(按需,广播名出自《系统开发手册》)$ am broadcast -a "gzpeite.intent.systemui.hidenavigation"
RKNN 推理验收速查卡:加载、shape、精度、自测 FPS、上屏、自启与固化记录表

▲ 图 7 验收清单 + 固化:《模型-版本-性能记录表》

STEP 05 验收标准:检测框正确叠在已点亮的屏上;做成开机自启后重启能自动运行;把 .rknn、三处版本、自测 FPS、后处理阈值记进《模型-版本-性能记录表》,和 Day 02《屏型配置表》、Day 01 黄金镜像一起归档。

第三天最容易踩的 6 个坑

#现象原因正确做法
01上板就报驱动错 / 找不到 NPUNPU 驱动未加载或固件不含dmesg 与 lsmod 先确认,再核对固件
02转出来的模型加载失败转换工具 / runtime / 驱动版本不匹配三处统一到同一套随货 SDK
03转换时报算子不支持模型含 NPU 不支持的层查转换日志与算子列表,换算子或调结构
04加载被杀 / 分配失败内存不足看可用内存,减小输入尺寸、释放占用
05能跑但框乱飞 / 结果全错输入预处理不一致对齐 shape、均值 / 归一化、通道序与阈值
06推理慢得不像 NPU前后处理在 CPU、含首次预热、或版本不对自己分段计时定位,别抄别人的 FPS

五件事做完,你手上应该有:一套三处版本对齐、驱动自检通过的 NPU 运行环境,一份能说清「模型怎么转成 .rknn、参数怎么对齐」的链路记录,一条自己计时测得、注明条件的性能基线,以及一块把检测框画上去、能开机自启的屏。

也别急着把今天这套直接当量产基线:现在的 demo 还跑在「手动搭起来的环境」里,模型文件、库、自启项都是后放上去的。要让它出厂上电就有,得进到固件层——这正是下一期要做的事。

到这一步,RK3562 才算从「一台能显示的设备」变成「一台能看懂画面的设备」。应用跑通了,下一步该把它变成出厂就有的能力——这就是 Day 04 要做的事。

PET LAB / NEXT · DAY 04

下期预告:第一次编译内核与设备树——从「会用」到「能改系统」,把今天这个 demo、模型文件与自启配置一起固化进固件,出厂上电就能跑。
后续还有 Day 05 外设驱动逐项点(CAN / RS485 / 4G / GPIO / 看门狗)、Day 06 量产烧录与镜像管理(系列收官),按「一天一个问题」更新,建议先关注。

联系我们

首页
产品
研发
新闻