找回密码
 会员注册
查看: 32|回复: 0

模型部署——rknn-toolkit-lite2部署RKNN模型到开发板上(python版)

[复制链接]

4

主题

0

回帖

13

积分

新手上路

积分
13
发表于 2024-9-12 16:33:46 | 显示全部楼层 |阅读模式
欢迎学习RKNN系列相关文章,从模型转换、精度分析,评估到部署,推荐好资源:一、Ubuntu系统上安装rknn-toolkit二、使用rknn-toolkit将Pytorch模型转为RKNN模型三、RKNN模型的评估和推理测试四、RKNN模型量化精度分析及混合量化提高精度五、RKNN模型性能评估和内存评估六、rknn-toolkit-lite2部署RKNN模型到开发板上(python版)七、RKNNCAPI开发板上落地部署RKNN模型八、RKNN零拷贝API开发板落地部署RKNN模型在RKNN模型部署前,需要注意以下几点:(1)硬件平台兼容性:确保你的开发板与RKNNToolkitLite2兼容。目前,RKNNToolkitLite2支持RockchipRK3566、RK3588、RK3399等平台。确认开发板的NPU型号和版本与RKNN模型的NPU算子兼容。(2)模型转换:使用RKNNToolkit或RKNNConverter工具将PyTorch、TensorFlow等框架模型转换为RKNN模型。转换时,需要指定目标硬件平台和NPU型号。确保模型转换成功,并生成相应的RKNN模型文件。关于模型转换的教程,参考我另外一篇博文:Pytorch转RKNN模型(3)部署环境:在开发板上安装RKNNRuntime和相关依赖库。确认开发板的系统版本和编译环境与RKNNToolkitLite2兼容。(4)模型加载:使用RKNNToolkitLite2提供的API加载RKNN模型。需指定模型文件路径以及其他参数。(5)模型推理:使用RKNNToolkitLite2提供的API进行模型推理。需提供输入数据和相关参数。(6)性能优化:可以使用RKNNToolkitLite2提供的性能分析工具分析模型性能。根据分析结果,可以对模型进行优化,以提高推理速度和降低功耗。目录一、源码包准备二、环境准备2.1安装Miniconda2.2新建虚拟环境2.3安装rknn_toolkit_lite2包2.4安装OpenCV包三、推理3.1代码3.2开发板推理结果四、总结一、源码包准备本配套源码包的获取方式为文章末扫码到公众号「视觉研坊」中回复关键字:RKNNLite2开发板部署。获取下载链接。下载解压后的样子如下:二、环境准备先在开发板上运行rknn_server,通过adb连通开发板,在开发板系统上安装python编译环境。2.1安装Miniconda在开发板系统上安装Miniconda的详细教程,见我另外一篇博客:Miniconda安装2.2新建虚拟环境上一步Miniconda安装好后,在此基础上安装一个新的虚拟环境,如下,:查看已有虚拟环境命令为:condaenvlist1创建新虚拟环境命令为:condacreate-nnamepython=3.91上面步骤创建好后激活虚拟环境,如下:激活命令为:condaactivatename12.3安装rknn_toolkit_lite2包rknn_toolkit_lite2包的轮子文件,在我提供源码包中的packages文件夹中,如下:在激活的虚拟环境中,进入到存放轮子文件目录下,使用下面命令安装:pipinstallrknn_toolkit_lite2-1.6.0-cp39-cp39-linux_aarch64.whl-ihttps://pypi.mirrors.ustc.edu.cn/simple/12.4安装OpenCV包在同样的虚拟环境下,使用下面命令安装opencv:pipinstallopencv-python-ihttps://pypi.mirrors.ustc.edu.cn/simple/1三、推理上面环境都准备好后,在终端通过命令进入到源码包目录下,运行下面命令即可在开发板上推理RKNN模型。pythonrknntoolkit_lite2_inference.py13.1代码此代码对应源码包中的rknntoolkit_lite2_inference.py脚本。fromrknnlite.apiimportRKNNLiteimportcv2importnumpyasnpdefshow_outputs(output)utput_sorted=sorted(output,reverse=True)top5_str='\n----------top5-----------\n'foriinrange(5):value=output_sorted[i]index=np.where(output==value)forjinrange(len(index)):if(i+j)>=5:breakifvalue>0:top1="{}:{}\n".format(index[j],value)else:top1="-1:0.0\n"top5_str+=top1print(top5_str)defshow_perfs(perfs):perfs="perfs:{}\n".format(perfs)print(perfs)defsoftmax(x):returnnp.exp(x)/sum(np.exp(x))if__name__=="__main__":rknn=RKNNLite()#使用load_rknn接口直接加载RKNN模型rknn.load_rknn(path="resnet18.rknn")#调用init_runtime接口初始化运行时环境rknn.init_runtime(core_mask=0,#core_mask表示NPU的调度模式,设置为0时表示自由调度,设置为1,2,4时分别表示调度某个单核心,设置为3时表示同时调度0和1两个核心,设置为7时表示1,2,4三个核心同时调度#targt="rk3588")#使用Opencv读取图片img=cv2.imread("space_shuttle_224.jpg")img=cv2.cvtColor(img,cv2.COLOR_BGR2RGB)#调用inference接口进行推理测试output=rknn.inference(inputs=[img],data_format=None)show_outputs(softmax(np.array(output[0][0])))#根据概率排名,打印出前5名的概率rknn.release()123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051523.2开发板推理结果运行上面脚本,输出推理结果如下:打开源码包中的图片和imagenet1000标签.txt文件对照查看,推理预测的结果与标签文件对应的类名一致,说明开发板推理结果正确,如下:四、总结以上就是rknn-toolkit-lite2部署RKNN模型到开发板上的详细过程,CAPI开发板部署见下一期博文。总结不易,多多支持,谢谢!感谢您阅读到最后!关注公众号「视觉研坊」,获取干货教程、实战案例、技术解答、行业资讯!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 会员注册

本版积分规则

QQ|手机版|心飞设计-版权所有:微度网络信息技术服务中心 ( 鲁ICP备17032091号-12 )|网站地图

GMT+8, 2024-12-26 12:27 , Processed in 0.486094 second(s), 26 queries .

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表