VCAP如何利用GPU优化端侧推理

见贤思齐

JEEK容易脸红的编程大神深度学习端侧推理在这两年是一个比较引人注目的话题，如何利用终端有限的资源实现高性能推断成为主流研究方向。由于行业内仍有大量模型以浮点方式部署，再加上卷积神经网络的大规模流行，因此如何发挥GPU的并行加速能力显得至关重要。本文主要介绍vivo自研计算加速平台VCAP中采用的一些GPU加速思想。