B站画质补完计划（1）：插帧提升雍正王朝等视频流畅度

见贤思齐

本期作者邱慎杰哔哩哔哩高级算法工程师吴宇哔哩哔哩高级算法工程师盛高立哔哩哔哩内容运营经理蔡春磊哔哩哔哩多媒体算法teamleader1 前言喜欢观看历史剧的观众在B站刷剧时或许已经留意到，经典历史正剧《雍正王朝》悄然将画质从540p@25fps提升至1080p@50fps。在高清高帧率的加持下，这部描绘雍正皇帝生平的经典之作，以丝滑清晰的画面为观众带来了一场全新的视觉盛宴。图1. 左：修复前540p@25fps，右：修复后1080p@50fps而之所以视频流畅度会有如此大的提升，我们自研的视频插帧算法在其中发挥着关键作用。那么，插帧算法是如何实现帧率的提高、相较于目前开源的插帧算法，它又是如何克服视频插帧中常见问题的呢？接下来，我们将逐一揭秘。2 背景随着B站用户规模和日活跃用户的增加，以及播放设备性能的不断提高，低帧率视频在现有设备上已无法充分发挥其性能，进而影响用户感受更加细腻的动态画面。为解决这一问题，B站开发了一套主要服务于点播场景的云端视频插帧算法，通过AI模型将低帧率视频插帧至高帧率，旨在改善视频流畅度，提升用户的观看体验。3 现有技术视频插帧，顾名思义就是在视频时序上连续的每两帧中增加若干帧，缩短帧之间的时间间隔，提高视频的帧率和流畅度。目前常见的插帧方法普遍有三种：直接复制前一帧或者后一帧作为中间帧，即复制帧；将前后两帧进行类似双重曝光的模糊处理来得到中间帧，即混合帧；基于光流模型的插帧，通过对前后两帧画面进行分析建模生成光流从而得到帧间线性映射关系，最终采样预测出中间帧。上述提到的三种插帧方式中，第一种方式完全依靠的是复制上一帧或者下一帧来提高帧率，在实际应用中，并不会带来视觉上的提升，有时反而会加重视频卡顿感；第二种方法虽然参考的前后两帧的信息，但简单的双重曝光模糊会导致较为严重的拖影，同时一帧清晰一帧模糊会给视频编码带来额外的负担；而基于光流估计模型的插帧方法，通过对前后两帧的运动关系进行建模生成光流，并根据光流中的映射关系从前后帧采样来预测出中间帧，相较于上两种插帧方式，这种方式合成出的中间帧更加合理，大量的实际应用结果也表明，基于光流估计的深度学习模型的视频插帧不论是主观感受还是客观指标，都要好于其他方式。目前常见的光流插帧算法流程都是先预测出双向稠密光流，再结合前后帧，最终warp出中间帧。其中的代表作有SuperSlomo、DAIN、RIFE、IFRNet等，这些算法的提出，使得AI视频插帧在效果及速度上得到进一步的提升，为插帧的实际应用奠定了坚实的基础。图2. 基于光流的插帧方法我们充分借鉴了多种插帧算法的优点，以IFRNet为基础模型做深入改进。在面对实际应用中的挑战时，我们不仅优化了模型结构，还在训练技巧和推理技巧等方面做出了进一步的调整。最终在RTX3090上，我们成功将1080p视频的最快推理速度提升至165fps，实现了高效处理点播视频稿件的需求。4 技术挑战及算法优化尽管目前的光流插帧算法已经在许多场景下表现出色，但在学术和工业领域仍存在一些亟待解决的算法缺陷。从用户观看体验的角度来看，这些缺陷主要包括大运动缺陷、重复/周期性纹理缺陷和文字扭曲缺陷。在插帧后的视频中，微小区域内出现的伪影缺陷在连续播放中可能不容易察觉。然而，当伪影的面积足够大时，即使在个别帧中偶然出现，也会对视频观感产生极大的负面影响。因此，在确保客观指标如PSNR和SSIM足够好的前提下，我们将视频插帧的主观效果优化作为模型主要的优化方向。下面我们将详细介绍各种插帧缺陷的形成原因，并说明在训练和推理过程中我们如何引入不同的技巧来解决这些问题。通过针对性的算法优化，我们完善了插帧算法在实际应用中的表现，从而为用户带来更丝滑流畅的画面。4.1 大运动缺陷大运动缺陷在一些注重模型推理速度的小模型上较为普遍。其根本原因是小模型的复杂度较低，感受野较小，导致其对大运动的建模能力不足，无法捕捉远距离运动，从而影响对光流的准确预测，最终影响合成的中间帧。通常情况下，在运动肢体部位存在大幅摆动等大运动时，插帧结果可能出现“断肢”的情况，例如图3前后两帧（图左和图右）的画面中人物肢体存在大幅摆动等大运动时，插帧结果会出现“断肢”的情况（图3中）。而在连续播放时，这常常表现为运动肢体部位明显的闪烁。图3. 左：前一帧，中：优化前的预测帧，出现断肢，右：后一帧解决方案：通常插帧是在两帧的中间时刻（t=0.5）进行的，但现有的光流插帧模型已经可以在两帧之间的任意时刻（0