帧速率可伸缩视频编码制造技术

描述了用于帧速率可伸缩性的方法和系统。对于具有跨场景的可变帧速率和可变快门角度的输入和输出视频序列，或者对于具有固定的输入帧速率和输入快门角度、但允许解码器以不同于对应输入值的输出帧速率和快门角度生成视频输出的输入视频序列，提供支持。还呈现了允许解码器在计算上更高效地对所允许的那些帧速率和快门角度中的特定向后兼容目标帧速率和快门角度进行解码的技术。

【技术实现步骤摘要】
【国外来华专利技术】帧速率可伸缩视频编码相关申请的交叉引用本申请要求于2019年3月11日提交的美国临时申请第62/816,521号、于2019年5月21日提交的美国临时申请第62/850,985号、于2019年8月6日提交的美国临时申请第62/883,195号和于2019年9月24日提交的美国临时申请第62/904,744号的优先权的权益，所述美国临时申请中的每一个以引用方式以其全文并入。
本文件总体上涉及图像。更特别地，本专利技术的实施例涉及帧速率可伸缩(frame-ratescalable)视频编码。
技术介绍
如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度(例如，光亮度(luminance)、亮度(luma))的范围的能力，所述强度的范围例如是从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，DR与“参考显示的(display-refer本文档来自技高网...

【技术保护点】
1.一种用于以可变帧速率和快门角度对编码视频比特流进行解码的方法，所述方法由处理器执行并且包括：/n接收编码比特流，所述编码比特流包括编码视频帧，其中，一个或多个编码帧以第一帧速率和第一快门角度被编码；/n接收第一标志，所述第一标志指示存在要以第二帧速率和第二快门角度被解码的一组编码帧；/n从所述编码比特流访问用于所述一组编码帧的所述第二帧速率和所述第二快门角度的值；以及/n基于所述一组编码帧、所述第一帧速率、所述第一快门角度、所述第二帧速率和所述第二快门角度，生成所述第二帧速率和所述第二快门角度的解码帧。/n

【技术特征摘要】
【国外来华专利技术】20190311 US 62/816,521;20190521 US 62/850,985;20191.一种用于以可变帧速率和快门角度对编码视频比特流进行解码的方法，所述方法由处理器执行并且包括：
接收编码比特流，所述编码比特流包括编码视频帧，其中，一个或多个编码帧以第一帧速率和第一快门角度被编码；
接收第一标志，所述第一标志指示存在要以第二帧速率和第二快门角度被解码的一组编码帧；
从所述编码比特流访问用于所述一组编码帧的所述第二帧速率和所述第二快门角度的值；以及
基于所述一组编码帧、所述第一帧速率、所述第一快门角度、所述第二帧速率和所述第二快门角度，生成所述第二帧速率和所述第二快门角度的解码帧。


2.如权利要求1所述的方法，其中，生成所述第二帧速率和所述第二快门角度的所述解码帧包括：
对所述一组编码帧中的每一帧进行解码，以生成一组解码帧；以及
组合所述一组解码帧中的N个帧，以生成所述第二帧速率和所述第二快门角度的输出帧，其中，
N＝(target_shutter_angle/orig_shutter_angle)*(original_frame_rate/target_frame_rate)，
其中，target_shutter_angle表示所述第二快门角度，orig_shutter_angle表示所述第一快门角度，original_frame_rate表示所述第一帧速率，并且target_frame_rate表示所述第二帧速率。


3.如权利要求1所述的方法，进一步包括：
从所述编码比特流访问用于第二组编码帧的第三帧速率的第一参数值和第三快门角度的第二参数值，其中，所述第三帧速率不同于所述第二帧速率；以及
基于所述第二组编码帧、所述第一帧速率、所述第一快门角度、所述第三帧速率和所述第三快门角度，生成所述第三帧速率和所述第三快门角度的解码帧。


4.如权利要求2所述的方法，其中，所述第一帧速率为120fps，并且所述第一快门角度为360度。


5.如权利要求2所述的方法，进一步包括：在所述编码视频比特流中访问解码相位索引值，其中，所述解码相位索引值指示所述解码帧中的哪组N个帧要被组合在一起。


6.如权利要求5所述的方法，其中，对于120fps的第一帧速率和360度的第一快门角度，所述解码相位索引值指示序列帧的集合内的帧索引具有0到(n_frames_max-1)的索引值，其中，
n_frames_max＝120/target_frame_rate，
并且所述解码相位索引值介于0与n_frames_max-n_frames之间，其中，
n_frames＝target_shutter_angle/(3*target_frame_rate)。


7.一种用于以可变帧速率和快门角度对编码视频比特流进行解码的方法，所述方法由处理器执行并且包括：
接收编码比特流，所述编码比特流包括多组编码视频帧，其中，所述编码比特流中的所有编码视频帧以第一帧速率被编码；
接收组合帧的数量N；
接收基线帧速率的值；
访问一组N个连续编码帧，其中，所述一组N个连续编码帧中的第i编码帧表示在编码器中基于第一快门角度和所述第一帧速率以所述基线帧速率和第i快门角度被编码的最多i个输入视频帧的平均值，其中，i＝1、2、...N；
从所述编码比特流或从用户输入访问第二帧速率和第二快门角度的值，以用于以所述第二帧速率和所述第二快门角度对所述一组N个连续编码帧进行解码；以及
基于所述一组N个连续编码帧、所述第一帧速率、所述第一快门角度、所述第二帧速率和所述第二快门角度，生成所述第二帧速率和所述第二快门角度的解码帧。


8.如权利要求7所述的方法，其中，生成所述第二帧速率和所述第二快门角度的所述解码帧包括：
对所述一组N个连续编码帧中的每一帧进行解码，以生成一组N个解码帧；以及
基于所述一组N个解码帧、所述第二帧速率和所述第二快门角度，生成所述第二帧速率和所述第二快门角度的输出帧。


9.如权利要求8所述的方法，其中，当所述第二帧速率等于所述基线帧速率时，则所述一组N个连续编码帧中的经解码的第i帧对应于所述第二帧速率和由SA(i)给出的快门角度值的输出帧，其中，
SA(i)＝orig_shutter_angle*i*(target_frame_rate/original_frame_rate)，
其中，orig_shutter_angle表示所述第一快门角度，original_frame_rate表示所述第一帧速率，target_frame_rate表示所述第二帧速率，并且i＝1、2、…N。


10.如权利要求9所述的方法，其中，所述第一快门角度为360度，所述第一帧速率为120fps，N＝5，并且所述基线帧速率为24fps。


11.如权利要求7所述的方法，其中，当所述第二帧速率不同于所述基线帧速率时，生成所述第二帧速率和所述第二快门角度的输出帧包括：
针对假设的编码器计算所述第一帧速率和所述第一快门角度的对应输入帧的输入集，所述对应输入帧的输入集在组合时生成所述第二帧速率和所述第二快门角度的所述输出帧；
对所述一组N个连续编码帧中的每一帧进行解码，以生成一组N个解码帧；
计算所述一组N个解码帧中的帧的输出集，所述帧的输出集在组合在一起时生成与通过组合所述对应输入帧的输入集而生成的输出相匹配的输出；以及
基于所述一组N个解码帧中的所述帧的输出集来生成所述输出帧。


12.如权利要求11所述的方法，其中，对于所述第二帧速率和所述第二快门角度，从基于所述第一帧速率、所述第一快门角度和所述组合帧的数量N生成的查找表中取得所述输出集。


13.如权利要求8所述的方法，其中，所述一组N个连续编码帧中的至少一个帧与第一时间识别(ID)号相关联，并且所述一组N个连续编码帧中的至少第二帧与第二时间ID号相关联，并且解码进一步包括：
访问输出时间ID号；以及
从所述一组N个连续编码帧中仅对具有与所述输出时间ID号相匹配的时间ID号的帧进行解码。


...

【专利技术属性】
技术研发人员：R·阿特金斯，尹鹏，吕陶然，浦方君，S·T·麦卡锡，W·J·胡萨克，陈涛，苏冠铭，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国;US