视频编码、视频解码方法和装置、电子设备及存储介质制造方法及图纸

本申请提供了一种视频编码、视频解码方法和装置、电子设备及存储介质，其中，该视频编码方法包括：获取待编码视频的待编码图像组，所述待编码图像组包括待编码关键帧和多个待编码非关键帧；确定与所述待编码图像组匹配的目标编码模式，所述目标编码模式用于指示在多个所述待编码非关键帧所划分为的两个待编码片段中，第一个待编码片段中的所有所述待编码非关键帧参考所述待编码关键帧，第二个待编码片段中的各个所述待编码非关键帧参考位于各个所述待编码非关键帧之前的至少一个非关键帧；按照所述目标编码模式对所述待编码图像组进行编码。通过本申请，解决了相关技术中的视频编解码方式存在由于编解码时延过大导致数据传输时效性差的问题。

【技术实现步骤摘要】
视频编码、视频解码方法和装置、电子设备及存储介质
本申请通信
，尤其涉及一种视频编码、视频解码方法和装置、电子设备及存储介质。
技术介绍
目前，对于一些要求数据传输时效性的视频处理场景，可以使用低延迟编码方式对视频进行编码。例如，在VR编码中，主视角采用的是高清码流，其他视角采用的是低清码流。当使用者发生转头动作时，其他视角的码流需要切换到高清码流，避免使用者由于视角内的画面清晰度发生改变（由高清晰度的画面切换到低清晰度的画面）产生晕眩等不适反应，影响使用者的视觉体验。为了快速进行低清视频流到高清视频流的切换，VR编码需要使用低延迟编码。相关技术中采用的低延迟编码一般为LDP编码。在编码一个GOP内的每一个P帧时，既需要参考I帧，又需要参考前一个P帧，因此，编解码P帧的过程是串行的。在随机解码非第一个P帧时，需要等待前面的帧解码完才能解码该帧，即，需要首先解码其前面参考的帧，因此会有至少3帧的延迟，延迟时间大，不能满足快速转换视频流的需求。例如，在VR编码中，一个GOP中的最后一个帧需要前面所有的帧均解码完成才能解码该帧。当VR发生视角切换时，延迟过大，会大大降低使用体验。因此，相关技术中的视频编解码方式存在由于编解码时延过大导致数据传输时效性差的问题。
技术实现思路
本申请提供了一种视频编码、视频解码方法和装置、电子设备及存储介质，以至少解决相关技术中的视频编解码方式存在由于编解码时延过大导致数据传输时效性差的问题。根据本申请实施例的一个方面，提供了一种视频编码方法，包括：获取待编码视频的待编码图像组，其中，所述待编码图像组包括待编码关键帧和多个待编码非关键帧；确定与所述待编码图像组匹配的目标编码模式，其中，所述目标编码模式用于指示在多个所述待编码非关键帧所划分为的两个待编码片段中，第一个待编码片段中的所有所述待编码非关键帧参考所述待编码关键帧，第二个待编码片段中的各个所述待编码非关键帧参考位于各个所述待编码非关键帧之前的至少一个非关键帧；按照所述目标编码模式对所述待编码图像组进行编码。根据本申请实施例的另一个方面，还提供了一种视频解码方法，包括：获取待解码视频的待解码图像组，其中，所述待解码图像组包括待解码关键帧和多个待解码非关键帧；确定与所述待解码图像组对应的目标参考关系，其中，所述目标参考关系用于指示在多个所述待解码非关键帧所划分为的两个待解码片段中，第一个所述待解码片段中的所有所述待解码非关键帧参考所述待解码关键帧，第二个所述待解码片段中的各个所述待解码非关键帧参考位于各个所述待解码非关键帧之前的至少一个非关键帧；按照所述目标参考关系对所述待解码图像组进行解码。根据本申请实施例的又一个方面，还提供了一种视频编码装置，包括：获取单元，用于获取待编码视频的待编码图像组，其中，所述待编码图像组包括待编码关键帧和多个待编码非关键帧；确定单元，用于确定与所述待编码图像组匹配的目标编码模式，其中，所述目标编码模式用于指示在多个所述待编码非关键帧所划分为的两个待编码片段中，第一个待编码片段中的所有所述待编码非关键帧参考所述待编码关键帧，第二个待编码片段中的各个所述待编码非关键帧参考位于各个所述待编码非关键帧之前的至少一个非关键帧；编码单元，用于按照所述目标编码模式对所述待编码图像组进行编码。可选地，所述编码单元包括：确定模块，用于确定与所述待编码图像组对应的两个所述待编码片段，其中，每个所述待编码片段包括至少一个所述待编码非关键帧；第一编码模块，用于按照所述目标编码模式，对每个所述待编码片段中的每个所述待编码非关键帧进行编码。可选地，所述确定模块包括：第一确定子模块，用于根据目标延迟时间和目标编解码时间，确定目标级数，其中，所述目标延迟时间为允许的最大延迟时间，所述目标编解码时间为一个视频帧的编解码时间，所述编解码时间包含编码所用的时间和解码所用的时间，所述目标级数为在所述目标延迟时间内允许编解码出的非关键帧的数量；第二确定子模块，用于按照所述目标级数，确定与所述待编码图像组对应的两个所述待编码片段，其中，所述第二个待编码片段中包含的所述待编码非关键帧的数量小于或者等于所述目标级数与1的差值。可选地，所述第一确定子模块包括：第一确定子单元，用于确定所述目标延迟时间与第一编解码时间的目标时间差值，其中，所述第一编解码时间为一个关键帧的所述编解码时间；第二确定子单元，用于将所述目标时间差值与第二编解码时间的商，确定为所述目标级数，其中，所述第二编解码时间为一个非关键帧的所述编解码时间，所述目标编解码时间包含所述第一编解码时间和所述第二编解码时间。可选地，编码单元包括：第二编码模块，用于在当前待编码视频帧为所述待编码关键帧的情况下，对所述当前待编码视频帧进行帧内编码；第三编码模块，用于在当前待编码视频帧属于所述第一个待编码片段的情况下，按照所述目标编码模式，将所述待编码关键帧作为所述当前待编码视频帧的参考视频帧，对所述当前待编码视频帧进行目标编码；第四编码模块，用于在当前待编码视频帧属于所述第二个待编码片段的情况下，按照所述目标编码模式，将目标参考视频帧作为所述当前待编码视频帧的参考视频帧，对所述当前待编码视频帧进行目标编码，其中，所述目标参考视频帧包含位于所述当前待编码视频帧之前的至少一个非关键帧；其中，所述目标编码为以下之一：帧间编码，帧内编码结合帧间编码。可选地，所述第四编码模块包括：第三确定子模块，用于在与所述当前待编码视频帧对应的参考视频帧的数量为多个的情况下，按照所述目标编码模式，将所述待编码关键帧、以及位于所述当前待编码视频帧之前的至少一个非关键帧，确定为与所述当前待编码视频帧对应的所述目标参考视频帧；编码子模块，用于将所述目标参考视频帧作为所述当前待编码视频帧的参考视频帧，对所述当前待编码视频帧进行目标编码。可选地，所述编码单元包括：第五编码模块，用于按照所述目标编码模式，对所述待编码图像组中处于所述第一个待编码片段内的所有所述待编码非关键帧进行并行编码。可选地，获取单元包括：获取模块，用于在全景视频中目标对象的主视角区域由第一视角区域切换到第二视角区域的情况下，获取所述待编码视频的所述待编码图像组，其中，所述待编码视频为待编码全景视频中与所述主视角区域对应的部分，所述待编码图像组为发生视角切换后的第一个视频帧所在的图像组，与所述主视角区域对应的清晰度为第一清晰度，与所述全景视频中除了所述主视角区域以外的其他区域对应的清晰度为第二清晰度，所述第一清晰度高于所述第二清晰度。根据本申请实施例的又一个方面，还提供了一种视频解码装置，包括：获取单元，用于获取待解码视频的待解码图像组，其中，所述待解码图像组包括待解码关键帧和多个待解码非关键帧；确定单元，用于确定与所述待解码图像组对应的目标参考关系，其中，所述目标参考关系用于指示在多个所述待解码非关键帧所划分为的两个待解码片段中，第一个所述待解码片段中的所有所述待解码非关键帧参考所述待解码关键帧，第二个所述待解码片段中的各个所述待解码非关键帧参考位于各个所述待解码非关键帧之前的至少一本文档来自技高网...

【技术保护点】
1.一种视频编码方法，其特征在于，包括：/n获取待编码视频的待编码图像组，其中，所述待编码图像组包括待编码关键帧和多个待编码非关键帧；/n确定与所述待编码图像组匹配的目标编码模式，其中，所述目标编码模式用于指示在多个所述待编码非关键帧所划分为的两个待编码片段中，第一个待编码片段中的所有所述待编码非关键帧参考所述待编码关键帧，第二个待编码片段中的各个所述待编码非关键帧参考位于各个所述待编码非关键帧之前的至少非关键帧；/n按照所述目标编码模式对所述待编码图像组进行编码。/n

【技术特征摘要】
1.一种视频编码方法，其特征在于，包括：
获取待编码视频的待编码图像组，其中，所述待编码图像组包括待编码关键帧和多个待编码非关键帧；
确定与所述待编码图像组匹配的目标编码模式，其中，所述目标编码模式用于指示在多个所述待编码非关键帧所划分为的两个待编码片段中，第一个待编码片段中的所有所述待编码非关键帧参考所述待编码关键帧，第二个待编码片段中的各个所述待编码非关键帧参考位于各个所述待编码非关键帧之前的至少非关键帧；
按照所述目标编码模式对所述待编码图像组进行编码。


2.根据权利要求1所述的方法，其特征在于，所述按照所述目标编码模式对所述待编码图像组进行编码包括：
确定与所述待编码图像组对应的两个所述待编码片段，其中，每个所述待编码片段包括至少一个所述待编码非关键帧；
按照所述目标编码模式，对每个所述待编码片段中的每个所述待编码非关键帧进行编码。


3.根据权利要求2所述的方法，其特征在于，所述确定与所述待编码图像组对应的两个所述待编码片段包括：
根据目标延迟时间和目标编解码时间，确定目标级数，其中，所述目标延迟时间为允许的最大延迟时间，所述目标编解码时间为一个视频帧的编解码时间，所述编解码时间包含编码所用的时间和解码所用的时间，所述目标级数为在所述目标延迟时间内允许编解码出的非关键帧的数量；
按照所述目标级数，确定与所述待编码图像组对应的两个所述待编码片段，其中，所述第二个待编码片段中包含的所述待编码非关键帧的数量小于或者等于所述目标级数与1的差值。


4.根据权利要求3所述的方法，其特征在于，所述根据目标延迟时间和目标编解码时间，确定目标级数包括：
确定所述目标延迟时间与第一编解码时间的目标时间差值，其中，所述第一编解码时间为一个关键帧的所述编解码时间；
将所述目标时间差值与第二编解码时间的商，确定为所述目标级数，其中，所述第二编解码时间为一个非关键帧的所述编解码时间，所述目标编解码时间包含所述第一编解码时间和所述第二编解码时间。


5.根据权利要求1所述的方法，其特征在于，所述按照所述目标编码模式对所述待编码图像组进行编码包括：
在当前待编码视频帧为所述待编码关键帧的情况下，对所述当前待编码视频帧进行帧内编码；
在当前待编码视频帧属于所述第一个待编码片段的情况下，按照所述目标编码模式，将所述待编码关键帧作为所述当前待编码视频帧的参考视频帧，对所述当前待编码视频帧进行目标编码；
在当前待编码视频帧属于所述第二个待编码片段的情况下，按照所述目标编码模式，将目标参考视频帧作为所述当前待编码视频帧的参考视频帧，对所述当前待编码视频帧进行目标编码，其中，所述目标参考视频帧包含位于所述当前待编码视频帧之前的至少一个非关键帧；
其中，所述目标编码为以下之一：帧间编码，帧内编码结合帧间编码。


6.根据权利要求5所述的方法，其特征在于，所述按照所述目标编码模式，将目标参考视频帧作为所述当前待编码视频帧的参考视频帧，对所述当前待编码视频帧进行目标编码包括：
在与所述当前待编码视频帧对应的参考视频帧的数量为多个的情况下，按照所述目标编码模式，将所述待编码关键帧、以及位于所述当前待编码视频帧之前的至少一个非关键帧，确定为与所述当前待编码视频帧对应的所述目标参考视频帧；
将所述目标参考视频帧作为所述当前待编码视频帧的参考视频帧，对所述当前待编码视频帧进行目标编码。


7.根据权利要求1所述的方法，其特征在于，所述按照所述目标编码模式对所述待编码图像组进行编码包括：
按照所述目标编码模式，对所述待编码图像组中处于所述第一个待编码片段内的所有所述待编码非关键帧进行并行编码。


8.根据权利要求1至7中任一项所述的方法，其特征在于，所述获取待编码视频的待编码图像组包括：
在全景视频中目标对象的主视角区域由第一视角区域切换到第二视角区域的情况下，获取所述待编码视频的所述待编码图像组，其中，所述待编码视频为待编码全景视频中与所述主视角区域对应的部分，所述待编码图像组为发生视角切换后的第一个视频帧所在的图像组，与所述主视角区域对应的清晰度为第一清晰度，与所述全景视频中除了所述主视角区域以外的其他区域对应的清晰度为第二清晰度，所述第一清晰度高于所述第二清晰度。


9.一种视频解码方法，其特征在于，包括：
获取待解码视频的待解码图像组，其中，所述待解码图像组包括待解码关键帧和多个待解码非关键帧；
确定与所述待解码图像组对应的目标参考关系，其中，所述目标参考关...

【专利技术属性】
技术研发人员：宋嘉文，樊鸿飞，徐琴琴，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11