视频的处理方法、装置、设备和计算机存储介质制造方法及图纸

本发明专利技术提供了一种视频的处理方法、装置、设备和计算机存储介质，其中方法包括：将视频转码所采用的模型信息携带在网络抽象层(NAL)单元的补充增强信息(SEI)中；发送所述NAL单元。以及，接收视频的NAL单元；从所述NAL单元的SEI中解析所述视频转码所采用的模型信息。本发明专利技术通过将视频转码所采用的模型信息携带在SEI中的方式，实现模型信息从视频的发送端到接收端的传递，使得视频的接收端能够依据SEI中的模型信息正确地进行模型重建，进而进行视频的渲染播放。

Video processing methods, devices, equipment and computer storage media

The invention provides a video processing method, device, device and computer storage medium, in which the method includes: carrying the model information used for video transcoding into the supplementary enhancement information (SEI) of the network abstraction layer (NAL) unit, and transmitting the NAL unit. A NAL unit that receives video and parses the model information used for video transcoding from the SEI of the NAL unit. By carrying the model information used in video transcoding in SEI, the method realizes the transmission of model information from the transmitting end to the receiving end of the video, so that the receiving end of the video can correctly reconstruct the model according to the model information in SEI, and then render and play the video.

【技术实现步骤摘要】
视频的处理方法、装置、设备和计算机存储介质
本专利技术涉及计算机应用
的视频处理技术，特别涉及一种视频的处理方法、装置、设备和计算机存储介质。
技术介绍
全景视频的压缩技术已经成为虚拟现实(VR，VirtualReality)
的研究重点，全景视频通常在视频转码时，需要全景视频映射展开为平面图像，映射展开过程中可能采用不同的模型，例如Equirectangular(等距长方圆柱投影)模型、CubeMap(立方图投影)模型、Pyramid(金字塔投影)模型、Pyramid变种模型等等。其中一些模型是码率无差别分配的模型，例如Equirectangular模型和CubeMap模型，这些模型在全景视频的展开平面上均匀分配码率。而另一些模型是基于视角的码率分配模型，例如Pyramid模型和Pyramid变种模型，这些模型会将全景视频分成多路视频，使得每一路映射的视频在特定视角上具有高清晰度，即码率在特定视角上集中分配。相应地，全景视频的接收端在对接收到的视频数据进行解码后，需要获知全景视频发送端在视频转码过程中采用的模型，如果是基于视角的码率分配模型，则需要进一步获知视角信息，据此进行模型重建，然后进行视频的三维渲染。一旦全景视频的接收端采用了错误的模型进行重建，则会造成视频渲染失败而无法正常播放，因此，由于视频转码过程中所采用模型的多样性和相同模型的多视角特性，如何实现模型信息的传递成为亟待解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种视频的处理方法、装置、设备和计算机存储介质，以便于实现模型信息的传递，使得视频的接收端能够正确地进行模型重建。具体技术方案如下：本专利技术提供了一种视频的处理方法，该方法包括：将视频转码所采用的模型信息携带在网络抽象层NAL单元的补充增强信息SEI中；发送所述NAL单元。根据本专利技术一优选实施方式，所述模型信息包括：模型类型信息；或者，模型类型信息和模型的视角信息。根据本专利技术一优选实施方式，所述模型信息还包括：是否包含视角信息的指示信息。根据本专利技术一优选实施方式，所述模型的视角信息包括：模型的视角在视角表中的索引信息。根据本专利技术一优选实施方式，所述模型的视角信息包括：视角表示方式信息、所述模型的视角信息的长度信息以及具体的视角信息。根据本专利技术一优选实施方式，所述视角表示方式包括：欧拉角、四元数或旋转矩阵。根据本专利技术一优选实施方式，若采用欧拉角的视角表示方式，则对应的具体的视角信息包括：欧拉角的量化信息，所述量化信息为以5度为单位的量化值。根据本专利技术一优选实施方式，若采用四元数的视角表示方式，则对应的具体的视角信息包括：旋转轴信息和对应旋转角的量化信息，所述量化信息为以5度为单位的量化值。根据本专利技术一优选实施方式，所述模型信息用于指示本NAL单元所在分片的视频转码所采用的模型信息；或者，用于指示本NAL单元的后续NAL单元的视频转码所采用的模型信息。本专利技术提供了一种视频的处理方法，该方法包括：接收视频的网络抽象层NAL单元；从所述NAL单元的补充增强信息SEI中解析所述视频转码所采用的模型信息。根据本专利技术一优选实施方式，所述模型信息包括：模型类型信息；或者，模型类型信息和模型的视角信息。根据本专利技术一优选实施方式，所述模型信息还包括：是否包含视角信息的指示信息；若所述指示信息指示不包含视角信息，则从所述NAL单元的SEI中解析模型类型信息；若所述指示信息指示包含视角信息，则从所述NAL单元的SEI中解析模型类型信息和模型的视角信息。根据本专利技术一优选实施方式，所述模型的视角信息包括：模型的视角在视角表中的索引信息；该方法还包括：利用解析得到的所述索引信息在视角表中查找对应的模型视角。根据本专利技术一优选实施方式，所述模型的视角信息包括：视角表示方式信息、所述模型的视角信息的长度信息以及具体的视角信息。根据本专利技术一优选实施方式，所述视角表示方式包括：欧拉角、四元数或旋转矩阵。根据本专利技术一优选实施方式，若解析出视角表示方式为欧拉角，则从所述具体的视角信息中获取欧拉角的量化信息，所述量化信息为以5度为单位的量化值。根据本专利技术一优选实施方式，若解析出视角表示方式为四元数，则从所述具体的视角信息中获取旋转轴信息和对应旋转角的量化信息，所述量化信息为以5度为单位的量化值。根据本专利技术一优选实施方式，该方法还包括：将解析出的模型信息作为所述NAL单元所在分片的视频转码所采用的模型信息；或者，将解析出的模型信息作为所述NAL单元的后续NAL单元的视频转码所采用的模型信息。根据本专利技术一优选实施方式，该方法包括：利用解析得到的模型信息进行模型重建；利用重建的模型进行视频的渲染。本专利技术还提供了一种视频的处理装置，设置于视频的发送端，该装置包括：封装单元，用于将视频转码所采用的模型信息携带在网络抽象层NAL单元的补充增强信息SEI中；发送单元，用于发送所述NAL单元。根据本专利技术一优选实施方式，所述模型信息包括：模型类型信息；或者，模型类型信息和模型的视角信息。根据本专利技术一优选实施方式，所述模型信息还包括：是否包含视角信息的指示信息。根据本专利技术一优选实施方式，所述模型的视角信息包括：模型的视角在视角表中的索引信息。根据本专利技术一优选实施方式，所述模型的视角信息包括：视角表示方式信息、所述模型的视角信息的长度信息以及具体的视角信息。根据本专利技术一优选实施方式，所述模型信息用于指示本NAL单元所在分片的视频转码所采用的模型信息；或者，用于指示本NAL单元的后续NAL单元的视频转码所采用的模型信息。本专利技术还提供了一种视频的处理装置，该装置设置于视频的接收端，该装置包括：接收单元，用于接收视频的网络抽象层NAL单元；解析单元，用于从所述NAL单元的补充增强信息SEI中解析所述视频转码所采用的模型信息。根据本专利技术一优选实施方式，所述模型信息包括：模型类型信息；或者，模型类型信息和模型的视角信息。根据本专利技术一优选实施方式，所述模型信息还包括：是否包含视角信息的指示信息；若所述指示信息指示不包含视角信息，则所述解析单元从所述NAL单元的SEI中解析模型类型信息；若所述指示信息指示包含视角信息，则所述解析单元从所述NAL单元的SEI中解析模型类型信息和模型的视角信息。根据本专利技术一优选实施方式，所述模型的视角信息包括：模型的视角在视角表中的索引信息；所述解析单元，还用于利用解析得到的所述索引信息在视角表中查找对应的模型视角。根据本专利技术一优选实施方式，所述模型的视角信息包括：视角表示方式信息、所述模型的视角信息的长度信息以及具体的视角信息。根据本专利技术一优选实施方式，所述解析单元将解析出的模型信息作为所述NAL单元所在分片的视频转码所采用的模型信息；或者，将解析出的模型信息作为所述NAL单元的后续NAL单元的视频转码所采用的模型信息。根据本专利技术一优选实施方式，该装置还包括：重建单元，用于利用所述解析单元解析得到的模型信息进行模型重建；渲染单元，用于利用所述重建单元重建的模型进行视频的渲染。本专利技术还提供了一种设备，包括存储器，包括一个或者多个程序；一个或者多个处理器，耦合到所述存储器，执行所述一个或者多个程序，以实现上述方法中的操作。本专利技术还提供了一种计算机存储介质，所述计算机存储介质被编码有计算机程序，所述本文档来自技高网...

【技术保护点】
1.一种视频的处理方法，其特征在于，该方法包括：将视频转码所采用的模型信息携带在网络抽象层NAL单元的补充增强信息SEI中；发送所述NAL单元。

【技术特征摘要】
1.一种视频的处理方法，其特征在于，该方法包括：将视频转码所采用的模型信息携带在网络抽象层NAL单元的补充增强信息SEI中；发送所述NAL单元。2.根据权利要求1所述的方法，其特征在于，所述模型信息包括：模型类型信息；或者，模型类型信息和模型的视角信息。3.根据权利要求2所述的方法，其特征在于，所述模型信息还包括：是否包含视角信息的指示信息。4.根据权利要求2所述的方法，其特征在于，所述模型的视角信息包括：模型的视角在视角表中的索引信息。5.根据权利要求2所述的方法，其特征在于，所述模型的视角信息包括：视角表示方式信息、所述模型的视角信息的长度信息以及具体的视角信息。6.根据权利要求5所述的方法，其特征在于，所述视角表示方式包括：欧拉角、四元数或旋转矩阵。7.根据权利要求6所述的方法，其特征在于，若采用欧拉角的视角表示方式，则对应的具体的视角信息包括：欧拉角的量化信息，所述量化信息为以5度为单位的量化值。8.根据权利要求6所述的方法，其特征在于，若采用四元数的视角表示方式，则对应的具体的视角信息包括：旋转轴信息和对应旋转角的量化信息，所述量化信息为以5度为单位的量化值。9.根据权利要求2所述的方法，其特征在于，所述模型信息用于指示本NAL单元所在分片的视频转码所采用的模型信息；或者，用于指示本NAL单元的后续NAL单元的视频转码所采用的模型信息。10.一种视频的处理方法，其特征在于，该方法包括：接收视频的网络抽象层NAL单元；从所述NAL单元的补充增强信息SEI中解析所述视频转码所采用的模型信息。11.根据权利要求10所述的方法，其特征在于，所述模型信息包括：模型类型信息；或者，模型类型信息和模型的视角信息。12.根据权利要求11所述的方法，其特征在于，所述模型信息还包括：是否包含视角信息的指示信息；若所述指示信息指示不包含视角信息，则从所述NAL单元的SEI中解析模型类型信息；若所述指示信息指示包含视角信息，则从所述NAL单元的SEI中解析模型类型信息和模型的视角信息。13.根据权利要求11所述的方法，其特征在于，所述模型的视角信息包括：模型的视角在视角表中的索引信息；该方法还包括：利用解析得到的所述索引信息在视角表中查找对应的模型视角。14.根据权利要求11所述的方法，其特征在于，所述模型的视角信息包括：视角表示方式信息、所述模型的视角信息的长度信息以及具体的视角信息。15.根据权利要求14所述的方法，其特征在于，所述视角表示方式包括：欧拉角、四元数或旋转矩阵。16.根据权利要求15所述的方法，其特征在于，若解析出视角表示方式为欧拉角，则从所述具体的视角信息中获取欧拉角的量化信息，所述量化信息为以5度为单位的量化值。17.根据权利要求15所述的方法，其特征在于，若解析出视角表示方式为四元数，则从所述具体的视角信息中获取旋转轴信息和对应旋转角的量化信息，所述量化信息为以5度为单位的量化值。18.根据权利要求11所述的方法，其特征在于，该方法还包括：将解析出的模型信息作为所述NAL单元所在分片的视频转码所采用的模型信息；或者，将解析出的模型信息作为所述NAL单元的后续NAL单元的视频转码所采用的模型信息。19.根据权利要求10至18任一权项所述的方法，其特征在于，该方法包括：利用解析得到的模型信息进行模型重建；利用重建的模型进行视频的渲染。20.一种视频的处理装置，设...

【专利技术属性】
技术研发人员：尹海斌，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY