视频流滤波方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种视频流滤波方法、装置、设备及存储介质，该方法包括步骤：获取二维特征点的三维空间信息；所述二维特征点从视频流的一帧图像中确定；基于所述三维空间信息，确定所述二维特征点的法线投影值；输入所述法线投影值至三维滤波核，得到滤波结果；所述三维滤波核用于基于所述法线投影值对所述视频流进行滤波。本申请实现了通过三维信息来对视频流进行滤波，使得由此确定的边界信息是包含三维的边界信息的，而不会存在三维的边界信息缺失的问题，进而提高了视频流滤波得到的边界信息的准确性。息的准确性。息的准确性。

【技术实现步骤摘要】
视频流滤波方法、装置、设备及存储介质


[0001]本申请涉及视频流处理领域，尤其涉及一种视频流滤波方法、装置、设备及存储介质。

技术介绍

[0002]AR(Augmented Reality，增强现实)在使用时，需要使用到三维建模。三维建模主要是基于边界检测和处理的技术来实现的。
[0003]视频流滤波是一种边界检测和处理的技术，目前的视频流滤波考虑的是单帧图像的帧内邻域像素的边界信息及相邻帧的帧间信息，所考虑的信息均为图像中二维的边界信息(包括光线突变、色彩突变等)。因此，基于二维的边界信息来进行三维建模，会造成三维的边界信息的缺失，使得基于二维的边界信息来进行三维建模，得到的三维物体不够准确。即由于边界信息是二维的，对于三维建模而言，视频流滤波得到的边界信息不够准确。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种视频流滤波方法、装置、设备及存储介质，旨在提高视频流滤波得到的边界信息的准确性。
[0005]为实现上述目的，本申请提供一种视频流滤波方法，所述方法包括：
[0006]获取二维特征点的三维空间信息；所述二维特征点从视频流的一帧图像中确定；
[0007]基于所述三维空间信息，确定所述二维特征点的法线投影值；
[0008]输入所述法线投影值至三维滤波核，得到滤波结果；所述三维滤波核用于基于所述法线投影值对所述视频流进行滤波。
[0009]示例性的，所述输入所述法线投影值至三维滤波核，得到滤波结果，包括：
[0010]获取所述二维特征点的邻域像素的权重；
[0011]输入所述权重和所述法线投影值至三维滤波核，得到滤波结果；所述三维滤波核至少包括二维滤波核，所述二维滤波核为所述邻域像素的像素值。
[0012]示例性的，所述获取二维特征点的三维空间信息，包括：
[0013]对所述二维特征点进行视觉重建，得到所述二维特征点对应的三维坐标；所述三维坐标为所述二维特征点的三维空间信息。
[0014]示例性的，所述对所述二维特征点进行视觉重建，得到所述二维特征点对应的三维坐标，包括：
[0015]获取所述二维特征点在所述图像上的第一二维坐标；
[0016]获取与所述图像互为相邻帧的两个相邻图像；
[0017]获取两个相邻二维特征点分别在两个相邻图像上的两个第二二维坐标；所述两个相邻二维特征点与所述二维特征点是通过同一三维特征点成像得到的；
[0018]基于所述第一二维坐标和所述两个第二二维坐标，计算所述三维坐标。
[0019]示例性的，所述基于所述第一二维坐标和所述至少两个第二二维坐标，计算所述
三维坐标，包括：
[0020]输入所述第一二维坐标和所述至少两个第二二维坐标至坐标转换模型，得到三维坐标；所述坐标转换模型基于相机的成像原理构建得到。
[0021]示例性的，所述基于所述三维空间信息，确定所述二维特征点的法线投影值，包括：
[0022]将所述三维特征点投影至所述图像，得到所述二维特征点的法线投影值。
[0023]示例性的，所述将所述三维特征点投影至所述图像，得到所述二维特征点的法线投影值，包括：
[0024]获取所述三维特征点对应的面片的法线，并对所述法线进行归一化处理；
[0025]在将所述三维特征点投影至所述图像后，基于归一化后的法线和所述图像所在平面之间的夹角，确定所述二维特征点的法线投影值。
[0026]此外，为实现上述目的，本申请还提供一种视频流滤波装置，所述装置包括：
[0027]获取模块，用于获取二维特征点的三维空间信息；所述二维特征点从视频流的一帧图像中确定；
[0028]确定模块，用于基于所述三维空间信息，确定所述二维特征点的法线投影值；
[0029]滤波模块，用于输入所述法线投影值至三维滤波核，得到滤波结果；所述三维滤波核用于基于所述法线投影值对所述视频流进行滤波。
[0030]示例性的，所述滤波模块具体用于：
[0031]获取所述二维特征点的邻域像素的权重；
[0032]输入所述权重和所述法线投影值至三维滤波核，得到滤波结果；所述三维滤波核至少包括二维滤波核，所述二维滤波核为所述邻域像素的像素值。
[0033]示例性的，所述获取模块具体用于：
[0034]对所述二维特征点进行视觉重建，得到所述二维特征点对应的三维坐标；所述三维坐标为所述二维特征点的三维空间信息。
[0035]示例性的，所述获取模块还用于：
[0036]获取所述二维特征点在所述图像上的第一二维坐标；
[0037]获取与所述图像互为相邻帧的两个相邻图像；
[0038]获取两个相邻二维特征点分别在两个相邻图像上的两个第二二维坐标；所述两个相邻二维特征点与所述二维特征点是通过同一三维特征点成像得到的；
[0039]基于所述第一二维坐标和所述两个第二二维坐标，计算所述三维坐标。
[0040]示例性的，所述获取模块还用于：
[0041]输入所述第一二维坐标和所述至少两个第二二维坐标至坐标转换模型，得到三维坐标；所述坐标转换模型基于相机的成像原理构建得到。
[0042]示例性的，所述确定模块具体用于：
[0043]将所述三维特征点投影至所述图像，得到所述二维特征点的法线投影值。
[0044]示例性的，所述确定模块具体用于：
[0045]获取所述三维特征点对应的面片的法线，并对所述法线进行归一化处理；
[0046]在将所述三维特征点投影至所述图像后，基于归一化后的法线和所述图像所在平面之间的夹角，确定所述二维特征点的法线投影值。
[0047]此外，为实现上述目的，本申请还提供一种视频流滤波设备，所述视频流滤波设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的视频流滤波程序，所述视频流滤波程序被所述处理器执行时实现如上所述的视频流滤波方法的步骤。
[0048]此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视频流滤波程序，所述视频流滤波程序被处理器执行时实现如上所述的视频流滤波方法的步骤。
[0049]与现有技术中，边界信息是二维的，对于三维建模而言，由于三维的边界信息的缺失，导致视频流滤波得到的边界信息不够准确相比，本申请通过获取二维特征点的三维空间信息；所述二维特征点从视频流的一帧图像中确定；基于所述三维空间信息，确定所述二维特征点的法线投影值；输入所述法线投影值至三维滤波核，得到滤波结果；所述三维滤波核用于基于所述法线投影值对所述视频流进行滤波。本申请在对视频流进行滤波时，考虑了三维信息，即法线投影值，从而实现了通过三维信息来对视频流进行滤波，具体通过三维滤波核对视频流进行滤波，使得由此确定的边界信息是包含三维的边界信息的，而不会存在三维的边界信息缺失的问题，进而提高了视频流滤波得到的边界信息的准确性。
附图说本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频流滤波方法，其特征在于，所述方法包括：获取二维特征点的三维空间信息；所述二维特征点从视频流的一帧图像中确定；基于所述三维空间信息，确定所述二维特征点的法线投影值；输入所述法线投影值至三维滤波核，得到滤波结果；所述三维滤波核用于基于所述法线投影值对所述视频流进行滤波。2.如权利要求1所述的方法，其特征在于，所述输入所述法线投影值至三维滤波核，得到滤波结果，包括：获取所述二维特征点的邻域像素的权重；输入所述权重和所述法线投影值至三维滤波核，得到滤波结果；所述三维滤波核至少包括二维滤波核，所述二维滤波核为所述邻域像素的像素值。3.如权利要求1所述的方法，其特征在于，所述获取二维特征点的三维空间信息，包括：对所述二维特征点进行视觉重建，得到所述二维特征点对应的三维坐标；所述三维坐标为所述二维特征点的三维空间信息。4.如权利要求3所述的方法，其特征在于，所述对所述二维特征点进行视觉重建，得到所述二维特征点对应的三维坐标，包括：获取所述二维特征点在所述图像上的第一二维坐标；获取与所述图像互为相邻帧的两个相邻图像；获取两个相邻二维特征点分别在两个相邻图像上的两个第二二维坐标；所述两个相邻二维特征点与所述二维特征点是通过同一三维特征点成像得到的；基于所述第一二维坐标和所述两个第二二维坐标，计算所述三维坐标。5.如权利要求4所述的方法，其特征在于，所述基于所述第一二维坐标和所述至少两个第二二维坐标，计算所述三维坐标，包括：输入所述第一二维坐标和所述至少两个第二二维坐标...

【专利技术属性】
技术研发人员：张建立，王乐，苏宗涛，罗德海，许江毅，
申请(专利权)人：咪咕文化科技有限公司中国移动通信集团有限公司，
类型：发明
国别省市：