【技术实现步骤摘要】
本申请涉及视频处理，特别涉及一种视频处理方法及装置。
技术介绍
1、自由视角是一种通过多视角视频系统同步拍摄、存储、传输、处理和生成视频的技术，生成的视频能够满足用户通过交互界面在任意时刻从任意角度观看被拍摄场景的体验需求。
2、目前的多视角视频系统在大场景下多采用以专业级摄像机为采集设备的多相机系统，系统复杂、硬件成本高，但依然面临大场景下的诸多挑战。采集图像时会受到复杂的环境干扰和噪声，雾、雨等复杂的天气，混乱的环境光照，复杂的舞台特效、灯光等影响。导致基于采集的图像进行6自由度自由视点漫游时，出现观看内容的质量不足。因此，目前没有一种可行的针对多视角视频系统采集的图像进行增强处理的方案。
技术实现思路
1、本申请实施例提供一种视频处理方法及装置，用以提供一种可行的多视角视频系统采集的图像进行增强处理的方案。
2、第一方面，本申请实施例提供一种视频处理方法，包括：获取m个图像帧，所述m个图像帧是由在设定空间部署的m个采集设备分别在同一时刻采集得到的，m为正整数，所述多个采集设备的视角分别为所述设定空间中不同设定子区域的范围；针对所述m个图像帧进行特征检测得到每个图像帧中多个特征点的特征数据；根据所述多个采集设备的标定参数以及所述每个图像帧中多个特征点的特征数据执行特征匹配确定特征点组；其中，所述特征点组中包括多个目标点，第一目标点对应于k个特征点，k为大于或者等于3的整数，所述第一目标点为所述多个目标点中任一目标点，所述k个特征点的特征数据表征k个采集设
3、本申请实施例中，通过以锚定特征图像块为基准为其它特征图像块进行校正，而通过深度敏感性来确定质量最好的锚定图像块，来实现对其它图像块校正，提高其它图像块的质量，并且能够保证各个采集设备采集的图像经过校正后保持一致性。
4、在一种可能的设计中，所述校正处理包括：噪声抑制、瑕疵去除、纹理增强、光照校正以及对比度调整中的一项或者多项。
5、在一种可能的设计中，所述特征图像块的增益系数满足如下公式所示的条件：
6、
7、
8、其中，cog表示所述特征图像块的增益系数，x_total表示所述特征图像块包括的像素数量，所述ic(x)表示像素x的强度，idc(x)表示像素x的暗通道强度。
9、上述设计中，通过像素的强度以及暗通道强度来确定增益系数，增益系数越大表达的图像的质量更优，以保证锚定特征图的质量更优。
10、在一种可能的设计中，对所述多个目标点中每个目标点对应的特征图像块组包括的特征图像块进行校正，包括：
11、确定所述多个目标点中每个目标点对应的特征图像块组包括的特征图像块的增益系数；
12、将所述多个目标点中每个目标点对应的特征图像块组包括的特征图像块以及每个图像特征块的增益系数作为第一神经网络模型的输入，通过所述第一神经网络模型对所述多个目标点中每个目标点对应的特征图像块组包括的特征图像块进行校正。
13、在一种可能的设计中，所述第一神经网络模型基于训练样本集进行多次迭代训练得到的；所述训练样本集包括n个样本数据以及n个真值数据，n个样本数据与n个真值数据一一对应，每个样本数据包括m个干扰图像，每个真值数据包括m个原始图像，第一样本数据包括的m个干扰图像与第一真值数据包括的m个原始图像一一对应，第一样本数据与第一真值数据对应，每个原始图像对应的干扰图像是在所述原始图像的基础上增加干扰得到的，第一真值数据包括的m个原始图像分别对应不同的视角，第一样本数据为所述n个样本数据中的任一样本数据。
14、在一种可能的设计中，对所述第一神经网络模型的第i次迭代训练，包括：
15、分别通过第一神经网络模型对第i次迭代训练使用的l个样本数据中每个样本数据中的特征图像块进行校正处理得到l个校正后的样本数据，l为正整数，l个校正后的样本数据中每个校正后的样本数据包括m个校正后的干扰图像；
16、确定每个校正后的样本数据中非锚定视角的增益系数，以及校正后的样本数据对应的真值数据中锚定视角的原始图像的增益系数确定互相关系数；
17、其中，校正后的干扰图像的增益系数根据校正后的干扰图像包括的多个特征图像块的增益系数确定，锚定视角的原始图像为包括锚定特征图像块数量最多的原始图像；锚定视角的增益系数为锚定视角的图像包括的特征图像块的增益系数平均值，非锚定视角的增益系数为非锚定视角的多个图像包括的特征图像块的增益系数的平均值；
18、根据所述互相关系数调整所述第一神经网络模型的网络参数。
19、上述设计中，通过用于表达图像之间的相关性的互相关系数来确定损失值，基于该确定的损失值调整网络参数，能够调整第一神经网络模型的输出的各个视角的增强图像的一致性。
20、在一种可能的设计中，所述互相关系数满足如下公式所示的条件：
21、
22、其中，mmj表示l个校正后的样本数据中第j个样本数据中m-1个非锚定视角的校正后的干扰图像中的特征图像块的增益系数平均值，amj表示l个校正后的样本数据中第j个样本数据对应的真值数据中锚定视角的原始图像中的特征图像块的增益系数平均值。
23、在一种可能的设计中，根据多个校正后的图像帧生成所述设定空间内目标对象的3d数据，包括：
24、根据多个校正后的图像帧中每个图像帧中包括的特征图像块的属性值对所述每个图像帧中的多个设定像素点的属性值进行调整，所述多个设定像素点为所述每个图像帧包括的特征图像块未覆盖的像素点；
25、根据经过属性值调整后的图像帧生成所述设定空间内目标对象的3d数据。
26、在一种可能的设计中，所述目标对象包括目标人物，所述方法还包括：
27、将所述目标对象的3d数据投影到所述多个采集设备的图像空间，以获得所述目标对象的设定部位在所述多个采集设备中至少两个采集设备的图像空间中的第一设定部位数据，所述设定部位包括面部和/或人体；获取正则空间的设本文档来自技高网...
【技术保护点】
1.一种视频处理方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述校正处理包括：噪声抑制、瑕疵去除、纹理增强、光照校正以及对比度调整中的一项或者多项。
3.如权利要求1或2所述的方法，其特征在于，所述特征图像块的增益系数满足如下公式所示的条件：
4.如权利要求1-3任一项所述的方法，其特征在于，对所述多个目标点中每个目标点对应的特征图像块组包括的特征图像块进行校正处理，包括：
5.如权利要求4所述的方法，其特征在于，所述第一神经网络模型基于训练样本集进行多次迭代训练得到的；所述训练样本集包括N个样本数据以及N个真值数据，N个样本数据与N个真值数据一一对应，每个样本数据包括M个干扰图像，每个真值数据包括M个原始图像，第一样本数据包括的M个干扰图像与第一真值数据包括的M个原始图像一一对应，第一样本数据与第一真值数据对应，每个原始图像对应的干扰图像是在所述原始图像的基础上增加干扰得到的，第一真值数据包括的M个原始图像分别对应不同的视角，第一样本数据为所述N个样本数据中的任一样本数据。
6.如权利要求5所述的
7.如权利要求6所述的方法，其特征在于，所述互相关系数满足如下公式所示的条件：
8.如权利要求1-7任一项所述的方法，其特征在于，根据多个校正后的图像帧生成所述设定空间内目标对象的3D数据，包括：
9.如权利要求1-8任一项所述的方法，其特征在于，所述目标对象包括目标人物，所述方法还包括：
10.如权利要求9所述的方法，其特征在于，根据所述目标人物的设定部位模型获得所述目标人物分别在所述至少两个采集设备的图像空间的第二设定部位数据，包括：
11.如权利要求9或10所述的方法，其特征在于，根据所述目标人物分别在所述至少两个采集设备的图像空间的第二设定部位数据更新所述目标对象的3D表达数据中的所述目标人物的设定部位数据，包括：
12.一种视频处理装置，其特征在于，包括：
13.如权利要求12所述的装置，其特征在于，所述校正处理包括：噪声抑制、瑕疵去除、纹理增强、光照校正以及对比度调整中的一项或者多项。
14.如权利要求12或13所述的装置，其特征在于，所述特征图像块的增益系数满足如下公式所示的条件：
15.如权利要求12-14任一项所述的装置，其特征在于，所述处理单元，具体用于：
16.如权利要求15所述的装置，其特征在于，所述第一神经网络模型基于训练样本集进行多次迭代训练得到的；所述训练样本集包括N个样本数据以及N个真值数据，N个样本数据与N个真值数据一一对应，每个样本数据包括M个干扰图像，每个真值数据包括M个原始图像，第一样本数据包括的M个干扰图像与第一真值数据包括的M个原始图像一一对应，第一样本数据与第一真值数据对应，每个原始图像对应的干扰图像是在所述原始图像的基础上增加干扰得到的，第一真值数据包括的M个原始图像分别对应不同的视角，第一样本数据为所述N个样本数据中的任一样本数据。
17.如权利要求16所述的装置，其特征在于，所述处理单元，还用于：
18.如权利要求17所述的装置，其特征在于，所述互相关系数满足如下公式所示的条件：
19.如权利要求12-18任一项所述的装置，其特征在于，所述处理单元，具体用于：
20.如权利要求12-19任一项所述的装置，其特征在于，所述目标对象包括目标人物，所述处理单元，还用于：
21.如权利要求20所述的装置，其特征在于，所述处理单元，在根据所述目标人物的设定部位模型获得所述目标人物分别在所述至少两个采集设备的图像空间的第二设定部位数据时，具体用于：
22.如权利要求20或21所述的装置，其特征在于，所述处理单元，在根据所述目标人物分别在所述至少两个采集设备的图像空间的第二设定部位数据更新所述目标对象的3D表达数据中的所述目标人物的设定部位数据时，具体用于：
23.一种视频处理装置，其特征在于，包括处理器和存储器；
24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序在处理器上运行时，使得所述处理器执行如上述权利要求1-11任一项所述的方法。
...【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述校正处理包括：噪声抑制、瑕疵去除、纹理增强、光照校正以及对比度调整中的一项或者多项。
3.如权利要求1或2所述的方法，其特征在于，所述特征图像块的增益系数满足如下公式所示的条件：
4.如权利要求1-3任一项所述的方法，其特征在于，对所述多个目标点中每个目标点对应的特征图像块组包括的特征图像块进行校正处理，包括：
5.如权利要求4所述的方法，其特征在于，所述第一神经网络模型基于训练样本集进行多次迭代训练得到的；所述训练样本集包括n个样本数据以及n个真值数据，n个样本数据与n个真值数据一一对应，每个样本数据包括m个干扰图像，每个真值数据包括m个原始图像，第一样本数据包括的m个干扰图像与第一真值数据包括的m个原始图像一一对应，第一样本数据与第一真值数据对应，每个原始图像对应的干扰图像是在所述原始图像的基础上增加干扰得到的，第一真值数据包括的m个原始图像分别对应不同的视角，第一样本数据为所述n个样本数据中的任一样本数据。
6.如权利要求5所述的方法，其特征在于，对所述第一神经网络模型的第i次迭代训练，包括：
7.如权利要求6所述的方法，其特征在于，所述互相关系数满足如下公式所示的条件：
8.如权利要求1-7任一项所述的方法，其特征在于，根据多个校正后的图像帧生成所述设定空间内目标对象的3d数据，包括：
9.如权利要求1-8任一项所述的方法，其特征在于，所述目标对象包括目标人物，所述方法还包括：
10.如权利要求9所述的方法，其特征在于，根据所述目标人物的设定部位模型获得所述目标人物分别在所述至少两个采集设备的图像空间的第二设定部位数据，包括：
11.如权利要求9或10所述的方法，其特征在于，根据所述目标人物分别在所述至少两个采集设备的图像空间的第二设定部位数据更新所述目标对象的3d表达数据中的所述目标人物的设定部位数据，包括：
12.一种视频处理装置，其特征在于，包括：
13.如权利要求12所述的装置，其特征在于，所述校正...
【专利技术属性】
技术研发人员：叶遥，罗应钊，左志雄，张永聪，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。