视频处理方法、装置、电子设备制造方法及图纸

本申请提供一种视频处理方法、装置、电子设备，该方法的一具体实施方式包括：获取至少两个视角下拍摄的待处理视频；针对任一待处理视频帧，计算该待处理视频帧与多个相邻待处理视频帧的对应特征之间的单目相似度，并利用单目相似度补充该待处理视频帧的特征信息，得到补充特征；针对在同一时间点、不同视角下拍摄的任意两个待处理视频帧，基于先验知识，计算两个待处理视频帧对应的补充特征对之间的双目相似度，并利用双目相似度融合补充特征对；基于融合后的特征对待处理视频进行超分辨率处理，得到目标视频。该方法可以改善待处理视频在经过超分辨率处理之后存在的伪影、遮挡等现象，有效提高了视频质量。有效提高了视频质量。有效提高了视频质量。

【技术实现步骤摘要】
视频处理方法、装置、电子设备


[0001]本申请涉及信息处理领域，具体而言，涉及一种视频处理方法、装置、电子设备。

技术介绍

[0002]双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。继而，双目视频也即可以视为由两个相同的摄像机在不同的视点同时拍摄得到的视频，其可以获取到拍摄对象在三维空间中的信息。
[0003]相关技术中，双目视频在双目图像的基础上增加了时间维度的信息，容易受到有限空间分辨率的影响，继而在进行超分辨率处理之后，其容易存在伪影、遮挡等导致视频质量较差的现象。

技术实现思路

[0004]本申请实施例的目的在于提供一种视频处理方法、装置、电子设备，用以改善待处理视频在经过超分辨率处理之后存在的伪影、遮挡等现象，有效提高了视频质量。
[0005]第一方面，本申请实施例提供了一种视频处理方法，该方法包括：获取至少两个视角下拍摄的待处理视频；针对任一待处理视频帧，计算该待处理视频帧与多个相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：获取至少两个视角下拍摄的待处理视频；针对任一待处理视频帧，计算该待处理视频帧与多个相邻待处理视频帧的对应特征之间的单目相似度，并利用所述单目相似度补充该待处理视频帧的特征信息，得到补充特征；针对在同一时间点、不同视角下拍摄的任意两个待处理视频帧，基于先验知识，计算所述两个待处理视频帧对应的补充特征对之间的双目相似度，并利用所述双目相似度融合所述补充特征对；其中，所述先验知识包括即时定位与地图构建的先验知识；基于融合后的特征对所述待处理视频进行超分辨率处理，得到目标视频。2.根据权利要求1所述的方法，其特征在于，所述基于先验知识，计算所述两个待处理视频帧对应的补充特征对之间的双目相似度，包括：针对任一补充特征对，分别计算任一第一补充特征与多个第二补充特征之间的双目相似度；其中，所述第一补充特征为任一所述待处理视频帧对应的补充特征，所述第二补充特征为另一所述待处理视频帧对应的补充特征；所述第一补充特征与所述第二补充特征位于同一水平线。3.根据权利要求2所述的方法，其特征在于，所述利用所述双目相似度融合所述补充特征对，包括：针对任一补充特征对所对应的双目相似度，将该双目相似度通过指数归一化函数计算对应的双目权重；针对任一双目权重，将该双目权重与该双目权重对应的补充特征对进行加权处理；将多个加权处理结果、所述补充特征对作为卷积神经网络的输入，以利用所述卷积神经网络融合所述补充特征对。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述针对任一待处理视频帧，计算该待处理视频帧与多个相邻待处理视频帧的对应特征之间的单目相似度，包括：针对任一待处理视频帧，利用卷积神经网络计算该待处理视频帧与其自身的特征之间的第一单目相似度；以及利用卷积神经网络计算该待处理视频帧与其他相邻待处理视频帧的特征之间的第二单目相似度。5.根据权利要求4所述的方法，其特征在于，所述利用所述单目相似度补充该待处理视频帧的特征信息，得到补充特征，包括：将所述第一单目相似度以及多个所述第二单目相似度分别通过指数归一化函数计算出对应的单目权重；针对任一单目权重，...

【专利技术属性】
技术研发人员：刘建伟，
申请(专利权)人：爱芯元智半导体上海有限公司，
类型：发明
国别省市：