数据处理方法、装置、电子设备和存储介质制造方法及图纸

本申请实施例提供了一种数据处理方法、装置、电子设备和存储介质，所述的方法包括：获取训练输入数据，并将训练输入数据输入到深度估计模型中，确定第一视图的深度估计图，以依据深度估计图，确定第一损失函数，所述训练输入数据包括待分析的第一视图、至少一个第二视图以及第一视图和第二视图之间的视图位姿关系，所述第一视图和所述第二视图包含目标对象；获取第一视图和第二视图中目标对象的关键点，并结合深度估计图和视图位姿关系，确定第二损失函数；依据所述第一损失函数和所述第二损失函数，对深度估计模型进行调整；能够提升深度估计模型的准确度。

【技术实现步骤摘要】
数据处理方法、装置、电子设备和存储介质
本申请涉及计算机
，特别是涉及一种数据处理方法、一种数据处理装置、一种电子设备和一种存储介质。
技术介绍
图像深度是用来描述图像深度信息中每个像素的灰度值或颜色数的基础，图像对应场景的深度信息一般由相同大小的灰度图来描述，灰度图中每个像素的灰度值描述该点对应场景的深度值，该灰度图又称为深度图，只有知道像素深度，才能计算出每个像素点对应深度值。图像的深度值对于图像的后期处理(如特效处理)非常重要。目前图像深度估计的方法主要分为单视图深度估计和多视图深度估计，单视图深度估计是对单幅图像进行分析，确定图像深度，多视图深度估计是对待分析的主视图和与主视图相关的其他视图进行分析，确定主视图对应的图像深度。一种现有的多视图深度估计方法是利用神经网络模型，将主视图、其他视图以及视图之间的位置关系输入到神经网络模型中，确定主视图的深度估计图，然后利用人工对主视图标记的深度值，确定损失函数，并利用反向传播算法，对神经网络模型进行训练。但是，仅人工标记的深度值来反向训练神经网络模型，而人工标记可能出现部本文档来自技高网...

【技术保护点】
1.一种数据处理方法，所述的方法包括：/n获取训练输入数据，并将训练输入数据输入到深度估计模型中，确定第一视图的深度估计图，以依据深度估计图，确定第一损失函数，所述训练输入数据包括待分析的第一视图、至少一个第二视图以及第一视图和第二视图之间的视图位姿关系，所述第一视图和所述第二视图包含目标对象；/n获取第一视图和第二视图中目标对象的关键点，并结合深度估计图和视图位姿关系，确定第二损失函数；/n依据所述第一损失函数和所述第二损失函数，对深度估计模型进行调整。/n

【技术特征摘要】
1.一种数据处理方法，所述的方法包括：
获取训练输入数据，并将训练输入数据输入到深度估计模型中，确定第一视图的深度估计图，以依据深度估计图，确定第一损失函数，所述训练输入数据包括待分析的第一视图、至少一个第二视图以及第一视图和第二视图之间的视图位姿关系，所述第一视图和所述第二视图包含目标对象；
获取第一视图和第二视图中目标对象的关键点，并结合深度估计图和视图位姿关系，确定第二损失函数；
依据所述第一损失函数和所述第二损失函数，对深度估计模型进行调整。


2.根据权利要求1所述的方法，所述深度估计模型，用于执行以下步骤：
获取第一视图的第一图像特征和第二视图的第二图像特征；
依据所述视图位姿关系和所述第二图像特征，确定第二视图映射到第一视图的参考图像特征；
依据参考图像特征对第一图像特征进行调整，得到第一视图的深度估计图。


3.根据权利要求1所述的方法，所述依据深度估计图，确定第一损失函数，包括：
依据所述深度估计图和第一视图的深度标记信息，确定第一损失函数。


4.根据权利要求1所述的方法，所述获取第一视图和第二视图中目标对象的关键点，并结合深度估计图和视图位姿关系，确定第二损失函数，包括：
获取第一视图中关键点的第一位置信息和第二视图中关键点的第二位置信息；
基于所述深度估计图和所述视图位姿关系，确定第一位置信息映射到第二视图内的映射位置信息；
依据所述第二位置信息和所述映射位置信息，确定第二损失函数。


5.根据权利要求4所述的方法，所述基于所述深度估计图和所述视图位姿关系，确定第一位置信息映射到第二视图内的映射位置信息，包括：
依据深度估计图，确定第一位置信息对应的第一深度信息；
依据所述视图位姿关系和所述第一深度信息，确定第二视图中的关键点的第二深度信息；
依据所述第二深度信息，确定第二视图的关键点的映射位置信息。


6.根据权利要求1所述的方法，还包括：
获取输入数据，所述输入数据包括：待分析的第一输入视图、至少一个第二输入视图以及表征第一输入视图和第二输入视图之间位置关系的输入视图位姿关系，所述第一输入视图和所述第二输入视图包含目标对象；
将输入数据输入到训练好的深度估计模型中，确定第一视图的深度信息图。


7.根据权利要求6所述的方法，还包括：
依据所述深度信息图，对第一视图进行图像处理，所述图像处理包括特效处理、图像合成处理、图像场景识别和三维建模处理中的至少一种。


8.根据权利要求1所述的方法，所述第一损失函数包括有监督损失函数，所述第二损失函数包括无监督损失函数。


9.一种数据处理方法，包括：
获取输入数据，所述输入数据包括：待分析的第一输入视图、至少一个第二输入视图以及表征第一输入视图和第二输入视图之间位置关系的输入视图位姿关系，所述第一输入视图和所述第二输入视图包含待分析对象；
将输入数据输入到训练好的深度估计模型中，确定第一输入视图的深度信息图，所述深度估计模型依据第一损失函数和第二损失函数调整得到，所述第一损失函数依据训练过程中的深度估计图和深度标记信息确定，所述第二损失函数依据目标对象的关键点在不同的训练视图中的位置确定。


10.一种数据处理方法，包括：
获取直播数据，并从直播数据中截取直播输入数据，所述直播输入数据包括：待分析的第一直播视图、至少一个第二直播视图以及表征第一直播视图和第二直播视图之间位置关系的直播视图位姿关系，所述第一输入视图和所述第二输入视图包含目标对象；
将输入数据输入到训练好的深度估计模型中，确定第一直播视图的深度信息图，所述深度估计模型依据第一损失函数和第二损失函数调整得到，所述第一损失函数依据训练过程中的深度估计图和深度标记信息确定，所述第二损失函数依据目标对象的关键点在不同的训练视图中的位置确定；
依据所述深度信息图，对第一直播视图进行特效处理，形成直播回放数据。


11.一种数据处理方法，包括：
获取视频输入数据，所述视频输入数据包括：待分析的第一视频数据、至少一个第二视频数据以及表征第一视频数据和第二视频数据之间位置关系的视频位姿关系，所述第一视频数据和所述第二视频数据包含目标对象；
将视频输入数据输入到训练好的深度估计模型中，确定第一视频数据的深度信息图，所述深度估计模型依据第一损失函数和第二损失函数调整得到，所述第一损失函数依据训练过程中的深度估计图和深度标记信息确定，所述第二损失函数依据目标对象的关键点在不同的训练视图中的位置确定；
依据所述深度信息图，对第一视频数据进行特效处理，形成处理后的视频数据。


12.一种数据处理方法，包...

【专利技术属性】
技术研发人员：张家斌，刘国友，王百超，李静，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY