用于视图预测方法和计算机产品技术

本文所述了与估计场景中的多个3D点的运动并基于所估计的运动来预测将来时刻的场景的系统、方法和装置。这些任务可以使用一个或多个机器学习(ML)模型来完成。第一ML模型可以用于基于先前状态的运动特征来预测场景的时间状态的运动特征。第二ML模型可用于预测表征多个3D点从源时间到目标时间的位移或变形的运动场。然后，第三ML模型可以用于基于3D点在目标时间和/或在观看方向上的更新位置来预测3D点的相应图像特性。然后，可以基于3D点的预测图像特性生成场景在目标时间的图像。测图像特性生成场景在目标时间的图像。测图像特性生成场景在目标时间的图像。

【技术实现步骤摘要】
用于视图预测方法和计算机产品


[0001]本申请涉及运动估计领域。

技术介绍

[0002]为了在周围环境中导航和/或与周围环境交互，自主系统(例如，机器人)可以依赖于计算机视觉来理解场景中的对象的位置和结构和/或预测这些对象可以如何随时间和/或空间移动或变形，例如，以便适应自主系统的移动路径或轨迹以避免与对象的碰撞。然而，尽管动态场景表征的最新技术有很大的进展，运动估计和视图预测仍然是具有挑战性的任务，例如，由于可能存在于多个点之间的运动带来的图像模糊、可能随着空间或时间变化的照明条件等。因此，能够确定场景的准确表征、估计包括场景的对象的运动和/或准确地预测场景的中间或将来状态的系统和方法是有重要意义的。

技术实现思路

[0003]本文描述了与运动估计和视图(或场景)预测相关联的系统、方法以及装置。一种能够执行这些任务的设备可包括一个或多个处理器，其被配置为接收与场景相关联的目标时间或观看方向中的至少一个，其中，场景包括与一个或多个对象相关联的多个点(例如，三维(3D)点)。一个或多个处理器还可以被配置为使用一个或多个机器学习(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视图预测的方法，包括：接收与场景相关联的目标时间或观看方向中的至少一个，其中，所述场景包括与所述场景中的一个或多个对象相关联的多个点；使用一个或多个机器学习(ML)模型来预测所述多个点在所述目标时间或在所述观看方向上的的相应图像特性，其中，所述一个或多个ML模型被训练为从描绘一个时间段内的所述场景的训练图像的集合学习所述多个点的相应运动和所述场景的体素表征，所述一个或多个ML模型还被训练为基于所述多个点的所述相应运动和所述场景的所述体素表征来预测所述多个点的所述图像特性；以及基于由所述一个或多个ML模型预测的所述多个点的所述图像特性生成描绘所述场景在所述目标时间或在所述观看方向上的图像。2.根据权利要求1所述的方法，其中，所述一个或多个ML模型包括第一ML模型、第二ML模型和第三ML模型，并且其中，所述第一ML模型被训练为确定与所述场景相关联的指示所述场景从源时间到所述目标时间的运动的多个特征，所述源时间在所述时间段内；所述第二ML模型被训练为确定指示所述场景中的所述多个点在所述目标时间的相应位置的运动场，其中，所述运动场基于由所述第一ML模型确定的所述多个特征来确定；以及所述第三ML模型被训练为基于由所述运动场指示的所述多个点的所述相应位置来确定所述多个点在所述目标时间或在所述观看方向上的所述图像特性。3.根据权利要求2所述的方法，其中，所述场景的所述体素表征指示所述场景的颜色和密度属性，并且所述多个点在所述目标时间的所述图像特性包括所述多个点在所述目标时间的相应颜色和密度。4.根据权利要求3所述的方法，其中，生成描绘所述目标时间的所述场景的所述图像包括沿着所述观看方向对多个点进行采样并且基于所述多个点的所述相应密度来聚合所述多个点的所述相应颜色，以便获得所述图像的像素值。5.根据权利要求3所述的方法，其中，生成描绘所述目标时间的所述场景的所述图像包括假定点的颜色从不同观看方向是...

【专利技术属性】
技术研发人员：本杰明，
申请(专利权)人：上海联影智能医疗科技有限公司，
类型：发明
国别省市：