增大从三维测量系统获得的图像的分辨率技术方案

一种系统使用来自激光雷达系统的距离和多普勒速度测量结果以及来自视频系统的图像来估计目标的六自由度轨迹(6DOF)。6DOF变换参数用来把多个图像变换到选定图像的帧时间，由此获得相同帧时间处的多个图像。这多个图像可以用来增加每个帧时间处的图像的分辨率，从而获得超分辨率图像的集合。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】増大从三维测量系统获得的图像的分辨率相关申请的交叉引用本申请要求于2012年9月4日提交的美国临时专利申请N0.61/696447和于2013年3月15日提交的美国专利申请N0.13/841620的优先权，其全文内容通过引用并入于此。
本专利技术总体上涉及使激光雷达(lidar，即激光器雷达(laser radar))测量和视频图像组合以生成目标的三维图像，并且更特别地，涉及增大三维图像的分辨率。
技术介绍
已知用于增大图像分辨率的各种传统技术。但是，这些技术主要依赖于来自2D视频图像的数据，典型地，依赖于低和高分辨率相机。所需要的是用于使用激光雷达和视频测量来捕捉三维图像(3D)并且使用激光雷达和视频测量来增大3D图像的分辨率的改进系统和方法。
技术实现思路
本专利技术的各种实施方式使由激光雷达系统生成的测量结果和由视频系统生成的图像组合，以解析(resolve)描述目标运动的六自由度(6D0F)轨迹。一旦这种轨迹被解析，就可以生成该目标的准确的三维图像。6D0F变换参数用来把多个图像变换到选定图像的帧时间，从而获得在同一帧时间的多个图像。这多个图像可以用来增大在每个帧时间的图像的分辨率，以获得超分辨率图像(superresolut1n image)的集合。下面更详细地描述本专利技术的这些实施方式、其特征以及其它方面。【附图说明】图1示出了根据本专利技术的各种实施方式的激光雷达和摄像机组合系统(combinedlidar and video camera system)。图2示出了根据本专利技术的各种实施方式的激光雷达(S卩，激光器雷达(laserradar))。图3示出了根据本专利技术的各种实施方式的采用了两个激光雷达射束的激光雷达子系统的扫描图案。图4示出了根据本专利技术的各种实施方式的采用了四个激光雷达射束的激光雷达子系统的扫描图案。图5示出了根据本专利技术的各种实施方式的在基本上同一时刻通过分开的射束从激光雷达子系统获取的点之间的关系，其可用来估计目标的角速度的X分量。图6示出了根据本专利技术的各种实施方式的在基本上同一时刻通过分开的射束从激光雷达子系统获取的点之间的关系，其可用来估计目标的角速度的y分量。图7示出了根据本专利技术的各种实施方式的从视频子系统获取的点之间的关系，其可以用来估计目标的二维(例如，X和y分量)平移速度以及角速度的Z分量。图8示出了根据本专利技术的各种实施方式的激光雷达射束的扫描图案。图9示出了根据本专利技术的各种实施方式的对于描述与来自激光雷达子系统的测量结果相关联的各种定时方面可能有用的时序图。图10示出了根据本专利技术的各种实施方式的对于描述关于来自视频子系统的测量结果的、来自激光雷达子系统的测量结果所关联的各种定时方面可能有用的时序图。图11示出了根据本专利技术的各种实施方式的对于处理激光雷达测量结果和视频图像有用的框图。图12示出了根据本专利技术的各种实施方式的对于处理激光雷达测量结果和视频图像有用的框图。图13示出了根据本专利技术的各种实施方式的对于处理激光雷达测量结果和视频图像有用的框图。图14示出了根据本专利技术的各种实施方式的对于处理激光雷达测量结果和视频图像有用的框图。图15示出了根据本专利技术的各种实施方式的对于处理激光雷达测量结果和视频图像有用的框图。图16示出了根据本专利技术的各种实施方式的描绘由增加3D图像分辨率的系统执行的示例性操作的流程图。【具体实施方式】图1示出了根据本专利技术的各种实施方式的激光雷达和摄像机组合系统100(三维测量系统100) ο本专利技术的各种实施方式利用激光雷达测量结果与视频图像之间的协同来将目标运动的六自由度解析到只用激光雷达或摄像机则不可能的程度。组合系统100包括激光雷达子系统130、视频子系统150和处理系统160。如所示出的，激光雷达子系统130包括:两个或更多个激光雷达射束输出112 (示为射束112A、射束112B、射束112 (η-1)和射束112η);两个或更多个反射射束输入114，每个都对应于射束112之一(示为反射射束114Α、反射射束114Β、反射射束114(η_1)和反射射束114η);两个或更多个激光雷达输出116，每个都与一对射束112/反射射束114相关联(示为与射束112Α/反射射束114Α相关联的激光雷达输出116Α、与射束112Β/反射射束114Β相关联的激光雷达输出116Β、与射束112(η-1)/反射射束114 (η_1)相关联的激光雷达输出116 (η_1)以及与射束112η/反射射束114η相关联的激光雷达输出116η)。在本专利技术的某些实施方式中，射束转向机构140可以用来把一个或更多个射束112朝目标190转向。在本专利技术的某些实施方式中，射束转向机构140可以包括单独的转向机构，诸如转向机构140Α、转向机构140Β、转向机构140C和转向机构140D，每个都独立地把射束112朝目标190转向。在本专利技术的某些实施方式中，一个射束转向机构140可以独立地把射束112对或组(pairs or groups of beams 112)朝目标190转向。在本专利技术的某些实施方式中，射束转向机构140可以包括一个或更多个反射镜，每个都可以被分开控制或者可以不被分开控制，每个反射镜都把一个或更多个射束112朝目标190转向。在本专利技术的某些实施方式中，射束转向机构140可以在不使用反射镜的情况下直接把射束112的光纤转向。在本专利技术的某些实施方式中，射束转向机构140可以被控制为按方位角和/或仰角来使射束112转向。如将认识到的，各种技术可以被射束转向机构140用来把射束112朝目标190转向。在本专利技术的某些实施方式中，射束转向机构140可以用来对朝目标的两个射束112的方位角和仰角都进行控制。通过对方位角和仰角都进行控制，这两个射束112可以用来扫描潜在目标的体积或者跟踪诸如目标190的特定目标。将清楚的是，可以采用其它的扫描机构。在本专利技术的某些实施方式中，这两个射束112可以彼此偏移。在本专利技术的某些实施方式中，这两个射束112可以彼此垂直地(例如，按仰角)或水平地(例如，按方位角)偏移预定偏移量和/或预定角度，所述预定偏移量和预定角度中的任何一个都可以是可调整的或受控制的。在本专利技术的某些实施方式中，射束转向机构140可以用来对朝目标的四个射束112的方位角和仰角都进行控制。在某些实施方式中，这四个射束112可以被布置为具有水平和垂直间隔。在某些实施方式中，这四个射束可以被布置为形成至少两个正交的间隔。在某些实施方式中，这四个射束可以在射束112对彼此垂直和水平地偏移的情况下被布置成矩形图案。在某些实施方式中，这四个射束可以在射束112对彼此偏移的情况下被布置成其它图案。这四个射束112的间隔可以是预定偏移量和/或预定角度，所述预定偏移量和/或预定角度可以是固定的、可调整的和/或受控制的。每个射束112的某部分可以作为反射射束114从目标190反射回到激光雷达子系统130。在本专利技术的某些实施方式中并且如图1中所示，反射射束114沿着与射束112相同的光学路径(但是反向)。在本专利技术的某些实施方式中，可以在激光雷达子系统130中或者在组合系统100中提供分开的光学路径以容纳反射射束114。在本专利技术的某些实施方式中，激光雷达子系统130接本文档来自技高网...

【技术保护点】
一种用于增加目标的三维图像的分辨率的系统，该系统包括：激光雷达子系统，被配置为将至少两个射束朝目标引导，并且对于所述至少两个射束中的每一个针对目标上的多个点生成多个三维(3D)测量结果；视频子系统，被配置为提供目标的多个二维(2D)图像；以及处理器，被配置为：从激光雷达子系统接收目标上的所述多个点的3D测量结果，从视频子系统接收目标的所述多个2D图像，基于目标上的所述多个点的3D测量结果和目标的2D图像生成目标的多个三维(3D)图像，其中3D图像中的每一个在与目标的2D图像中的每一个相关联的帧时间生成，除去所述多个3D图像中的每一个中的运动模糊；基于多个变换参数把所述多个3D图像中的每一个变换到原始3D图像的帧时间，并且基于经变换的多个3D图像中的每一个确定用于原始3D图像的增强信息。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：R·L·塞巴斯蒂安，A·T·热列兹尼亚克，
申请(专利权)人：数字信号公司，
类型：发明
国别省市：美国;US