图像处理器、计算机实现的图像处理方法、计算机程序和非易失性数据载体技术

一种图像处理器(140)获得由飞行时间TOF成像系统(110)配准的图像数据(D

【技术实现步骤摘要】
【国外来华专利技术】图像处理器、计算机实现的图像处理方法、计算机程序和非易失性数据载体


[0001]本专利技术大体上涉及三维(3D)图像处理。特别地，本专利技术涉及用于处理飞行时间图像数据的图像处理器以及对应的计算机实现的图像处理方法。本专利技术还涉及对应的计算机程序以及存储这种计算机程序的非易失性数据载体。

技术介绍

[0002]现代相机已经成为相当先进的数据收集传感器。如今，例如存在包含能够记录进入建筑物或公共交通工具的大量人员的体温的非常精确的高速热相机的医疗筛选布置。另外，各种形式的深度感测相机用于以显著的精度控制车辆和机器人。例如，现代挤奶机器人经常依赖于飞行时间(TOF)相机来进行它们的操作。TOF相机是采用飞行时间技术来针对图像的每个点解析相机与已成像对象之间的距离的距离成像系统。TOF相机测量由激光器或发光二极管(LED)提供的人造光信号的往返时间。基于激光的飞行时间相机是更广泛类别的无扫描(光检测和测距)LIDAR的一部分，其中使用每个激光脉冲捕获整个场景，而不是诸如在扫描LIDAR系统中使用激光束逐点捕获。TOF相机可用于覆盖几厘米多至几公里的范围。自然地，在自动挤奶应用中，TOF相机在该范围的较短端操作，例如在多至几分米的距离处操作。
[0003]US 10,750,712示出了一种用于自动为产奶动物(例如奶牛)挤奶的工具。该工具包括挤奶室、用于观察乳头的传感器以及用于将挤奶杯自动地附接到乳头上的挤奶机器人。该挤奶机器人包括连接到传感器的机器人控制器。该传感器包括用于发射光的辐射源、用于接收从产奶动物反射的电磁辐射的接收器、透镜和传感器控制单元。该传感器包括具有多个接收器行和多个接收器列的矩阵。传感器控制单元被设计成针对每个接收器确定发射的电磁辐射与反射的电磁辐射之间的相位差，以便计算从传感器到产奶动物的待观察部分上的多个点的距离。
[0004]US 10,430,956描述了用于减少深度图像的失真的图像处理方法。该方法涉及：基于向对象发射和从对象反射的光束获得多个原始图像；基于这些光束的相位延迟，确定从该多个原始图像获得的原始深度图像的原始深度值，这些反射光束包括使原始深度值失真的多反射光束；基于原始深度图像中强度大于预定强度的区域，确定多反射光束相对于多反射光束的每个相位的虚强度；基于多反射光束的虚强度来校正原始深度图像的原始深度值。该方法涉及基于校正的原始深度值来生成校正的深度图像。
[0005]因此，在挤奶工具中使用TOF相机是已知的。还存在用于基于校正的深度图像来减少TOF相机的深度图像的失真的解决方案。
[0006]然而，位于TOF相机的光源与所关注对象之间的干扰对象仍然可能导致在测量到所关注对象的距离方面的精度问题，该距离例如可以由机器人应将挤奶机的挤奶杯连接到的奶头表示。

技术实现思路

[0007]因此，本专利技术的目的是提供一种解决方案，该解决方案减轻上述问题并且在成像场景中的一个或多个对象部分地阻止TOF相机的光源的光到达场景中的各种对象的情况下还产生高精度距离数据。
[0008]根据本专利技术的一个方面，该目的通过一种被配置为获得由TOF成像系统配准的图像数据的图像处理器来实现。该图像数据表示由至少两个光源照射的场景，该至少两个光源被校准以使得图像处理器能够产生要被包括在图像数据中的距离数据。该距离数据表示从TOF成像系统到已成像对象上的点的相应距离。该图像处理器被配置为确定是否存在阴影效应，通过该阴影效应，场景中的至少一个第一对象阻挡来自至少两个光源中的至少一个光源的光到达场景中的至少一个第二对象的至少一部分以及从那里被反射到TOF成像系统中。如果确定存在该阴影效应，则图像处理器被配置为调整距离数据以补偿光未到达至少一个第二对象的至少一部分的至少一个光源。
[0009]以上图像处理器是有利的，因为它还针对其中对象相对于TOF成像系统且以使得场景的一些区段部分仅由TOF成像系统的光源的子集照射的方式定位的场景产生准确的距离数据。
[0010]根据本专利技术的该方面的一个实施方案，该图像处理器被配置为通过将表示到该至少一个第二对象的该至少一部分上的表面上的点的距离的一段距离数据修改适应量来调整该距离数据。该一段距离数据是在不考虑阴影效应的情况下确定的，并且适应量取决于该至少两个光源中的哪个或哪些光源的光未到达所述点。在此，该至少两个光源总计为第一总数目n，并且光未到达所述点的一个或多个光源总计为至少一个且n
‑
1或更少的第二总数目。因此，对光未到达至少一个第二对象的至少一部分的光源进行补偿是直接的。
[0011]上述适应可以通过通信地连接到查找表的图像处理器来实现，该查找表包含表示至少两个光源中的光未到达所述点的光源的每个可能组合的适应量的数据集。所述组合适用于由距离数据表示的特定距离。因此，对于每个这样的距离，查找表包含数据集，该数据集表示取决于被遮蔽的特定光源而要使用的适应量。由此，图像处理器可以以快速且可靠的方式从查找表获得相关适应量。
[0012]根据本专利技术的该方面的另一实施方案，该至少一个第一对象具有相对于该TOF成像系统和该至少两个光源的已知位置和空间延伸。该图像处理器还被配置为调整距离数据以补偿光被阻挡而无法到达至少一个第一对象后面的至少一个区段部分的至少两个光源中的至少一个光源。即，在这种情况下，预先知道TOF成像系统的视场的哪些区段部分将总是被至少一个第一对象部分地遮蔽。
[0013]例如，该场景可以包含挤奶位置，并且至少一个第一对象中的至少一者可以是布置在机械地链接到TOF成像系统的承载结构上的挤奶杯。在这种情况下，该图像处理器优选地被配置为调整距离数据以补偿光将被阻挡而无法到达挤奶杯后面的至少一个区段部分的光源，该至少一个区段部分可位于挤奶杯要连接到的奶头处。
[0014]根据本专利技术的该方面的又一实施方案，该图像处理器被配置为确定到场景中的潜在遮蔽对象的距离，该潜在遮蔽对象与场景中的任何其他对象相比位于与TOF成像系统相距较短的距离处。即，图像处理器确定最近的对象。该图像处理器还被配置为应用反向光线跟踪算法来在该场景中建立至少一个区段部分，该至少一个区段部分被估计为相对于来自
这些光源中的至少一个光源的光被该最近的对象遮蔽。该图像处理器接着被配置为在确定阴影效应是否存在时将潜在遮蔽对象包括在候选组中，从该候选组中选择该至少一个第一对象。因此，该图像处理器确定阴影效应是否以结构化的方式存在。
[0015]优选地，该图像处理器被具体配置为执行第一处理步骤，其中确定场景中另一潜在遮蔽对象的空间位置，该另一潜在遮蔽对象与场景中尚未被包括在候选组中的任何其他对象相比位于与TOF成像系统相距较短的距离处；执行第二处理步骤，其中应用所述反向光线跟踪算法以相对于来自该至少两个光源中的至少一个光源的光在该场景中建立被估计为由另一潜在遮蔽对象遮蔽的至少一个区段部分；并且执行第三处理步骤，其中在确定该阴影效应是否存在时，将该另一潜在遮蔽对象包括在该候选组中，从该候选组选择至少一个第一对象。
[0016]该图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理器(140)，所述图像处理器被配置为：获得由飞行时间TOF成像系统(110)配准的图像数据(D
img
)，所述图像数据(D
img
)表示由至少两个光源(121,122,123,124)照射的场景(100)，所述至少两个光源被校准以使得所述图像处理器(140)能够产生要被包括在所述图像数据(D
img
)中的距离数据(d
D
)，所述距离数据(d
D
)表示从所述TOF成像系统(110)到已成像对象上的点的相应距离；确定是否存在阴影效应，通过所述阴影效应，所述场景(100)中的至少一个第一对象(TC；FLT,FRT)阻挡来自所述至少两个光源(121,122,123,124)中的至少一个光源(121,122,123,124)的光到达所述场景(100)中的至少一个第二对象(FLT,FRT；RLT,RRT)的至少一部分以及从那里反射到所述TOF成像系统(110)中；并且如果确定存在阴影效应，则调整所述距离数据(d
D
)以补偿(d
Δ
)光未到达所述至少一个第二对象(FLT,FRT；RLT,RRT)的所述至少一部分的所述至少一个光源(121,122,123,124)。2.根据权利要求1所述的图像处理器(140)，所述图像处理器被配置为：通过将表示到所述至少一个第二对象(FLT)的所述至少一部分上的表面(FLT
S1
)上的点(P1,P2,
…
,P6)的距离的一段距离数据(d
D
’
)修改适应量(d
Δ
)来调整所述距离数据(d
D
)，所述一段距离数据(d
D
’
)是在不考虑所述阴影效应的情况下确定的，并且所述适应量(d
Δ
)取决于所述至少两个光源(121,122,123,124)中的哪个或哪些光源的光未到达所述点(P1,P2,
…
,P6)，其中所述至少两个光源总计为第一总数目n，并且光未到达所述点的所述一个或多个光源总计为至少一个且n
‑
1或更小的第二总数目。3.根据权利要求1或2中任一项所述的图像处理器(140)，其中所述图像处理器(140)通信地连接到查找表(1450)，所述查找表包括数据集，所述数据集针对由所述距离数据(d
D
)表示的至少一个距离表示所述至少两个光源(121,122,123,124)中的光未到达所述点(P1,P2,
…
,P6)的光源的每个可能组合的所述适应量(d
Δ
)，并且所述图像处理器(140)被配置为从所述查找表(1450)获得所述适应量(d
Δ
)。4.根据权利要求1至3中任一项所述的图像处理器(140)，其中所述至少一个第一对象(TC)具有相对于所述TOF成像系统(110)和所述至少两个光源(121,122,123,124)的已知位置和空间延伸，并且所述图像处理器(140)被配置为：调整所述距离数据(d
D
)以补偿所述至少两个光源(121,122,123,124)中的所述至少一个光源，所述至少一个光源的光被阻挡而无法到达所述至少一个第一对象(TC)后面的至少一个区段部分(S
14
,S0,S
12
,S
34
)。5.根据权利要求4的图像处理器(140)，其中所述场景(100)包括挤奶位置，并且所述至少一个第一对象中的至少一者是布置在机械地链接到所述TOF成像系统(110)的承载结构(RA)上的挤奶杯(TC)。6.根据权利要求4所述的图像处理器(140)，其中所述场景(100)包括挤奶位置，并且所述至少一个第一对象中的至少一者是挤奶动物的奶头(FRT,FLT)。7.根据前述权利要求中的任一项所述的图像处理器(140)，所述图像处理器还被配置为：确定到所述场景(100)中的潜在遮蔽对象(TC,FRT,FLT)的距离(d
D
)，所述潜在遮蔽对象(TC,FRT,FLT)与所述场景(100)中的任何其他对象相比位于与所述TOF成像系统(110)相距较短的距离处；
采用反向光线跟踪算法，以相对于来自所述至少两个光源(121,122,123,124)中的至少一个光源的光，在所述场景(100)中建立被估计为由所述潜在遮蔽对象(TC,FRT,FLT)遮蔽的至少一个区段部分(B
TC1234
,B
TC12
,B
TC34
,B
FRT
)；以及在确定所述阴影效应是否存在时，将所述潜在遮蔽对象(TC,FRT,FLT)包括在候选组中，从所述候选组选择所述至少一个第一对象(TC,FLT,FRT)。8.根据权利要求7所述的图像处理器(140)，所述图像处理器被配置为执行：第一处理步骤，其中确定所述场景(100)中的另一潜在遮蔽对象(FLT)的空间位置，所述另一潜在遮蔽对象(FLT)与所述场景(100)中尚未被包括在所述候选组中的任何其他对象相比位于与所述TOF成像系统(110)相距较短的距离处；第二处理步骤，其中应用所述反向光线跟踪算法以相对于来自所述至少两个光源(121,122,123,124)中的至少一个光源(121,124)的光在所述场景(100)中建立被估计为由所述另一潜在遮蔽对象(FLT)遮蔽的至少一个区段部分；和第三处理步骤，其中在确定所述阴影效应是否存在时，将所述另一潜在遮蔽对象(FLT)包括在所述候选组中，从所述候选组选择所述至少一个第一对象(TC,FLT,FRT)。9.根据权利要求8所述的图像处理器(140)，所述图像处理器被配置为重复所述第一处理步骤、所述第二处理步骤和所述第三处理步骤，直到已经满足停止标准。10.根据权利要求9所述的图像处理器(140)，其中响应于以下中的至少一者来设置所述停止标准：时间约束和处理能力约束。11.根据前述权利要求中的任一项所述的图像处理器(140)，所述图像处理器被配置为：确定表示到所述第二对象(RLT)的第一表面区域(ARLT
1234
)的第一距离的第一段距离数据(d
D
)，所述第一表面区域位于由所述至少两个光源(121,122,123,124)中的所有光源照射的第一区段部分(S
1234
)中；以及确定表示到所述至少一个第二对象(RLT)的所述至少一部分的第二表面区域(ARLT
23
)的第二距离的第二段距离数据(d
D
)，所述第二表面区域位于由所述至少两个光源(121,122,123,124)的子集照射的第二区段部分(S
23
)中，并且所述确定所述第二段距离数据(d
D
)涉及将所述第一表面区域(ARLT
1234
)外推到所述第二区段部分(S
23
)中。12.根据权利要求11所述的图像处理器(140)，其中所述外推假设所述至少一个第二对象(RLT)具有通常已知的形状。13.根据权利要求12所述的图像处理器(140)，其中第二数目为零。14.根据权利要求11至13中任一项所述的图像处理器(140)，其中所述场景(100)包括挤奶位置，并且所述至少一个第二对象(RLT)是挤奶动物的奶头。15.根据前述权利要求中的任一项所述的图像处理器(140)，其中所述图像数据(D
img
)包括针对像素集合中的每个像素表示光强度值的数据，并且所述图像处理器(140)还被配置为：通过适应强度来调整所述像素集合中的像素的所述强度值，所述像素表示由来自所述至少两个光源(121,122,123,124)中的少于全部的光源的光照射的所述至少一个第二对象的所述至少一部分的表面(FLT
S1
)上的点(P1,P2,
…
,P6)，所述强度值是在不考虑所述阴影效应的情况下计算的，并且所述适应强度与光被阻挡而无法到达所述点(P1,P2,
…
,P6)的
所述至少两个光源(121,122,123,124)的数目成比例，其中所述至...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：利拉伐控股有限公司，
类型：发明
国别省市：