使用数字图像和深度数据确定尺寸的设备和方法技术

提供了一种使用数字图像和深度数据确定尺寸的设备和方法。该设备包括相机和深度感测设备，它们的视场通常重叠。识别属于在来自相机的数字图像中识别的对象的形状的片段。基于来自深度感测设备的与属于对象的形状的片段中的每个片段相关联的相应的深度数据，确定片段中的每个片段是否与属于该对象的相同形状相关联。一旦所有片段被处理以确定它们与数字图像中的对象的形状的相应的关联，就基于相应的深度数据和形状的相应的关联来计算对象的尺寸。

【技术实现步骤摘要】
【国外来华专利技术】使用数字图像和深度数据确定尺寸的设备和方法
技术介绍
数字相机通常用于移动设备。深度感测相机通常不用于移动设备；然而，深度感测相机(诸如飞行时间相机、结构光相机、立体相机)可用于测量对象尺寸。然而，利用深度感测相机测量对象尺寸可能需要高质量和/或昂贵的部件来递送高精度数据以与普通标尺测量竞争。此外，这种深度感测相机中的许多具有固有的问题。例如，使用结构光的深度感测相机会受到环境光的干扰；此外，它们的精度随着到要确定尺寸的物理对象的距离而下降；并且需要ASIC(专用集成电路)以从所获取的许多结构光图像计算深度数据。此外，立体相机可能需要重要的基线以用于准确测量，然后该测量受到低光衰减；并且图像对应问题可能必需硬件加速。飞行时间相机可能受到噪声、反射和光干扰；此外，准确的确定尺寸测量可能需要被测量的物理对象的精确角落，并且飞行时间可能进一步提供在物理对象的边缘处的较差结果。附图说明附图(其中相同的附图标记在全部单独的视图中指示相同的或功能类似的要素)连同下面的详细描述被包括于此并形成说明书的一部分，并用来进一步图示本文描述的概念的实现，以及解释那些实现的各种原理和优势。图1描绘了根据一些实现的用于使用数字图像和深度数据确定尺寸(dimension)的混合设备的前视图和后视图。图2描绘了根据一些实现的图1的设备的示意性框图。图3是根据一些实现的使用数字图像和深度数据确定尺寸的方法的流程图。图4描绘了根据一些实现的图2的获取物理对象的数字图像和深度数据的设备。图5描绘了根据一些实现的在图4中获取的数据的处理的示例。图6描绘了根据一些实现的在图4中获取的数据的进一步处理的示例。图7描绘了根据一些实现的在图4中获取的数据的进一步处理的示例。图8描绘了根据一些实现的在图4中获取的数据的进一步处理的示例。图9描绘了根据一些实现的图1的渲染(render)物理对象的数字图像及其尺寸的设备。图10是根据一些实现的使用数字图像和深度数据确定尺寸的方法的流程图。本领域技术人员将理解附图中的要素出于简化和清楚而示出，并且不一定按比例绘制。例如，附图中的要素中的一些要素的尺寸可相对于其他要素被放大以帮助改善对本专利技术实现的理解。已在附图中通过常规符号在适当位置对装置和方法构成进行了表示，所述表示仅示出与理解本专利技术的实现有关的那些特定细节以免因得益于本文的描述将对本领域技术人员显而易见的细节而混淆本公开。具体实施方式本说明书的一个方面提供一种设备，包括：相机设备，被配置为获取视场中的数字图像；深度感测设备，被配置为获取跨相机设备的视场的至少一部分的深度数据；以及，确定尺寸处理器，被配置为用于：确定属于在数字图像中识别的对象的形状的片段(segment)；基于来自深度感测设备的与属于对象的形状的片段中的每个片段相关联的相应的深度数据，确定片段中的每个片段是否与属于该对象的相同形状相关联；以及，一旦所有片段被处理以确定它们与数字图像中的对象的形状的相应的关联，就基于相应的深度数据和形状的相应的关联来计算对象的尺寸。确定尺寸处理器还可以被配置为通过以下方式确定片段中的每个片段是否与属于对象的相同形状相关联：识别属于在数字图像中识别的对象的形状的相邻片段；以及，比较相邻片段的相应的深度数据的至少一部分。确定尺寸处理器还可以被配置为通过以下方式确定片段中的每个片段是否与属于对象的相同形状相关联：迭代通过片段中的所有相邻片段以确定相邻片段是否可以被连接成相同形状的较大的超片段(super-segment)。确定尺寸处理器还可以被配置为通过以下方式确定片段中的每个片段是否与属于对象的相同形状相关联：基于相应的深度数据确定相邻片段是否与相同形状共同定位。确定尺寸处理器还可以被配置为滤出与该对象不相关联的识别的形状和识别的片段中的一个或多个。该设备还可以包括显示设备，并且所述确定尺寸处理器还可以被配置为控制该显示设备用于以下中的一个或多个：渲染该数字图像；识别数字图像中的对象；以及渲染对象的尺寸。该设备还可以包括存储定义对象的数据的存储器，并且确定尺寸处理器还可以被配置为：通过将数字图像与定义对象的数据进行比较来识别数字图像中的对象。定义对象的数据可以存储在存储器中的容器(container)中，容器是存储在存储器中的多个容器之一，该多个容器中的每个定义相应的对象。定义对象的数据可以包括对象的立体度量(stereometric)性质，该立体度量性质包括在三维中唯一地表征对象的对象的定量描述和定性描述中的一个或多个的集合。确定尺寸处理器还可以被配置为基于数字图像中和深度数据中的对象的片段的相对位置来确定对象的几何形状。形状中的每个可包括以下中的一个或多个：图元(primitive)形状、平面、三角形、正方形、矩形、圆形、球形和多边形。确定尺寸处理器还可以被配置为预处理数字图像用于以下中的一个或多个：对图像噪声进行滤波；检测对象的边缘；对颜色分段；确定数字图像中的形态特征；以及确定数字图像中的线的取向。确定尺寸处理器还可以被配置为预处理深度数据用于以下中的一个或多个：校正失真；校正干扰；对噪声滤波；以及将深度数据转换为点云数据格式。相机设备可以包括RGB(红-绿-蓝)数字相机。深度感测设备可包括以下中的一个或多个：结构光相机、飞行时间相机、立体视觉相机、主动立体视觉相机、被动立体视觉相机、立体影像相机和LIDAR(光检测和测距)设备。本说明书的另一个方面提供一种方法，包括：在设备处，包括：相机设备，被配置为获取视场中的数字图像；深度感测设备，被配置为获取跨相机设备的视场的至少一部分的深度数据；以及，确定尺寸处理器，在确定尺寸处理器处确定属于在数字图像中识别的对象的形状的片段；基于来自深度感测设备的与属于对象的形状的片段中的每个片段相关联的相应的深度数据，在确定尺寸处理器处确定片段中的每个片段是否与属于该对象的相同形状相关联；以及，一旦所有片段被处理以确定它们与数字图像中的对象的形状的相应的关联，就在确定尺寸处理器处基于相应的深度数据和形状的相应的关联来计算对象的尺寸。确定片段中的每个片段是否与属于对象的相同形状相关联可以通过以下来发生：识别属于在数字图像中识别的对象的形状的相邻片段；以及，比较相邻片段的相应的深度数据的至少一部分。确定片段中的每个片段是否与属于对象的相同形状相关联可以通过以下来发生：迭代通过片段中的所有相邻片段以确定相邻片段是否可以被连接成相同形状的较大的超片段。确定片段中的每个片段是否与属于对象的相同形状相关联可以通过以下来发生：基于相应的深度数据确定相邻片段是否与相同形状共同定位。该方法还可以包括滤出与该对象不相关联的识别的形状和识别的片段中的一个或多个。该方法还可以包括显示设备，并且该方法还可以包括控制该显示设备用于以下中的一个或多个：渲染该数字图像；识别数字图像中的对象；以及渲染对象的尺寸。该方法还可以包括存储定义对象的数据的存储器，并且该方法还可以包括：通过将数字图像与定义对象的数据进行比较来识别数字图像中的对象。定义对象的数据可以存储在存储器中的容器中，容器是存储在存储器中的多个容器之一，该多个容器中的每个定义相应的对象。定义对象的数据可以包括对象的立体度量性质，该立体度量性质包括在三维中唯一地表征对象的对象的定量本文档来自技高网...

【技术保护点】
1.一种设备，包括：相机设备，被配置成获取视场中的数字图像；深度感测设备，被配置成获取跨所述相机设备的视场的至少一部分的深度数据；以及确定尺寸处理器，被配置成：确定属于在所述数字图像中识别的对象的形状的片段；基于来自所述深度感测设备的与属于所述对象的形状的片段中的每个片段相关联的相应的深度数据，确定所述片段中的每个片段是否与属于所述对象的相同形状相关联；以及一旦所有所述片段被处理以确定它们与所述数字图像中的所述对象的形状的相应的关联，就基于所述相应的深度数据和形状的相应的关联来计算所述对象的尺寸。

【技术特征摘要】
【国外来华专利技术】2016.03.14 US 15/069,4911.一种设备，包括：相机设备，被配置成获取视场中的数字图像；深度感测设备，被配置成获取跨所述相机设备的视场的至少一部分的深度数据；以及确定尺寸处理器，被配置成：确定属于在所述数字图像中识别的对象的形状的片段；基于来自所述深度感测设备的与属于所述对象的形状的片段中的每个片段相关联的相应的深度数据，确定所述片段中的每个片段是否与属于所述对象的相同形状相关联；以及一旦所有所述片段被处理以确定它们与所述数字图像中的所述对象的形状的相应的关联，就基于所述相应的深度数据和形状的相应的关联来计算所述对象的尺寸。2.根据权利要求1所述的设备，其中，所述确定尺寸处理器还被配置为通过以下方式来确定所述片段中的每个片段是否与属于所述对象的相同形状相关联：识别属于所述数字图像中识别的所述对象的形状的相邻片段；以及比较所述相邻片段的相应的深度数据的至少一部分。3.根据权利要求1所述的设备，其中，所述确定尺寸处理器还被配置为通过以下方式确定片段中的每个片段是否与属于所述对象的相同形状相关联：迭代通过所述片段中的所有相邻片段以确定所述相邻片段是否能被连接成所述相同形状的较大的超片段。4.根据权利要求1所述的设备，其中，所述确定尺寸处理器还被配置为通过以下方式来确定所述片段中的每个片段是否与属于所述对象的相同形状相关联：基于所述相应的深度数据确定相邻片段是否与所述相同形状共同定位。5.根据权利要求1所述的设备，其中，确定尺寸处理器还被配置为滤出与所述对象不相关联的识别的形状和识别的片段中的一个或多个。6.根据权利要求1所述的设备，还包括显示设备，所述确定尺寸处理器还被配置为控制所述显示设备用于以下中的一个或多个：渲染所述数字图像；识别所述数字图像中的所述对象；以及渲染所述对象的尺寸。7.根据权利要求1所述的设备，还包括存储器，所述存储器存储定义所述对象的数据，所述确定尺寸处理器还被配置为：通过将所述数字图像与定义所述对象的所述数据进行比较来识别所述数字图像中的所述对象。8.根据权利要求7所述的设备，其中定义所述对象的所述数据被存储在存储器中的容器中，所述容器是存储在所述存储器中的多个容器之一，所述多个容器中的每一个定义相应的对象。9.根据权利要求7所述的设备，其中定义所述对象的所述数据包括所述对象的立体度量性质，所述立体度量性质包括在三维中唯一地表征所述对象的所述对象的定量描述和定性描述中的一个或多个的集合。10.根据权利要求1所述的设备，其中所述确定尺寸处理器还被配置为基于所述数字图像中和所述深度数据中的所述对象的片段的相对位置来确定所述对象的几何形状。11.根据权利要求1所述的设备，其中，所述形状中的每个形状包括以下中的一个或多个：图元形状、平面、三角形、正方形、矩形、圆形、球形和多边形。12.根据权利要求1所述的设...

【专利技术属性】
技术研发人员：S·佐罗托夫，
申请(专利权)人：讯宝科技有限责任公司，
类型：发明
国别省市：美国,US