用于自动化图像获取的机器人制造技术

公开一种用于获取高分辨率成像数据的机器人。所述机器人尤其适合于在室内获取图像，例如在零售或仓库场所。可以分析获取的图像来识别库存等。所述机器人包括用于沿着路径移动所述机器人的运送工具。所述机器人使用线扫描相机随着所述机器人移动而捕获沿着所述路径的物体的一系列图像。控制器控制所述机器人的运动以及通过所述相机获取单独的图像。所述一系列图像中的每个单独的获取图像具有至少一个垂直像素线。所述一系列图像可以组合来形成具有扩大分辨率的组合图像。每线性移动单位的像素数量可以由所述控制器独立于所述机器人的运动速度来控制。

Robot for Automatic Image Acquisition

A robot for obtaining high resolution imaging data is disclosed. The robot is particularly suitable for acquiring images indoors, such as in retail or warehouse locations. The acquired image can be analyzed to identify inventory and so on. The robot includes a transport tool for moving the robot along a path. The robot captures a series of images of objects along the path using a line scanning camera as the robot moves. The controller controls the motion of the robot and obtains a separate image through the camera. Each individual acquired image in the series of images has at least one vertical pixel line. The series of images can be combined to form a composite image with expanded resolution. The number of pixels per linear moving unit can be controlled by the motion speed of the controller independent of the robot.

【技术实现步骤摘要】
【国外来华专利技术】用于自动化图像获取的机器人相关申请的交叉引用本申请要求2016年1月8日提交的第62/276,455号美国临时专利申请的优先权，该申请的全部内容在此以引用的方式并入本文中。
本公开涉及高分辨率图像的自动化获取，并且更具体地，涉及一种可以用于收集此类图像的机器人和软件。获取的图像可以是例如在零售或仓库场所中获取的室内图像。可以分析图像以从条形码和其他产品标识符中提取数据来识别产品以及货架或展览物品的位置。
技术介绍
零售店和仓库在沿着商店/仓库中的过道的货架中囤积多种产品。然而，随着商店/仓库的规模增大，更难以有效地管理产品和货架。例如，零售店可能会将产品囤积在不正确的位置、给产品标错价格，或者未能囤积可用于储存在面向消费者的货架中的产品。具体地，很多零售商并不知道他们的商店、百货公司、仓库等内的产品的确切位置。零售商传统上以极大的人工花费雇佣商店检验员并且进行定期审核来管理库存。此外，管理团队对产品库存团队的有效性没有多少了解，并且没有办法确保识别并纠正库存错误。因此，需要用于收集与零售或仓库场所处的货架物品相关联的信息的改进方法、软件和装置。
技术实现思路
在一方面，提供一种机器人，所述机器人包括：运送设备，其用于沿着路径移动机器人；线扫描相机，其安装到机器人上动而移动；以及控制器，其通信地耦合到运送设备和线扫描相机，并且被配置成：控制机器人使用运送设备沿着路径移动；使用线扫描相机随着机器人移动而捕获沿着路径的物体的一系列图像，该一系列图像中的每个图像具有至少一个垂直像素线；并且控制机器人和线扫描相机的速度，以获取超过机器人沿着路径的每线性移动单位的预定数量的垂直像素线，以便允许图像被组合来形成组合图像，所述组合图像具有大于预定像素密度的水平像素密度。在另一方面，提供一种机器人，所述机器人包括：运送设备，其用于沿着路径移动机器人；线扫描相机，其安装到机器人上并且被配置成随着机器人移动而移动；聚焦设备，其具有第一镜；第二镜，所述第二镜与第一镜相对且在其中限定光学空腔；以及第三镜，所述第三镜倾斜以将光引导到线扫描相机并且设置在第一镜与第二镜之间，其中镜中的至少一个是可移动的以改变光从沿着路径的物体行进到线扫描相机的路径；以及控制器，其通信地连接到运送设备、线扫描相机和聚焦设备，并且被配置成：控制机器人使用运送设备沿着路径移动；使用线扫描相机随着机器人移动而捕获沿着路径的物体的一系列图像，沿着路径的物体在距线扫描相机的不同距离处；并且控制可移动镜以在机器人移动时维持线扫描相机与邻近路径的物体之间的基本上恒定的工作距离。在另一方面，提供一种机器人，所述机器人包括：运送工具，其用于沿着路径移动机器人；线扫描相机，其安装到机器人并且被配置成随着机器人移动而移动；以及控制器，其通信地连接到运送工具和线扫描相机，并且被配置成：控制机器人使用运送工具沿着路径移动；使用线扫描相机随着机器人移动而捕获沿着路径的物体的一系列图像序列，图像序列中的每个图像序列中的每个图像具有多个预定曝光值中的一个，预定曝光值在高曝光值与低曝光值之间变化；针对图像序列中的每个图像序列，选择不具有饱和像素的序列中的图像，以获得一系列选择的图像；并且将该一系列选择的图像组合来创建邻近路径的物体的组合图像。在另一方面，提供一种用于使用连接到机器人的线扫描相机来捕获图像的方法，所述方法包括：控制机器人使用运送工具沿着路径移动；使用线扫描相机随着机器人移动而捕获沿着路径的物体的一系列图像，该一系列图像中的每个图像具有至少一个垂直像素线；以及控制机器人和线扫描相机的速度，以获取超过机器人沿着路径的每线性移动单位的预定数量的垂直像素线，以便允许图像被组合来形成组合图像，所述组合图像具有大于预定像素密度的水平像素密度。在另一方面，提供一种机器人，所述机器人包括：运送设备，其用于沿着路径移动机器人；线扫描相机，其安装到机器人，并且被配置成随着机器人移动而移动并且随着机器人移动而捕获沿着路径的物体的一系列图像；聚焦设备，其具有第一镜；第二镜，所述第二镜与第一镜相对以在其中限定光学空腔，并且安置成接收来自沿着路径的物体的光并将光重新引导到第一镜；以及第三镜，所述第三镜设置在第一镜与第二镜之间并且倾斜以接收来自第一镜的光并将光重新引导到线扫描相机，并且其中聚焦设备延长线扫描相机与邻近路径的物体之间的工作距离；以及控制器，其通信地连接到运送设备和线扫描相机，并且被配置成控制机器人使用运送工具沿着路径移动且使用线扫描相机随着机器人移动而捕获沿着路径的物体的一系列图像。结合以下描述，从附图中将明白其他特征。附图说明在示出示例实施例的附图中：图1是示例性实施例的机器人的前视平面图和侧视平面图；图2是图1的机器人的示意性框图；图3A至图3B示出用于与图1的机器人一起使用的第一示例聚焦设备；图4A至图4C示出用于与图1的机器人一起使用的第二示例聚焦设备；图5A是图1的机器人在零售店中的透视图；图5B是零售店和图1的机器人所沿循的零售店中的示例路径的俯视示意图；图5C是图1的零售智能机器人在零售店中沿循图5B的路径的透视图；图5D至图5F是图1的零售智能机器人在零售店中沿循图5B的路径可以捕获的示例系列图像的示意图；图6A至图6D是图1的机器人中使用的示例性成像系统的部件的俯视示意图；图7A至图7C是描绘可以由图1的机器人的软件执行的示例性框的流程图；图8示出图1的机器人可以用于获取图像的示例性曝光图案；以及图9是描绘用于分析由图1的机器人捕获的图像的示例性框的流程图。具体实施方式图1描绘用于获取高分辨率成像数据的示例机器人100。如将清楚的那样，机器人100尤其适合于在室内获取图像，例如在零售或仓库场所。方便的是，可以分析获取的图像来识别和/或定位库存、货架标签等。如图所示，机器人100容纳在壳体104中并且具有两个或更多轮子102，所述轮子沿着单个旋转轴线安装以允许运送机器人100。机器人100还可以具有安装在第二旋转轴线上的另外第三(并且可能有第四)轮子。机器人100可以使用已知的平衡机构来维持平衡。或者，机器人100可以使用三个或更多轮子、轨道、支腿或者其他运送机构进行运送。如图2所示，机器人100包括用于沿着路径200(图5A中描绘)来移动机器人100的运送设备128。随着机器人100移动，机器人100使用机器人100上的成像系统150来捕获沿着路径200的一侧或两侧的物体的一系列图像。控制器120控制机器人100的运动以及通过成像系统150对单独图像的获取。该一系列图像中的每个单独的获取的图像具有至少一个垂直像素线。该一系列图像可以被组合来形成具有扩大尺寸的组合图像。因此，成像系统150为组合图像中的沿着一个轴线的几乎无限尺寸的图像提供可能性。方便的是，每线性移动单位获取的像素数量可以由控制器120独立于机器人100的运动速度来控制。当机器人100以低速移动时，可以获取给定曝光的大量图像。速度越高，在相同曝光下可以获取的图像就越少。曝光时间也可以改变。该一系列图像中可用的图像越多，由组合图像表示的每线性单位的可能像素数量就越高。因此，路径200的每线性单位的像素密度可以部分取决于机器人100的速度。机器人100可以将其沿着路径200的位置与每个捕获的图像相关本文档来自技高网...

【技术保护点】
1.一种机器人，包括：运送设备，用于沿着路径移动所述机器人；线扫描相机，安装到所述机器人上并且被配置成随着所述机器人移动而移动；以及控制器，通信地连接到所述运送设备和所述线扫描相机，并且被配置成：控制所述机器人使用所述运送设备沿着所述路径移动，使用所述线扫描相机随着所述机器人移动而捕获沿着所述路径的物体的一系列图像，所述一系列图像中的每个图像具有至少一个垂直像素线，并且控制所述机器人和所述线扫描相机的速度，以获取超过所述机器人沿着所述路径的每线性移动单位的预定数量的垂直像素线，以便允许所述图像被组合来形成组合图像，所述组合图像具有大于预定像素密度的水平像素密度。

【技术特征摘要】
【国外来华专利技术】2016.01.08 US 62/276,4551.一种机器人，包括：运送设备，用于沿着路径移动所述机器人；线扫描相机，安装到所述机器人上并且被配置成随着所述机器人移动而移动；以及控制器，通信地连接到所述运送设备和所述线扫描相机，并且被配置成：控制所述机器人使用所述运送设备沿着所述路径移动，使用所述线扫描相机随着所述机器人移动而捕获沿着所述路径的物体的一系列图像，所述一系列图像中的每个图像具有至少一个垂直像素线，并且控制所述机器人和所述线扫描相机的速度，以获取超过所述机器人沿着所述路径的每线性移动单位的预定数量的垂直像素线，以便允许所述图像被组合来形成组合图像，所述组合图像具有大于预定像素密度的水平像素密度。2.根据权利要求1所述的机器人，还包括聚焦设备，所述聚焦设备具有：第一镜；第二镜，所述第二镜与所述第一镜相对并且在其中限定光学空腔；以及第三镜，所述第三镜倾斜以将光引导到所述线扫描相机并且设置在所述第一镜与所述第二镜之间，其中所述镜中的至少一个是可移动的以改变光从沿着所述路径的所述物体行进到所述线扫描相机的路径。3.根据权利要求2所述的机器人，其中沿着所述路径的所述物体在距所述线扫描相机的不同距离处，并且其中所述控制器还被配置成控制可移动镜以在所述机器人移动时维持所述线扫描相机与邻近所述路径的所述物体之间的基本上恒定的工作距离。4.根据权利要求3所述的机器人，还包括深度传感器，所述深度传感器用于感测所述深度传感器与邻近所述路径的所述物体之间的距离，并且其中所述控制器被配置成基于来自所述深度传感器的输出来调整所述可移动镜。5.根据权利要求4所述的机器人，其中所述深度传感器是渡越时间相机。6.根据权利要求3所述的机器人，其中进入所述聚焦设备的光在所述第一镜与所述第二镜之间反射穿过所述光学空腔并且与所述第三镜相交，并且由此反射到所述线扫描相机的图像传感器上。7.根据权利要求6所述的机器人，其中以下中的至少一个是可调整的，以维持所述线扫描相机与邻近所述路径的所述物体之间的所述工作距离基本上恒定：所述第一镜与所述第二镜之间的距离、所述第三镜与所述线扫描相机的所述图像传感器之间的距离以及所述第一镜、所述第二镜和所述第三镜中的任一个的角度。8.根据权利要求1所述的机器人，还包括灯的阵列，所述灯的阵列具有沿着所述机器人的高度彼此邻近地放置的灯元件，并且具有被配置成将来自所述灯元件的光朝向邻近所述路径的所述物体引导的透镜。9.根据权利要求8所述的机器人，其中所述透镜被配置成将来自所述光元件的光线聚集到所述线扫描相机的视场上。10.根据权利要求1所述的机器人，其中所述控制器被配置成：使用所述线扫描相机随着所述机器人移动而捕获沿着所述路径的物体的一系列图像序列，所述图像序列中的每个图像序列中的每个图像具有多个预定曝光值中的一个，所述预定曝光值在高曝光值与低曝光值之间变化，针对所述图像序列中的每个图像序列，选择不具有饱和像素的所述序列中的图像，以获得一系列选择的图像，并且将所述一系列选择的图像组合来创建邻近所述路径的所述物体的组合图像。11.一种机器人，包括：运送设备，用于沿着路径移动所述机器人；线扫描相机，安装到所述机器人上并且被配置成随着所述机器人移动而移动；聚焦设备，其具有：第一镜；第二镜，所述第二镜与所述第一镜相对并且在其中限定光学空腔；以及第三镜，所述第三镜倾斜以将光引导到所述线扫描相机并且设置在所述第一镜与所述第二镜之间，其中所述镜中的至少一个是可移动的以改变所述光从沿着所述路径的物体行进到所述线扫描相机的路径；以及控制器，通信地连接到所述运送设备、所述线扫描相机和所述聚焦设备，并且被配置成：控制所述机器人使用所述运送设备沿着所述路径移动；使用所述线扫描相机随着所述机器人移动而捕获沿着所述路径的物体的一系列图像，沿着所述路径的所述物体位于距所述线扫描相机的不同距离处；并且控制可移动镜以在所述机器人移动时维持所述线扫描相机与邻近所述路径的所述物体之间的基本上恒定的工作距离。12.根据权利要求11所述的机器人，还包括深度传感器，所述深度传感器用于感测所述深度传感器与邻近所述路径的所述物体之间的距离，并且其中所述控制器被配置成基于来自所述深度传感器的输出来调整所述可移动镜。13.根据权利要求12所述的机器人，其中所述深度传感器是渡越时间相机。14.根据权利要求11所述的机器人，其中进入所述聚焦设备的光在所述第一镜与所述第二镜之间反射穿过所述光学空腔并且与所述第三镜相交，并且由此反射到所述线扫描相机的图像传感器上。15.根据权利要求14所述的机器人，其中以下中的至少一个是可调整的，以维持所述线扫描相机与邻近所述路径的所述物体之间的所述工作距离基本上恒定：所述第一镜与所述第二镜之间的距离、所述第三镜与所述线扫描相机的所述图像传感器之间的距离以及所述第一镜、所述第二镜和所述第三镜中的任一个的角度。16.根据权利要求11所述的机器人，其还包括灯的阵列，所述灯的阵列具有沿着所述机器人的高度彼此邻近地放置的灯元件，并且具有被配置成将来自所述灯元件的光朝向邻近所述路径的所述物体引导的透镜。17.根据权利要求16所述的机器人，其中所述透镜被配置成将来自所述光元件的光线聚集到所述线扫描相机的视场上。18.根据权利要求11所述的机器人，其中所述控制器被配置成：使用所述线扫描相机随着所述机器人移动而捕获沿着所述路径的物体的一系列图像序列，所述图像序列中的每个图像序列中的每个图像具有多个预定曝光值中的一个，所述预定曝光值在高曝光值与低曝光值之间变化，针对所述图像序列中的每个图像序列，选择不具有饱和像素的所述序列中的图像，以获得一系列选择的图像，并且将所述一系列选择的图像组合来创建邻近所述路径的所述物体的组合图像。19.根据权利要求11所述的机器人，其中所述控制器被配置成：将所述一系列图像组合来创建邻近所述路径的所述物体的组合图像，所述组合图像具有一系列垂直像素线，并且控制所述机器人和所述线扫描相机的所述速度，以获取超过所述机器人沿着所述路径的每线性移动单位的预定数量的垂直像素线，以便允许所述图像被组合来形成所述组合图像，所述组合图像具有大于预定像素密度的水平像素密度。20.一种机器人，包括：运送工具，用于沿着路径移动所述机器人；线扫描相机，其安装到所述机器人并且被配置成随着所述机器人移动而移动；以及控制器，其通信地连接到所述运送工具和所述线扫描相机，并且被配置成：控制所述机器人使用所述运送工具沿着所述路径移动，使用所述线扫描相机随着所述机器人移动而捕获沿着所述路径的物体的一系列图像序列，所述图像序列中的每个图像序列中的每个图像具有多个预定曝光值中的一个，所述预定曝光值在高曝光值与低曝光值之间变化，针对所述...

【专利技术属性】
技术研发人员：D斯塔克，
申请(专利权)人：四D空间天才股份有限公司，
类型：发明
国别省市：加拿大,CA