仓储货物测量方法和装置制造方法及图纸

本说明书实施例提供了一种仓储货物测量方法和装置。根据该实施例的方法，首先，接收由单目摄像头采集的仓库中的货物的货物图像；之后，对所述货物图像进行货物关键点检测，得到所述货物图像中表征货物高度边顶部端点的第一像素点和该高度边底部端点的第二像素点；然后，利用已知的所述单目摄像头对应的标尺在所述仓库中的位置和高度，标定该标尺在所述货物图像中的位置和高度；这样，就可以利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点，计算所述高度边的高度值；根据所述高度边的高度值，从而得到所述单目摄像头视觉范围内的货物的高度值。

【技术实现步骤摘要】
仓储货物测量方法和装置
本说明书一个或多个实施例涉及图像处理
，尤其涉及仓储货物测量方法和装置。
技术介绍
仓储业务在人们的生活中越来越重要。比如，利用大型仓库来存放建筑用的木材。再如，利用仓库来存储各种货物箱。为了保证仓储业务的正常运营，需要对仓储货物进行测量，从而来得到仓库中存储的货物的信息，比如货物的高度或体积等，从而根据各次测量的结果可以判断出仓库中的货物是否减少或者增加，实现对仓储货物的监控。然而目前，对仓储货物进行测量的方法，通常都是基于人工实现的，比如由仓库管理员在仓库现场进行实地测量。此种方式，由于基于人工实现，因此，存在由于人工测量造成的各种问题，比如，对于大型仓库的仓储业务，人工测量方式效率低下及人工成本较大等。
技术实现思路
本说明书一个或多个实施例描述了仓储货物测量方法和装置，能够通过视觉测量实现对仓库的货物监控，解决由于人工测量造成的问题。根据第一方面，提供了仓储货物测量方法，包括：接收由单目摄像头采集的仓库中的货物的货物图像；对所述货物图像进行货物关键点检测，得到所述货物图像中的第一像素点和第二像素点；其中，所述第一像素点表征：所述货物在相对于地面的高度方向上的高度边的顶部端点；所述第二像素点表征：该高度边的底部端点；利用已知的所述单目摄像头对应的标尺在所述仓库中的位置和高度，标定该标尺在所述货物图像中的位置和高度；利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点，计算所述高度边的高度值；根据所述高度边的高度值，得到所述单目摄像头视觉范围内的货物的高度值。在一个实施例中，在所述对所述货物图像进行货物关键点检测之前，进一步包括：利用所述单目摄像头采集包括不同货物图像内容的至少两张样本图像；得到标注训练数据；所述标注训练数据为：对每一张样本图像中可见的货物进行了标注的数据，该标注的方式包括：每个可见货物按相同预设方式标注了可见的各顶点和该各顶点间的连接关系；以及利用所述标注训练数据，训练货物关键点识别模型；则，所述对所述货物图像进行货物关键点检测，包括：利用所述货物关键点识别模型对所述货物图像进行货物关键点检测。在一个实施例中，所述货物关键点识别模型包括：openpose识别模型；所述利用所述标注训练数据训练货物关键点识别模型，包括：在利用所述openpose识别模型的affinityfields预测关键点位置时，将所述标注训练数据对应的像素点与所述单目摄像头对应的相机成像平面中的消失点相连，以约束所述affinityfields的流向。在一个实施例中，所述计算所述高度边的高度值包括：得到第一消失点；该第一消失点为：所述单目摄像头对应的相机成像平面中，在相对于地面的高度方向上各平行直线对应的消失点；根据所标定的标尺的位置和高度，将该标尺的顶部端点在所述货物图像中投影到所述第一像素点与所述第二像素点之间的第一连线上，得到该第一连线上的第三像素点；利用所述第一消失点、第一像素点、第二像素点以及第三像素点，计算所述高度边的高度值。在一个实施例中，所述计算所述高度边的高度值，包括：计算所述第三像素点与所述第二像素点之间的第一像素距离；计算所述第一像素点与所述第二像素点之间的第二像素距离；计算所述第一消失点与所述第二像素点之间的第三像素距离；利用如下式子计算所述高度边的高度值：d2=[D2*（V-D1）*d1]/[D1*（V-D2）]；其中，d2表征所述高度边的高度值；d1表征所述单目摄像头对应的标尺的高度；D1表征所述第一像素距离；D2表征所述第二像素距离；V表征所述第三像素距离。在一个实施例中，所述将该标尺的顶部端点在所述货物图像中投影到所述第一像素点与所述第二像素点之间的第一连线上得到该第一连线上的第三像素点，包括：在所述单目摄像头对应的相机成像平面中，确定对应于仓库地面的消失线；根据所述单目摄像头对应的标尺在仓库中的位置和高度，得到该标尺的底部端点在所述货物图像中所映射出的第四像素点以及该标尺的顶部端点在所述货物图像中所映射出的第五像素点；将所述第四像素点与所述第二像素点相连，得到第二连线；将所述第二连线与所述消失线的交点，确定为第二消失点；将所述第五像素点与所述第二消失点相连，得到第三连线；将所述第一连线与所述第三连线的交点，确定为所述第三像素点。在一个实施例中，所述确定对应于仓库地面的消失线，包括：在所述单目摄像头视觉范围内未存在货物时，通过该单目摄像头采集仓库内地面上的货道线的图像；利用霍夫变换检测出在所述货道线的图像中的各直线；计算出该各直线的倾角；根据计算出的倾角，对该各直线进行聚类，分成至少两条水平线和至少两条竖直线；对至少两条水平线，用最小二乘法以及随机抽样一致性算法，计算出该至少两条水平线的交汇点，将该交汇点作为水平方向消失点；对至少两条竖直线，用最小二乘法以及随机抽样一致性算法，计算出该至少两条竖直线的交汇点，将该交汇点作为竖直方向消失点；利用所述水平方向消失点和所述竖直方向消失点，得到在所述单目摄像头对应的相机成像平面中对应于仓库地面的消失线。在一个实施例中，得到所述第一消失点包括：利用霍夫变换检测出在所述货物图像中的相对于地面高度方向上的至少两条直线；对该至少两条直线，用最小二乘法以及随机抽样一致性算法，计算出该至少两条直线的交汇点，将该交汇点作为所述第一消失点。在一个实施例中，所述单目摄像头对应位于不同位置的至少两个标尺；针对所述每一个标尺，分别执行所述利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点，计算所述高度边的高度值；则，所述根据所述高度边的高度值，得到所述单目摄像头视觉范围内的货物的高度值，包括：将针对各标尺分别计算出的所述高度边的各高度值进行加权平均计算，将该计算结果确定为所述单目摄像头视觉范围内的货物的高度值。在一个实施例中，所述标定该标尺在所述货物图像中的位置和高度，包括：在所述仓库中未存有货物时，监测所述标尺沿着所述仓库中的货道线的运动；利用光流法跟踪所述标尺的运动，得到所述标尺的运动轨迹；根据所述运动轨迹，得到所述单目摄像头对应的标尺在所述货物图像中的位置和高度。在一个实施例中，在所述接收由单目摄像头采集的货物图像之后，并在所述对所述货物图像进行货物关键点检测之前，进一步包括：对所述货物图像进行畸变矫正。根据第二方面，提供了一种基于区块链技术的货物交易业务的实现方法，其中，利用本说明书任一实施例所述的仓储货物测量方法，得到仓库内至少一个单目摄像头视觉范围内的货物的高度值；根据所述货物的高度值，确定至少一个单目摄像头视觉范围内的货物的存量信息；将确定的存量信息上传到区块链中；<本文档来自技高网...

【技术保护点】
1.仓储货物测量方法，包括：/n接收由单目摄像头采集的仓库中的货物的货物图像；/n对所述货物图像进行货物关键点检测，得到所述货物图像中的第一像素点和第二像素点；其中，所述第一像素点表征：所述货物在相对于地面的高度方向上的高度边的顶部端点；所述第二像素点表征：该高度边的底部端点；/n利用已知的所述单目摄像头对应的标尺在所述仓库中的位置和高度，标定该标尺在所述货物图像中的位置和高度；/n利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点，计算所述高度边的高度值；/n根据所述高度边的高度值，得到所述单目摄像头视觉范围内的货物的高度值。/n

【技术特征摘要】
1.仓储货物测量方法，包括：
接收由单目摄像头采集的仓库中的货物的货物图像；
对所述货物图像进行货物关键点检测，得到所述货物图像中的第一像素点和第二像素点；其中，所述第一像素点表征：所述货物在相对于地面的高度方向上的高度边的顶部端点；所述第二像素点表征：该高度边的底部端点；
利用已知的所述单目摄像头对应的标尺在所述仓库中的位置和高度，标定该标尺在所述货物图像中的位置和高度；
利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点，计算所述高度边的高度值；
根据所述高度边的高度值，得到所述单目摄像头视觉范围内的货物的高度值。


2.根据权利要求1所述的方法，在所述对所述货物图像进行货物关键点检测之前，进一步包括：
利用所述单目摄像头采集包括不同货物图像内容的至少两张样本图像；
得到标注训练数据；所述标注训练数据为：对每一张样本图像中可见的货物进行了标注的数据，该标注的方式包括：每个可见货物按相同预设方式标注了可见的各顶点和该各顶点间的连接关系；以及
利用所述标注训练数据，训练货物关键点识别模型；
则，所述对所述货物图像进行货物关键点检测，包括：
利用所述货物关键点识别模型对所述货物图像进行货物关键点检测。


3.根据权利要求2所述的方法，其中，所述货物关键点识别模型包括：openpose识别模型；
所述利用所述标注训练数据训练货物关键点识别模型，包括：
在利用所述openpose识别模型的affinityfields预测关键点位置时，将所述标注训练数据对应的像素点与所述单目摄像头对应的相机成像平面中的消失点相连，以约束所述affinityfields的流向。


4.根据权利要求1所述的方法，其中，所述计算所述高度边的高度值包括：
得到第一消失点；该第一消失点为：所述单目摄像头对应的相机成像平面中，在相对于地面的高度方向上各平行直线对应的消失点；
根据所标定的标尺的位置和高度，将该标尺的顶部端点在所述货物图像中投影到所述第一像素点与所述第二像素点之间的第一连线上，得到该第一连线上的第三像素点；
利用所述第一消失点、第一像素点、第二像素点以及第三像素点，计算所述高度边的高度值。


5.根据权利要求4所述的方法，其中，所述计算所述高度边的高度值，包括：
计算所述第三像素点与所述第二像素点之间的第一像素距离；
计算所述第一像素点与所述第二像素点之间的第二像素距离；
计算所述第一消失点与所述第二像素点之间的第三像素距离；
利用如下式子计算所述高度边的高度值：
d2=[D2*（V-D1）*d1]/[D1*（V-D2）]；
其中，d2表征所述高度边的高度值；d1表征所述单目摄像头对应的标尺的高度；D1表征所述第一像素距离；D2表征所述第二像素距离；V表征所述第三像素距离。


6.根据权利要求4所述的方法，其中，所述将该标尺的顶部端点在所述货物图像中投影到所述第一像素点与所述第二像素点之间的第一连线上得到该第一连线上的第三像素点，包括：
在所述单目摄像头对应的相机成像平面中，确定对应于仓库地面的消失线；
根据所述单目摄像头对应的标尺在仓库中的位置和高度，得到该标尺的底部端点在所述货物图像中所映射出的第四像素点以及该标尺的顶部端点在所述货物图像中所映射出的第五像素点；
将所述第四像素点与所述第二像素点相连，得到第二连线；
将所述第二连线与所述消失线的交点，确定为第二消失点；
将所述第五像素点与所述第二消失点相连，得到第三连线；
将所述第一连线与所述第三连线的交点，确定为所述第三像素点。


7.根据权利要求6所述的方法，其中，所述确定对应于仓库地面的消失线，包括：
在所述单目摄像头视觉范围内未存在货物时，通过该单目摄像头采集仓库内地面上的货道线的图像；
利用霍夫变换检测出在所述货道线的图像中的各直线；
计算出该各直线的倾角；
根据计算出的倾角，对该各直线进行聚类，分成至少两条水平线和至少两条竖直线；
对至少两条水平线，用最小二乘法以及随机抽样一致性算法，计算出该至少两条水平线的交汇点，将该交汇点作为水平方向消失点；
对至少两条竖直线，用最小二乘法以及随机抽样一致性算法，计算出该至少两条竖直线的交汇点，将该交汇点作为竖直方向消失点；
利用所述水平方向消失点和所述竖直方向消失点，得到在所述单目摄像头对应的相机成像平面中对应于仓库地面的消失线。


8.根据权利要求4所述的方法，其中，得到所述第一消失点包括：
利用霍夫变换检测出在所述货物图像中的相对于地面高度方向上的至少两条直线；
对该至少两条直线，用最小二乘法以及随机抽样一致性算法，计算出该至少两条直线的交汇点，将该交汇点作为所述第一消失点。


9.根据权利要求1所述的方法，其中，所述单目摄像头对应位于不同位置的至少两个标尺；
针对所述每一个标尺，分别执行所述利用所标定的标尺的位置和高度、所述第一像素点以及所述第二像素点，计算所述高度边的高度值；
则，所述根据所述高度边的高度值，得到所述单目摄像头视觉范围内的货物的高度值，包括：
将针对各标尺分别计算出的所述高度边的各高度值进行加权平...

【专利技术属性】
技术研发人员：李顺恺，何思枫，杨旭东，张晓博，杨磊，程远，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33