【技术实现步骤摘要】
本申请属于电力物资盘点领域，具体涉及一种基于多模态融合的大型电力物资定位与盘点方法及系统。
技术介绍
1、近年来电网公司都在大力开展智能化仓库建设以及仓储信息化系统建设，但是在实际应用中，智能化仓库以及仓储信息化系统并未与人构成更好的协同，无法发挥出它应用有的价值，并且仓库结构性缺货、账卡物不一致、盘点工作量大、实物数据资源池不准确、物资现场到货验收不严等问题仍存在。由于物资供应时效、供应体量的日益增加，每个仓库的库存金额与周转速度日益提升，原有的月度抽盘、季度全盘的盘点模式难以满足库存的频繁变动，且由于物资种类数量繁多，对盘点频率、效率都提出了更高的要求。
2、目前电力物资盘点技术包括采用无人机、地面巡视机器人、ar眼镜、货架行走机构等方案，主要通过设备携带的rfid传感器和二维码识别模块对物资进行计数，例如申请号为cn202211530961.4，名称为一种基于ar技术的电力物资智能盘点的方法；申请号为cn201710042626.2，名称为一种电力仓储系统资产盘点设备及其工作方法；申请号为cn201910724289.4，名称为用于电力物资仓储盘点的机器人等中国专利文献。虽然现有针对电力物资盘点技术的方案层出不穷，但均存在物资定位不精准，盘点时间过长、系统构建复杂等缺陷。
技术实现思路
1、本申请的目的之一在于提供一种基于多模态融合的大型电力物资定位与盘点方法，克服现有技术中存在的物资定位不精准，盘点时间过长、盘点效率低的问题。
2、为实现上述目的，本
3、一种基于多模态融合的大型电力物资定位与盘点方法，在仓库内布置接入同一局域网的多个云台，云台具备数据分发服务且设有激光雷达和图像采集设备，所述基于多模态融合的大型电力物资定位与盘点方法，包括：
4、控制云台转动至多个预置位，并在每一预置位由激光雷达和图像采集设备进行数据采集，根据激光雷达采集的点云以及图像采集设备采集的图像提取每一预置位的稳定特征点；
5、针对每一云台对应的稳定特征点进行特征点自动匹配，获得各云台间的相对位置，并根据各云台间的相对位置，将所有云台的坐标系转换至统一坐标系；
6、根据云台中激光雷达采集的点云以及图像采集设备采集的图像构建原始深度图，将原始深度图转换为6d图像后由实例分割网络输出实例分割结果；
7、提取实例分割结果中实例边缘像素对应的三维点，将三维点转换至统一坐标系，取转换后的所有三维点的平均值作为物资的中心位置，取转换后所有三维点的最值作为物资的外形包络，若两个物资的中心位置均在对方的外形包络内，则判定这两个物资为同一物资，并去除重复物资后完成物资的定位与盘点。
8、以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
9、作为优选，所述激光雷达和图像采集设备进行数据采集之前，需要先对图像采集设备进行内参标定，然后对图像采集设备和激光雷达进行外参联合标定。
10、作为优选，所述根据激光雷达采集的点云以及图像采集设备采集的图像提取每一预置位的稳定特征点，包括：
11、根据云台中激光雷达采集的点云以及图像采集设备采集的图像构建原始深度图；
12、利用sift算子分别提取图像采集设备采集的图像和原始深度图中的特征点及特征点的描述符；
13、若图像采集设备采集的图像和原始深度图的特征点处于图像同一像素位置，则该特征点为稳定特征点，且稳定特征点的描述符为图像采集设备采集的图像和原始深度图的描述符的集合；否则重新进行数据采集以提取稳定特征点。
14、作为优选，所述根据云台中激光雷达采集的点云以及图像采集设备采集的图像构建原始深度图，包括：
15、以激光雷达的采集帧率控制激光雷达和图像采集设备进行数据采集；
16、采用图像采集设备的内参对图像采集设备采集的图像进行矫正，获得矫正图像；
17、利用激光雷达和图像采集设备的外参获取点云中三维点与矫正图像中像素点的对应关系，其中一个像素点对应一个或多个三维点；
18、计算像素点对应的所有三维点的深度，并取三维点中的最小深度，结合图像采集设备的检查最大距离，将最小深度转化为该像素点的深度值，得到稀疏深度图；
19、对稀疏深度图进行空洞填补操作，得到最终的原始深度图。
20、作为优选，所述对稀疏深度图进行空洞填补操作，得到最终的原始深度图，包括：
21、取稀疏深度图中的空洞像素，以空洞像素为中心向四周扩展得到一个5*5的像素区域；
22、计算像素区域中空洞像素的八邻域中每一邻域的两个像素与空洞像素的联合相似度，计算公式如下：
23、
24、式中，k为联合相似度，(rc，gc，bc)为空洞像素的rgb值，(r1，g1，b1)和(r2，g2，b2)为八邻域中同一邻域上的两个像素的rgb值；
25、取八邻域中联合相似度最大的邻域上的两个像素的深度值d1，d2，则得到空洞像素的深度值如下：
26、dc＝2d1-d2
27、式中，dc为空洞像素的深度值。
28、作为优选，所述针对每一云台对应的稳定特征点进行特征点自动匹配，获得各云台间的相对位置，包括：
29、对于每一云台的所有稳定特征点，与其他云台的所有稳定特征点进行匹配，取前i个作为云台对应的匹配特征点，形成匹配特征点集；
30、根据每一云台的匹配特征点集，得到与每一匹配特征点对应的三维点，并将三维点转换至云台姿态坐标系下，形成匹配三维点集；
31、根据两个云台之间的匹配三维点集，计算两个云台间的平移矩阵和旋转矩阵，确定各云台间的相对位置。
32、作为优选，所述根据两个云台之间的匹配三维点集，计算两个云台问的平移矩阵和旋转矩阵，包括：
33、取两个云台的匹配三维点集为和
34、计算两个匹配三维点集合之间的旋转矩阵和平移矩阵[r t]，作为两个云台的相对平移和旋转位置：
35、构建矩阵h：
36、
37、其中，m′it表示对m′i进行转置，m′i＝p1i-p1c；
38、
39、其中d′i＝p2i-p2c；
40、
41、对矩阵h进行svd分解，如下：
42、h＝uλvt
43、其中，u和v是3*3正交矩阵，vt表示对v进行转置，λ是3*3对角矩阵；
44、则：
45、r＝vut
46、t＝p1c-rp2c
47、其中，ut表示对u进行转置，r为旋转矩阵，t为平移矩阵。
48、作为优选，所述将原始深度图转换为6d图像，包括：...
【技术保护点】
1.一种基于多模态融合的大型电力物资定位与盘点方法，其特征在于，在仓库内布置接入同一局域网的多个云台，云台具备数据分发服务且设有激光雷达和图像采集设备，所述基于多模态融合的大型电力物资定位与盘点方法，包括：
2.根据权利要求1所述的基于多模态融合的大型电力物资定位与盘点方法，其特征在于，所述激光雷达和图像采集设备进行数据采集之前，需要先对图像采集设备进行内参标定，然后对图像采集设备和激光雷达进行外参联合标定。
3.根据权利要求1所述的基于多模态融合的大型电力物资定位与盘点方法，其特征在于，所述根据激光雷达采集的点云以及图像采集设备采集的图像提取每一预置位的稳定特征点，包括：
4.根据权利要求1或3所述的基于多模态融合的大型电力物资定位与盘点方法，其特征在于，所述根据云台中激光雷达采集的点云以及图像采集设备采集的图像构建原始深度图，包括：
5.根据权利要求4所述的基于多模态融合的大型电力物资定位与盘点方法，其特征在于，所述对稀疏深度图进行空洞填补操作，得到最终的原始深度图，包括：
6.根据权利要求1所述的基于多模态融合的大
7.根据权利要求6所述的基于多模态融合的大型电力物资定位与盘点方法，其特征在于，所述根据两个云台之间的匹配三维点集，计算两个云台间的平移矩阵和旋转矩阵，包括：
8.根据权利要求4所述的基于多模态融合的大型电力物资定位与盘点方法，其特征在于，所述将原始深度图转换为6D图像，包括：
9.一种基于多模态融合的大型电力物资定位与盘点系统，其特征在于，所述基于多模态融合的大型电力物资定位与盘点系统包括布置在仓库内且接入同一局域网的多个云台，每一云台具备数据分发服务且设有激光雷达、图像采集设备和边缘处理计算单元，所有云台基于数据分发服务协作实现权利要求1-8中任一项所述的基于多模态融合的大型电力物资定位与盘点方法。
10.根据权利要求9所述的基于多模态融合的大型电力物资定位与盘点系统，其特征在于，所述云台安装于仓库顶部，并且云台间通过有线网络进行互联。
...【技术特征摘要】
1.一种基于多模态融合的大型电力物资定位与盘点方法，其特征在于，在仓库内布置接入同一局域网的多个云台，云台具备数据分发服务且设有激光雷达和图像采集设备，所述基于多模态融合的大型电力物资定位与盘点方法，包括：
2.根据权利要求1所述的基于多模态融合的大型电力物资定位与盘点方法，其特征在于，所述激光雷达和图像采集设备进行数据采集之前，需要先对图像采集设备进行内参标定，然后对图像采集设备和激光雷达进行外参联合标定。
3.根据权利要求1所述的基于多模态融合的大型电力物资定位与盘点方法，其特征在于，所述根据激光雷达采集的点云以及图像采集设备采集的图像提取每一预置位的稳定特征点，包括：
4.根据权利要求1或3所述的基于多模态融合的大型电力物资定位与盘点方法，其特征在于，所述根据云台中激光雷达采集的点云以及图像采集设备采集的图像构建原始深度图，包括：
5.根据权利要求4所述的基于多模态融合的大型电力物资定位与盘点方法，其特征在于，所述对稀疏深度图进行空洞填补操作，得到最终的原始深度图，包括：
6.根...
【专利技术属性】
技术研发人员：王骊，翁慧颖，方华，孙小江，胡晓哲，鄢雯璨，傅欣，周少伟，王立果，李晟玥，陈瑜，高瞻，王刘俊，张莹，金日强，李岩，
申请(专利权)人：国网浙江省电力有限公司物资分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。