一种无人化书库摞式摆放书籍的数字孪生化方法技术

本发明专利技术公开了一种无人化书库摞式摆放书籍的数字孪生化方法，包括：摞式书籍摆放模式、无人运载小车、3D‑RGBD深度摄像头和RFID扫描器。其中书架上的书籍采用摞式摆放模式，即同本书籍采用平放堆叠成摞的形式，摞与摞间保持相同间距。本发明专利技术以无人运载小车为自主运载器，搭载3D‑RGBD深度摄像头和RFID扫描设备，通过无人运载小车的自主运动实现对书架上所有摞式摆放书籍的三维立体定位信息、书籍文本信息、书籍数量信息的数字孪生化。本发明专利技术对摞式摆放书籍数字孪生化的实现，可有效引导智能取书还书机器人实现对目标摞式书籍精准的自主取书和还书过程，从而实现大规模书库系统的完全无人化和智能化。

A digital twin method of placing books in an unmanned Library

【技术实现步骤摘要】
一种无人化书库摞式摆放书籍的数字孪生化方法
本专利技术涉及一种无人化书库摞式摆放书籍的数字孪生化方法，属于大型实体图书馆大规模无人书库领域。
技术介绍
数字孪生化是构建无人系统、实现机器人对无人场景透彻感知的关键技术，同时也是无人系统具备智能化、具备对无人场景动态认知能力的核心基础。在传统的大型实体图书馆大规模书库中，由于海量书籍摆放的不规范，仅靠RFID无线射频技术难以实现大规模书库系统的完全无人化过程。本专利技术所提出的一种无人化书库摞式摆放书籍的数字孪生化方法，通过摞式书籍摆放模式规范化了大规模无人书库书架上的书籍摆放形式，同时将3D-RGBD深度摄像头创新性地引入进来，结合传统的RFID扫描器，即可实现对摞式摆放书籍的数字孪生化，进而可通过引导智能取书还书机器人实现对目标摞式书籍精准的自主取书和还书过程，从而实现大规模书库系统的完全无人化和智能化。本专利技术中的无人化书库摞式摆放书籍的数字孪生化方法，利用3D-RGBD深度摄像头、RFID扫描器、无人运载小车，通过无人运载小车沿书架的等距移动直线扫描过程，最终可实现对书架上所有摞式摆放书籍的数字孪生化，为大规模无人书库系统的实现提供最核心的摞式摆放书籍三维立体定位信息、书籍数量信息和书籍文本信息。
技术实现思路
针对上述现有技术，本专利技术要解决的技术问题是提供一种为无人书库系统的实现提供最核心的摞式摆放书籍三维立体定位信息、书籍数量信息和书籍文本信息的大规模无人化书库摞式摆放书籍的数字孪生化方法。为解决上述技术问题，本专利技术的一种无人化书库摞式摆放书籍的数字孪生化方法，包括以下步骤：步骤1：无人运载小车开始作业，启动搭载的3D-RGBD深度摄像头，捕获书架和摞式摆放书籍的2D-RGB彩色图像和3D-RGBD三维点云数据，提取书架最长水平直线特征，确定小车运动轨迹，运动过程中无人运载小车始终沿书架对摞式摆放书籍进行等距移动直线扫描；步骤2：无人运载小车移动过程中，通过2D目标检测算法提取3D-RGBD三维点云数据中的关键帧，通过对点云数据的法线、曲率估计，确定目标摞式书籍的相对三维空间定位坐标系，结合平面的投影旋转变换，最终确定得到高精度的目标摞式书籍三维立体定位信息；步骤3：根据步骤2得到的每一摞摞式书籍的三维立体定位信息，控制无人运载小车搭载的RFID扫描器，移动到目标摞式书籍正前方，利用RFID扫描器的定向定区域扫描，确定目标摞式书籍区域的书籍数量信息和书籍文本信息，构建起由摞式书籍三维立体定位信息到书籍数量信息和书籍文本信息的数字孪生化映射；步骤4：判断是否完成整层书架所有摞式书籍的数字孪生化任务，若没有完成，返回步骤1；否则，结束对该层书架的扫描任务，完成对该层书架上所有摞式书籍的数字孪生化。本专利技术还包括：步骤1中摞式摆放书籍具体为：书籍采用平放堆叠成摞的形式，摞与摞间保持一定间距，每摞书籍上顶面与该层书架最高处保持一定高度差。本专利技术的有益效果：本专利技术主要涉及无人运载平台沿书架的自主扫描探测、基于3D-RGBD深度摄像头和RFID扫描器的摞式摆放书籍数字孪生化过程。通过搭载有3D-RGBD深度摄像头和RFID扫描器的无人运载小车的自主运动，可实现对书架上所有摞式摆放书籍的三维立体定位信息、书籍文本信息、书籍数量信息的数字孪生化，对书架上所有摞式摆放书籍数字孪生化的实现可有效引导智能取书还书机器人实现对目标摞式书籍精准的自主取书和还书过程，从而实现大规模书库系统的完全无人化和智能化。可使机器人在无人书库场景下，通过自主地沿书架进行等距移动直线扫描过程，实现对海量摞式摆放书籍数字孪生化，捕获得到所有摞式摆放书籍的三维立体定位信息、书籍数量信息和书籍文本信息。本专利技术的实现成本低、可直接移植到各大型实体图书馆的大规模书库系统中，可有效解决大规模书库系统的无人化过程。附图说明图1无人化书库摞式摆放书籍的数字孪生化系统结构框图；图2无人化书库书架摞式书籍摆放模式；图3无人运载小车示意图；图4无人运载小车作业流程示意图；图5无人化书库摞式摆放书籍数字孪生化方法的算法流程。具体实施方式下面结合附图对本专利技术具体实施方式做进一步说明。结合图1,无人化书库摞式摆放书籍的数字孪生化系统结构如下：如图1所示，无人化书库摞式摆放书籍的数字孪生化系统结构主要包括摞式书籍摆放模式和无人运载小车，其中无人运载小车搭载有3D-RGBD深度摄像头和RFID扫描器。无人小车根据由3D深度摄像头确定的书架最长水平直线特征，沿书架进行等距直线扫描过程，并对书架的每一层，逐一完成摞式书籍的数字孪生化过程。无人小车开始作业后，通过3D-RGBD深度摄像头，捕获书架和摞式摆放书籍的2D-RGB彩色图像和3D-RGBD三维点云数据，确定目标摞式书籍的三维立体定位信息。基于目标摞式书籍的三维定位信息，移动RFID扫描器，完成对目标摞式书籍区域的定向定区域扫描过程，从而得到与目标摞式书籍三维定位信息互为映射关系的书籍数量信息和书籍文本信息，由此完成摞式摆放书籍的数字孪生化过程。结合图2,摞式书籍摆放模式：摞式书籍摆放模式如图2所示，同本书籍采用平放堆叠成摞的形式，摞与摞间保持一定间距，每摞书籍上顶面与该层书架最高处保持一定高度差。通过调节每层书架的高度，摞式书籍摆放模式比传统的立式书籍摆放模式可节约50％-80％的使用空间，该图书摆放模式在规范化图书摆放的同时，也大大方便了大规模书库系统实现海量书籍的数字孪生化和无人化。结合图3、图4,无人运载小车作业流程示意图：无人运载小车如图3所示，采用四轮驱动、差动转向模式，在可书库环境中实现360°自由原地转向。无人运载小车上可搭载3D-RGBD深度摄像头和RFID扫描器，小车自主移动控制依赖于3D-RGBD深度摄像头的探测信息，即根据对书架最长水平直线特征的检测，结合摄像头的姿态，实现小车相对书架的等距移动直线扫描过程，如图4所示。其中无人运载小车搭载的3D-RGBD深度摄像头和RFID扫描器可进行升降，以完成对书架不同层摞式摆放书籍的扫描过程。结合图5，介绍无人化书库摞式摆放书籍数字孪生化方法的算法流程：1.无人小车开始作业，启动3D-RGBD深度摄像头，捕获书架和摞式摆放书籍的2D-RGB彩色图像和3D-RGBD三维点云数据，提取书架最长水平直线特征，确定小车运动路径。运动过程中，要使无人运载小车始终沿书架进行对摞式摆放书籍的等距移动直线扫描过程；2.开始进行对某一层书架上所有的摞式摆放书籍的数字孪生化作业，即通过2D目标检测算法提取3D-RGBD三维点云数据中的关键帧，通过对点云数据的法线、曲率估计，确定目标摞式书籍的相对三维空间定位坐标系，结合平面的投影旋转变换，最终确定得到高精度的目标摞式书籍三维立体定位信息；3.结合每一摞摞式书籍的三维立体定位信息(绝对坐标系)，控制无人运载小车搭载RFID扫描器，移动到目标摞式书籍正前方，利用RFID本文档来自技高网...

【技术保护点】
1.一种无人化书库摞式摆放书籍的数字孪生化方法，其特征在于，包括以下步骤：/n步骤1：无人运载小车开始作业，启动搭载的3D-RGBD深度摄像头，捕获书架和摞式摆放书籍的2D-RGB彩色图像和3D-RGBD三维点云数据，提取书架最长水平直线特征，确定小车运动轨迹，运动过程中无人运载小车始终沿书架对摞式摆放书籍进行等距移动直线扫描；/n步骤2：无人运载小车移动过程中，通过2D目标检测算法提取3D-RGBD三维点云数据中的关键帧，通过对点云数据的法线、曲率估计，确定目标摞式书籍的相对三维空间定位坐标系，结合平面的投影旋转变换，最终确定得到高精度的目标摞式书籍三维立体定位信息；/n步骤3：根据步骤2得到的每一摞摞式书籍的三维立体定位信息，控制无人运载小车搭载的RFID扫描器，移动到目标摞式书籍正前方，利用RFID扫描器的定向定区域扫描，确定目标摞式书籍区域的书籍数量信息和书籍文本信息，构建起由摞式书籍三维立体定位信息到书籍数量信息和书籍文本信息的数字孪生化映射；/n步骤4：判断是否完成整层书架所有摞式书籍的数字孪生化任务，若没有完成，返回步骤1；否则，结束对该层书架的扫描任务，完成对该层书架上所有摞式书籍的数字孪生化。/n...

【技术特征摘要】
1.一种无人化书库摞式摆放书籍的数字孪生化方法，其特征在于，包括以下步骤：
步骤1：无人运载小车开始作业，启动搭载的3D-RGBD深度摄像头，捕获书架和摞式摆放书籍的2D-RGB彩色图像和3D-RGBD三维点云数据，提取书架最长水平直线特征，确定小车运动轨迹，运动过程中无人运载小车始终沿书架对摞式摆放书籍进行等距移动直线扫描；
步骤2：无人运载小车移动过程中，通过2D目标检测算法提取3D-RGBD三维点云数据中的关键帧，通过对点云数据的法线、曲率估计，确定目标摞式书籍的相对三维空间定位坐标系，结合平面的投影旋转变换，最终确定得到高精度的目标摞式书籍三维立体定位信息；
步骤3：根据步骤2得到的每一摞摞式书籍的三维...

【专利技术属性】
技术研发人员：方亮，吴迪，闵旭宇，张云杰，张家鑫，刘震，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙;23