基于区块链和CIM的集装箱锁孔堵塞检测方法技术

本发明专利技术提供了一种基于区块链和CIM的集装箱锁孔堵塞检测方法，构建港口区域的CIM；搭建神经网络，用于检测集装箱锁孔的堵塞程度，包括图像采集模块、锁孔检测模块、堵塞程度检测模块以及等级分析模块；将图像采集模块采集到的图像以及神经网络得到的检测结果送至港口区域CIM，并运用Web GIS可视化技术将CIM在Web上进行展现，使港口管理者能够直观地获取锁孔堵塞情况，并及时采取措施；该方法还采用区块链和加密技术，对在区块间传输的数据进行加密。采用该方法不仅可以快速准确的检测锁孔的堵塞程度等级，还保障了相关数据的安全。

【技术实现步骤摘要】
基于区块链和CIM的集装箱锁孔堵塞检测方法
本专利技术涉及区块链、人工智能领域，尤其是涉及一种基于区块链和CIM的集装箱锁孔堵塞检测方法。
技术介绍
随着国际贸易的急速发展,集装箱运输作为主流的货物运输方式,其需求量增长迅速。自动化码头需要集装箱运输向无人化、智能化发展,而集装箱装卸操作是集装箱运输十分关键的环节,吊具与集装箱锁孔对位的效率会直接影响码头的生产效率。目前国内大多数码头仍然是依靠操作人员凭借经验，通过安装在集装箱吊具上的远程监控，来人为的观察集装箱锁孔是否缺失和堵塞。由于港口吞吐量越来越大，这种方式工作强度高，需要操作人员时刻保持精神集中，稍有疏忽就有可能损坏吊具，从而容易引发安全事故，影响码头的经济效益。有些方案是通过传统的图像处理方法，采用阈值分割的方式判断锁孔是否缺失以及锁孔是否堵塞。该方法由于光照条件的不稳定，其准确率并不高。
技术实现思路
针对以上现有技术存在的问题，本专利技术提出了一种基于区块链和CIM的集装箱锁孔堵塞检测方法，包括：构建港口区域的CIM；采用神经网络技术对港口区域集装箱的锁孔堵塞情况进行检测，神经网络包括图像采集模块、锁孔检测模块、堵塞程度检测模块以及等级分析模块，其中：图像采集模块采集到的图像包括集装箱的RGB图像和集装箱的深度图像；将集装箱的RGB图像、集装箱的深度图像分别送入锁孔检测模块、堵塞程度检测模块；锁孔检测模块输出集装箱锁孔区域的包围框及其数量，再进行后处理，得到一个锁孔数量权值；堵塞程度检测模块输出每个锁孔堵塞程度的索引；将权值和索引送入等级分析模块进行分析，得到锁孔堵塞的等级；将图像采集模块采集到的集装箱锁孔的图像数据以及神经网络得到的检测结果送至港口区域的CIM进行存储，并运用WebGIS技术将CIM在Web上进行展现，当CIM接收到锁孔堵塞信息时，将该信息在Web端显示并发出警告。港口区域的CIM包括当前港口区域的地理位置信息，使用的图像传感器的型号、数量及编号信息，图像采集模块采集到的图像数据以及神经网络的检测结果。锁孔检测模块包括第一编码器和第一全连接层，其中，第一编码器的输入为图像采集模块采集到的RGB图像，提取RGB图像的特征，得到第一特征图；第一特征图经过第一全连接层，得到集装箱锁孔区域的包围框及其数量。在得到集装箱锁孔区域的包围框及其数量以后进行后处理操作，设置一个锁孔数量权值，当检测到的锁孔区域包围框的数量正确时，权值为1；否则，权值为0。堵塞程度检测模块包括第二编码器和第二全连接层，其中，将所述锁孔检测模块输出的锁孔区域的包围框的坐标映射到所述图像采集模块采集到的深度图像中得到锁孔区域的深度图，第二编码器的输入为多张所述锁孔区域的深度图，对每张锁孔区域的深度图都进行特征的提取，得到第二特征图；第二特征图经过第二全连接层，得到每个锁孔堵塞程度的索引。在等级分析模块，从堵塞程度检测模块输出的所有索引中选择表示堵塞程度最严重的一个索引，将其与锁孔检测模块输出的锁孔数量权值相乘，得到锁孔堵塞的等级。该方法采用区块链和加密技术，将组成神经网络的模块参数作为区块，其中，锁孔检测模块、堵塞程度检测模块由任务块组成，任务块包括编码器、全连接层，每个任务块对应一个区块；为上述区块随机分配计算节点；图像采集模块对应一个区块，等级分析模块对应一个区块；将所有区块按照上述网络的推理顺序生成区块链私链，并对在区块间传输的数据进行加密处理。加密技术的实施步骤为：每个区块都生成一个随机数序列，该序列中随机数的个数与要在区块间传输的图像数据的通道数相同，每个随机数对应一个通道，每个区块将要传输图像每个通道的特征图依据对应的随机数旋转相应的角度；加密后的图像数据在流入下一区块前，按照加密规则的逆向推理对其进行解密。本专利技术的有益效果在于：1.该方法采用神经网络技术来检测集装箱锁孔堵塞情况，解决了以往依靠人力进行远程监控工作强度大且容易受到操作人员主观注意影响这一问题，可以更好的避免安全事故的发生，且该方法相较于人力检测方法其检测速度更快，提升了工作效率，可以带来更多的经济效益。2.该方法中将锁孔检测模块输出的锁孔区域的包围框的坐标映射到图像采集模块采集到的深度图像中，得到锁孔区域的深度图，对锁孔区域的深度图的深度信息进行特征提取，得到锁孔的堵塞程度，完善了传统采用阈值分割图像处理方法易受外界环境因素影响这一不足之处，其检测准确率更高。3.针对现有的图像处理检测方法只对锁孔堵塞情况进行检测这一问题，该方法提出首先通过神经网络得到锁孔数量权值和索引两个判断因素，再对两个判断因素进行综合分析从而得到锁孔的堵塞等级，这一操作可以避免现有图像处理方法只检测出锁孔没有堵塞但没有获取到锁孔数量不正确这一信息得出错误判断从而影响集装箱的吊装这一情况的发生。4.该方法采用区块链和加密技术，对在区块间传输的数据进行加密处理，使相关数据不易被篡改，保障了相关数据的安全，并且可以有效避免数据的丢失和泄露，避免造成经济损失。5.该方法运用WebGIS可视化技术将港口区域的CIM在Web上进行展现，可以使港口管理者能够直观地获取当前作业中的集装箱锁孔堵塞信息，并及时采取措施，从而保证集装箱装卸的效率。附图说明图1为神经网络框架图。具体实施方式下面结合实施例和附图对该方法展开进一步的描述，参见图1。实施例：构建港口区域的CIM，CIM中包括当前港口区域的地理位置信息，使用的图像传感器的型号、数量及编号信息，图像采集模块采集到的图像数据以及神经网络的检测结果；搭建神经网络，神经网络框架图如图1所示，包括图像采集模块、锁孔检测模块、堵塞程度检测模块以及等级分析模块，具体地：图像采集模块，在吊具下降之前，采取硬触发的方式，由RGB-D相机采集集装箱的图像数据，得到的是集装箱的RGB图像及对应的深度图像。锁孔检测模块包括第一编码器和第一全连接层，其中，第一编码器的输入为摄像头采集到的RGB图像，提取RGB图像的特征，得到第一特征图；第一特征图经过第一全连接层，得到集装箱锁孔区域的包围框及其数量；之后进行后处理操作得到一个锁孔数量权值。在此举例说明：可知地，集装箱吊具有4个磁钉，对应集装箱的4个锁孔。若锁孔检测模块检测到的锁孔数量小于4，则说明该集装箱某一个或某几个锁孔脱落或者被异物完全遮挡，导致无法识别。若集装箱某一个或某几个锁孔脱落或者被异物完全遮挡，磁钉无法工作，从而就无法完成吊装作业。因此，后处理操作指的是，设置一个锁孔数量权值，当锁孔数量小于4时，权值置为0；若锁孔数量等于4，则将权值置为1。该模块的训练过程为：以锁孔区域的彩色图像为训练数据集，监督信息是经过人工标注的锁孔区域坐标信息及其类别信息。其中，锁孔区域类别标注为1，其他的背景信息类别标注为0。采用交叉熵损失对网络进行训练，输出锁孔区域的包围框及其对应的类别。堵塞程度检测模块包括本文档来自技高网...

【技术保护点】
1.一种基于区块链和CIM的集装箱锁孔堵塞检测方法，其特征在于，包括：/n构建港口区域的CIM；/n采用神经网络技术对港口区域集装箱的锁孔堵塞情况进行检测，/n神经网络包括图像采集模块、锁孔检测模块、堵塞程度检测模块以及等级分析模块，其中：/n图像采集模块采集到的图像包括集装箱的RGB图像和集装箱的深度图像；将所述集装箱的RGB图像、集装箱的深度图像分别送入锁孔检测模块、堵塞程度检测模块；锁孔检测模块输出集装箱锁孔区域的包围框及其数量，再进行后处理，得到一个锁孔数量权值；堵塞程度检测模块输出每个锁孔堵塞程度的索引；将所述权值和所述索引送入等级分析模块进行分析，得到锁孔堵塞的等级；/n将所述图像采集模块采集到的图像以及所述神经网络得到的检测结果送至所述港口区域的CIM进行存储，并运用Web GIS技术将所述CIM在Web上进行展现，当CIM接收到锁孔堵塞信息时，将该信息在Web端显示并发出警告。/n

【技术特征摘要】
1.一种基于区块链和CIM的集装箱锁孔堵塞检测方法，其特征在于，包括：
构建港口区域的CIM；
采用神经网络技术对港口区域集装箱的锁孔堵塞情况进行检测，
神经网络包括图像采集模块、锁孔检测模块、堵塞程度检测模块以及等级分析模块，其中：
图像采集模块采集到的图像包括集装箱的RGB图像和集装箱的深度图像；将所述集装箱的RGB图像、集装箱的深度图像分别送入锁孔检测模块、堵塞程度检测模块；锁孔检测模块输出集装箱锁孔区域的包围框及其数量，再进行后处理，得到一个锁孔数量权值；堵塞程度检测模块输出每个锁孔堵塞程度的索引；将所述权值和所述索引送入等级分析模块进行分析，得到锁孔堵塞的等级；
将所述图像采集模块采集到的图像以及所述神经网络得到的检测结果送至所述港口区域的CIM进行存储，并运用WebGIS技术将所述CIM在Web上进行展现，当CIM接收到锁孔堵塞信息时，将该信息在Web端显示并发出警告。


2.如权利要求1所述的方法，其特征在于，所述港口区域的CIM包括当前港口区域的地理位置信息，使用的图像传感器的型号、数量及编号信息，图像采集模块采集到的图像数据以及神经网络的检测结果。


3.如权利要求1所述的方法，其特征在于，所述锁孔检测模块包括第一编码器和第一全连接层，其中，第一编码器的输入为所述图像采集模块采集到的RGB图像，提取RGB图像的特征，得到第一特征图；所述第一特征图经过第一全连接层，得到集装箱锁孔区域的包围框及其数量。


4.如权利要求3所述的方法，其特征在于，在得到集装箱锁孔区域的包围框及其数量以后进行后处理操作，...

【专利技术属性】
技术研发人员：王勇，夏宝燈，
申请(专利权)人：王勇，
类型：发明
国别省市：四川;51