一种基于位姿和运动规律的视觉检测控制方法及系统技术方案

本发明专利技术涉及视觉检测技术领域，具体涉及一种基于位姿和运动规律的视觉检测控制方法及系统。通过惯性测量单元检测使用者的运动数据；针对使用者的运动习惯，基于运动数据建立时间序列运动规律预测模型；通过时间序列运动规律预测模型对运动周期趋势进行预测，根据运动周期采集图像；根据图像位姿坐标对采集的图像进行初步处理；将图像上传到后端数据中心；后端数据中心将图像数据和运动数据建立映射关系；根据映射关系对图像进行针对性的运动滤波补偿；与后端数据中心内预先存储的实景图像进行图像匹配，根据图像匹配信息进行视觉检测。本发明专利技术降低了图像采集过程中产生的运动模糊，确保图像清晰度的同时提升图像识别和视觉检测的效率。检测的效率。检测的效率。

【技术实现步骤摘要】
一种基于位姿和运动规律的视觉检测控制方法及系统


[0001]本专利技术涉及视觉检测
，更具体地，涉及一种基于位姿和运动规律的视觉检测控制方法及系统。

技术介绍

[0002]视觉检测就是用机器代替人眼来做测量和判断。视觉检测是指通过机器视觉产品将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。是用于生产、装配或包装的有价值的机制，在检测缺陷和防止缺陷产品被配送到消费者的功能方面具有不可估量的价值。
[0003]当通过移动摄像机进行视觉检测时，由于使用者的走动容易出现图像运动模糊的情况，图像运动模糊具体表现出的是曝光时间内的场景，当场景中的物体运动时或相机运动时，场景中的图像会表现出物体在曝光时间时位置的叠加，受一般相机帧率的限制，相机运动的物体会出现模糊现象，称为运动模糊。运动模糊是由于图像中的移动效果，在后期的目标检测过程中，运动模糊会混淆目标的确切位置和检测效果。并且由于人体移动和身体固有的运动频率特性会因人而异，已有的云台稳定的处理算法不能很好地兼容。

技术实现思路

[0004]本专利技术旨在克服上述现有技术的至少一种缺陷(不足)，提供一种基于位姿和运动规律的视觉检测控制方法及系统，根据人体运动规律进行图像的采集，并根据图像位姿坐标进行处理，与原有实景图像进行图像匹配，降低图像采集过程中产生的运动模糊，确保图像清晰度的同时提升图像识别和视觉检测的效率。
[0005]本专利技术采取的技术方案是：
[0006]第一方面，提供一种基于位姿和运动规律的视觉检测控制方法，包括：通过惯性测量单元检测使用者的运动数据；针对使用者的运动习惯，基于运动数据建立时间序列运动规律预测模型；通过时间序列运动规律预测模型对运动周期趋势进行预测，根据运动周期采集图像；根据图像位姿坐标对采集的图像进行初步处理；将初步处理后的图像上传到后端数据中心；后端数据中心将图像数据和运动数据建立映射关系；后端数据中心根据映射关系对图像进行针对性的运动滤波补偿；将运动滤波补偿后的图像与后端数据中心内预先存储的实景图像进行图像匹配，根据图像匹配信息进行视觉检测。
[0007]本专利技术利用了设置在头盔装置上的惯性测量单元(IMU)，用于测量物体三轴姿态角(包括偏航角、俯仰角、横滚角)以及加速度，在进行图像采集前先针对使用者的运动习惯基于IMU数据建立时间序列运动规律预测模型，利用运动震动规律建立起图像采样策略，并根据图像位姿坐标进行初步处理，可以降低后端数据中心进行图像数据处理的工作量，提高效率和质量，便于工艺质量分析。兼容不同使用者的运动特性，降低图像采集过程中产生的运动模糊，确保图像清晰度的同时提升图像识别检测校验的效率。
[0008]进一步的，所述针对使用者的运动习惯，基于运动数据建立时间序列运动规律预测模型，具体包括：惯性测量单元组件输出加速度信号以及偏航角、俯仰角、横滚角的角度值；对偏航角、俯仰角、横滚角的加速度分量进行积分，得到运动速度和距离；利用长短期记忆时间序列模型对加速度信号进行预测，提取运动产生的震动频率规律，建立时间序列运动规律预测模型。
[0009]由于人体移动和身体固有的运动频率特性会因人而异，现有技术中的云台稳定的处理算法不能很好地兼顾利用，而本专利技术提供长短期记忆(LSTM)时间序列模型对加速度信号进行预测，提取人体运动产生的震动频率规律，并通过三轴姿态角的角度值对图像采集设备的位姿信息进行解算，根据使用者的运动习惯更有效地降低图像采集过程中产生的运动模糊。
[0010]进一步的，在进行图像采集前，还包括：通过惯性测量单元组件输的偏航角、俯仰角、横滚角的角度值，得到三个坐标轴维度的偏转角度；通过姿态检测算法对偏转角度进行检测，根据检测结果进行自动偏转矫正，并标定零点基准，具体包括：以使用者的姿态进行三个维度的零点基准标定，正前方为X方向，与肩膀平行的方向为Y方向，与肩膀垂直的方向为Z方向。
[0011]在实际使用过程中，通过偏转角度的检测可以检测头盔是否存在歪戴的情况，自检完成后，会重新标定零点基准，对于佩戴后的状态进行自动偏转校正，低于5度偏转角阈值范围内，自动完成校正，超过5度偏转角阈值范围根据提示进行人工校准。以使用者的姿态进行零点基准标定可以兼容不同使用者的习惯，以此基准对图像进行处理的效果更显著。
[0012]进一步的，所述通过时间序列运动规律预测模型对运动周期趋势进行预测，根据运动周期采集图像，具体包括：根据时间序列运动规律预测模型进行预测，当运动周期平稳或者加速度值为恒定值时判断为相对静止状态，在相对静止状态时进行图像采集。
[0013]在相对静止状态时进行图像采集得到的图像清晰度更高，可以有效降低后续图像数据处理的工作量，提高工作效率和质量。
[0014]进一步的，所述根据图像位姿坐标对采集的图像进行初步处理，具体包括：根据惯性测量单元组件得到三个坐标轴维度的偏转角度信息对采集的图像进行判断，根据判断结果对采集的图像进行初步处理。
[0015]更具体的，所述根据惯性测量单元组件得到三个维度的偏转角度信息对采集的图像进行判断，根据判断结果对采集的图像进行初步处理，具体包括：当图片的偏转角度大于预设的阈值角度时，剔除该图片；当图片的偏转角度小于预设的阈值角度时，根据标定的零点基准对图片进行旋转矫正。
[0016]所述阈值角度可以调节，主要是根据实际情况来确定，设置阈值角度目的是去除偏转角度较大因此不需要检测的部分图像；基于IMU提供的三个坐标轴的偏转角角信息，对图像进行坐标赋值，在上传至后端数据中心前对图像根据标定的零点基准进行旋转，使采集的图像与后端数据中心中预先存储的实景图像角度相近，能够嵌入到原图中，便于匹配检测，降低后端数据中心对图片处理的工作量。
[0017]进一步的，所述后端数据中心根据映射关系对图像进行针对性的运动滤波补偿，具体包括：后端数据中心根据上传的图像进行清晰度自检测；如果清晰度未达到预设的要
求，则根据运动数据进行图像运动滤波补偿算法，得到运动滤波补偿后的图像。
[0018]更具体的，所述如果清晰度未达到预设的要求，则根据运动数据进行图像运动滤波补偿算法，得到运动滤波补偿后的图像，具体包括：对运动过程进行视频采集，并根据视频进行各个方向运动滤波补偿，加入由惯性测量单元采集的加速度，对模糊化范围进行拟合，得到运动滤波补偿后的图像。
[0019]如果需要更好的图片质量，则根据运动数据进行图像运动滤波补偿算法，在各个方向上进行加速度和速度值的运动补偿，结合连续帧之间的像素值进行重新匹配，可以进一步消除图像运动模糊。在实际使用过程中是否需要进行运动滤波处理，以进行视觉检测的需求为准。
[0020]进一步的，还包括：根据图像匹配信息对使用者进行定位，后端数据中心根据视觉检测信息和定位信息进行危险情况监控，当危险情况发生时下达报警指令。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于位姿和运动规律的视觉检测控制方法，其特征在于，包括：通过惯性测量单元检测使用者的运动数据；针对使用者的运动习惯，基于运动数据建立时间序列运动规律预测模型；通过时间序列运动规律预测模型对运动周期趋势进行预测，根据运动周期采集图像；根据图像位姿坐标对采集的图像进行初步处理；将初步处理后的图像上传到后端数据中心；后端数据中心将图像数据和运动数据建立映射关系；后端数据中心根据映射关系对图像进行针对性的运动滤波补偿；将运动滤波补偿后的图像与后端数据中心内预先存储的实景图像进行图像匹配，根据图像匹配信息进行视觉检测。2.根据权利要求1所述的一种基于位姿和运动规律的视觉检测控制方法，其特征在于，所述针对使用者的运动习惯，基于运动数据建立时间序列运动规律预测模型，具体包括：惯性测量单元组件输出加速度信号以及偏航角、俯仰角、横滚角的角度值；对偏航角、俯仰角、横滚角的加速度分量进行积分，得到运动速度和距离；利用长短期记忆时间序列模型对加速度信号进行预测，提取运动产生的震动频率规律，建立时间序列运动规律预测模型。3.根据权利要求2所述的一种基于位姿和运动规律的视觉检测控制方法，其特征在于，在进行图像采集前，还包括：通过惯性测量单元组件输的偏航角、俯仰角、横滚角的角度值，得到三个坐标轴维度的偏转角度；通过姿态检测算法对偏转角度进行检测，根据检测结果进行自动偏转矫正，并标定零点基准，具体包括：以使用者的姿态进行三个维度的零点基准标定，正前方为X方向，与肩膀平行的方向为Y方向，与肩膀垂直的方向为Z方向。4.根据权利要求3所述的一种基于位姿和运动规律的视觉检测控制方法，其特征在于，所述通过时间序列运动规律预测模型对运动周期趋势进行预测，根据运动周期采集图像，具体包括：根据时间序列运动规律预测模型进行预测，当运动周期平稳或者加速度值为恒定值时判断为相对静止状态，在相对静止状态时进行图像采集。5.根据权利要求4所述的一种基于位姿和运动规律的视觉检测控制方法，其特征在于，所述根据图像位姿坐标对采集的图像进行初步处理，具体包括：根据惯性测量单元组件得到三个坐标轴维度的偏转角度信息对采集的图像进行判断，根据判断结果对采集的图像进行初步处理。6.根据权利要求5所述的一种基于位姿和运动规律的视觉检测控制方法，其特征在于，所述根据惯性测量单元组件得到三个维度的偏转角度信息对采集的图像进行判断，根据判断结果对采集的图像进行初步处理，具体包括：当图片的偏转角度大于预设的阈值角度时，剔除该图片；当图片的偏转角度小于预设的阈值角度时，根据标定的零点基准对图片进行旋转矫正。...

【专利技术属性】
技术研发人员：马鑫磊，黎永昇，张迎峰，方辉敏，苏凤明，李红泽，刘斐，罗慧瑜，
申请(专利权)人：联通广东产业互联网有限公司，
类型：发明
国别省市：