一种AI作业指导辅助方法技术

本发明专利技术公开了一种AI作业指导辅助方法，包括以下具体步骤：采集作业人员的规范性作业过程的视频图像以及作业人员作业时的语音讲解信息，提取视频图像中多个重点作业时的区间视频画面和对应的语音讲解信息，通过采集作业人员的规范性作业过程视频图像、作业过程的语音讲解信息和违规性作业过程视频图像，并对采集的数据进行处理建立用于判断作业人员作业标准的模型数据库，并通过监测设备对作业人员的作业过程进行监测和作业动作的识别，可对作业人员的作业过程进行智能识别和判断，有利于及时发现作业人员的不规范或违规作业动作，提高作业辅助指导的效果。作业辅助指导的效果。作业辅助指导的效果。

【技术实现步骤摘要】
一种AI作业指导辅助方法


[0001]本专利技术涉及人工智能
，具体为一种AI作业指导辅助方法。

技术介绍

[0002]作业指导是对标准作业者进行标准作业指导，工厂作业人员在熟练作业之前，均需要相关工作人员对其作业进行指导。
[0003]现有作业人员的作业指导方式有两种，一种是人工作业指导，这种指导方式需要指导者对被指导者进行面对面指导作业，会影响指导者的正常作业，另一种是通过监测设备和辅助指导教学材料，对被指导者进行辅助作业指导，现有公开专利文献：作业指导效果显示装置以及作业指导效果显示方法(申请号：201180004290.1)，其公开了一种可现实作业指导知识和规则的显示装置，用以对被指导者进行指导作业，该作业指导方法只能通过电子设备显示指导知识和规则对被指导者进行被动指导，当被指导者未意识到自己作业不规范或违规时，无法对被指导者起到辅助指导的作用，作业指导效果不佳。

技术实现思路

[0004]为解决以上现有作业指导方法存在的问题，本专利技术的目的是提供一种AI作业指导辅助方法，对作业人员的作业过程进行智能识别和判断，有利于及时发现作业人员的不规范或违规作业动作，提高作业辅助指导的效果。
[0005]本专利技术的目的通过以下技术方案予以实现：
[0006]一种AI作业指导辅助方法，包括以下具体步骤：
[0007]S1、采集作业人员的规范性作业过程的视频图像以及作业人员作业时的语音讲解信息；
[0008]S2、提取视频图像中多个重点作业时的区间视频画面和对应的语音讲解信息；
[0009]S3、在同一区间视频画面中截取一组或多组连续多帧规范作业的关键作业画面，并截取对应的语音讲解信息；
[0010]S4、采集多组规范作业的作业人员在进行重点作业时的图像画面，将采集的图像画面与所述S3中截取的一组或多组连续多帧规范作业的关键作业画面进行相似度对比，建立区间规范作业模型数据库和重点规范作业模型数据库；
[0011]S5、作业人员模拟违规的作业过程，采集作业人员的违规作业过程的视频图像；
[0012]S6、提取违规作业过程的视频图像中重点作业时的区间视频画面，截取区间视频画面中一组或多组连续多帧违规的关键作业画面；
[0013]S7、采集多组违规作业的作业人员在进行重点作业时的图像画面，将采集的图像画面与所述S6中截取的一组或多组连续多帧违规的关键作业画面进行相似度对比，建立区间违规作业模型数据库和重点违规作业数据库；
[0014]S8、将规范性作业过程的视频画面、重点规范作业模型数据库、违规作业过程的视频图像和重点违规作业数据库植入到AI智能设备中；
[0015]S9、利用AI智能设备对作业人员的作业过程进行监测，提取作业人员在重点作业时的作业过程的区间视频画面，根据AI智能设备中植入的模型数据库，识别和判断作业人员的作业过程是否规范、是否违规；
[0016]S10、当作业人员的作业过程违规和不规范时，调取AI智能设备中的规范性作业过程的视频画面和对应的语音讲解信息，对作业人员的作业过程进行辅助指导。
[0017]进一步的，S4中建立所述区间规范作业模型数据库和重点规范作业模型数据库的具体步骤为：
[0018]S401、将多组规范作业的重点作业时的图像画面与S3中截取的区间视频画面中对应组的连续多帧规范作业的关键作业画面进行相似度对比；
[0019]S402、获取对应组的连续多帧关键作业画面中平均相似度最高的关键作业画面和与所述相似度最高的关键作业画面对比时的最低相似度值；
[0020]S403、获取规范作业视频画面中同一区间视频画面中的多组平均相似度最高的关键作业画面、最低相似度值和对应的语音讲解信息，并组合形成区间规范作业模型数据库；
[0021]S404、将每个区间规范作业模型数据库进行组合，形成重点规范作业模型数据库。
[0022]进一步的，S7中建立所述区间违规作业模型数据库和重点违规作业数据库的具体步骤包括：
[0023]S701、将多组违规作业的重点作业时的图像画面与S6中截取的区间视频画面中对应组的连续多帧违规的关键作业画面进行相似度对比；
[0024]S702、获取对应组的连续多帧违规的关键作业画面中平均相似度最高的关键作业画面和与所述相似度最高的关键作业画面对比时的最低相似度值；
[0025]S703、获取违规作业视频图像中同一区间视频画面中的多组平均相似度最高的关键作业画面和最低相似度值，并组合形成区间违规作业模型数据库；
[0026]S704、将每个区间违规作业模型数据库进行组合，形成重点违规作业数据库。
[0027]进一步的，S4和S7中相似度对比的方法为：
[0028]基于图片结构相似性算法SSIM，计算两张图片的相似度：
[0029]亮度对比函数：
[0030]对比度对比函数：
[0031]结构对比函数：
[0032]其中，x、y为图片样本，c1、c2、c3为常数，μ
x
、μ
y
分别为x，y的均值，σ
2x
、σ
2y
分别为x，y的方差，σ
xy
为x和y的协方差，SSIM(x,y)值越大，两张图片的相似度越高。
[0033]进一步的，S402中获取的连续多帧关键作业画面中平均相似度最高的关键作业画面和与所述相似度最高的关键作业画面对比时的最低相似度值的具体步骤为：
[0034]S4021、采集多组规范作业的重点作业时的图像画面，利用SSIM算法，计算得到多张规范作业的重点作业时的图像画面与S402中的连续多帧关键作业画面中的一张作业画面的平均相似度值：
[0035][0036]S4022、计算得到S402中的连续多帧关键作业画面分别与多组规范作业的重点作业时的图像画面的平均相似度值S1、S2、
…
、S
m
；
[0037]S4023、根据得到的多组规范作业的重点作业时的图像画面的平均相似度值，获取连续多帧关键作业画面中平均相似度最高的关键作业画面和与所述相似度最高的关键作业画面对比时的最低相似度值S
min
。
[0038]进一步的，S702中获取的连续多帧违规的关键作业画面中平均相似度最高的关键作业画面和与所述相似度最高的关键作业画面对比时的最低相似度值的具体步骤为：
[0039]S7021、采集多组违规作业的重点作业时的图像画面，利用SSIM算法，计算得到多张违规作业的重点作业时的图像画面与S402中的连续多帧关键作业画面中的一张作业画面的平均相似度值：
[0040][0041]S7022、计算得到S402中的连续多帧关键作业画面分别与多组违规作业的重点作业时的图像画面的平均相似度值A1、A2、
…
、A
m
；
[0042]S7023、根据得到的多组本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种AI作业指导辅助方法，其特征在于：包括以下步骤：S1、采集作业人员的规范性作业过程的视频图像以及作业人员作业时的语音讲解信息；S2、提取视频图像中多个重点作业时的区间视频画面和对应的语音讲解信息；S3、在同一区间视频画面中截取一组或多组连续多帧规范作业的关键作业画面，并截取对应的语音讲解信息；S4、采集多组规范作业的作业人员在进行重点作业时的图像画面，将采集的图像画面与所述S3中截取的一组或多组连续多帧规范作业的关键作业画面进行相似度对比，建立区间规范作业模型数据库和重点规范作业模型数据库；S5、作业人员模拟违规的作业过程，采集作业人员的违规作业过程的视频图像；S6、提取违规作业过程的视频图像中重点作业时的区间视频画面，截取区间视频画面中一组或多组连续多帧违规的关键作业画面；S7、采集多组违规作业的作业人员在进行重点作业时的图像画面，将采集的图像画面与所述S6中截取的一组或多组连续多帧违规的关键作业画面进行相似度对比，建立区间违规作业模型数据库和重点违规作业数据库；S8、将规范性作业过程的视频画面、重点规范作业模型数据库、违规作业过程的视频图像和重点违规作业数据库植入到AI智能设备中；S9、利用AI智能设备对作业人员的作业过程进行监测，提取作业人员在重点作业时的作业过程的区间视频画面，根据AI智能设备中植入的模型数据库，识别和判断作业人员的作业过程是否规范、是否违规；S10、当作业人员的作业过程违规和不规范时，调取AI智能设备中的规范性作业过程的视频画面和对应的语音讲解信息，对作业人员的作业过程进行辅助指导。2.根据权利要求1所述的一种AI作业指导辅助方法，其特征在于：S4中建立所述区间规范作业模型数据库和重点规范作业模型数据库的具体步骤为：S401、将多组规范作业的重点作业时的图像画面与S3中截取的区间视频画面中对应组的连续多帧规范作业的关键作业画面进行相似度对比；S402、获取对应组的连续多帧关键作业画面中平均相似度最高的关键作业画面和与所述相似度最高的关键作业画面对比时的最低相似度值；S403、获取规范作业视频画面中同一区间视频画面中的多组平均相似度最高的关键作业画面、最低相似度值和对应的语音讲解信息，并组合形成区间规范作业模型数据库；S404、将每个区间规范作业模型数据库进行组合，形成重点规范作业模型数据库。3.根据权利要求2所述的一种AI作业指导辅助方法，其特征在于：S402中获取的连续多帧关键作业画面中平均相似度最高的关键作业画面和与所述相似度最高的关键作业画面对比时的最低相似度值的具体步骤为：S4021、采集多组规范作业的重点作业时的图像画面，利用SSIM算法，计算得到多张规范作业的重点作业时的图像画面与S402中的连续多帧关键作业画面中的一张作业画面的平均相似度值：
S4022、计算得到S402中的连续多帧关键作业画面分别与多组规范作业的重点作业时的图像画面的平均相似度值S1、S2、
…
、S
m
；S4023、根据得到的多组规范作业的重点作业时的图像画面的平均相似度值，获取连续多帧关键作业画面中平均相似度最高的关键作业画面和与所述相似度最高的关键作业画面对比时的最低相似度值S
min
。4.根据权利要求3所述的一种AI作业指导辅助方法，其特征在于：S7中建立所述区间违规作业模型数据库和重点违规作业数据库的具体步骤包括：S701、将多组违规作业的重点作业时的图像画面与S6中截取的区间视频画面中对应组的连续多帧违规的关键作业画面进行相似度对比；S702、获取对应组的连续多帧违规的关键作业画面中平均相似度最高的关键作业画面和与所述相似度最高的关键作业画面对比时的最低相似度值；S703、获取违规作业视频图像中同一区间视频画面中的多组平均相似度最高的关键作业画面和最低相似度值，并组合形成区间违规作业模型数据库；S704、将每个区间违规作业模型数据库进行组合，形成重点违规作业数据库。5...

【专利技术属性】
技术研发人员：漆炜之，杨志新，黄进，陆晨亮，王青国，仲田，丁淙，
申请(专利权)人：江苏电力信息技术有限公司，
类型：发明
国别省市：