一种邮局场景人物交互行为识别方法及系统技术方案

本发明专利技术公开了一种邮局场景人物交互行为识别方法及系统，属于视频分析技术领域。所述方法利用背景减除法判断开箱区域内有异常行为触发后，进行视频流的采集；将采集到的视频流图像输入到预训练好的UNet网络模型中，提取前景中的箱体和人手；结合深度和可见光信息，构建箱体和人手的特征描述子，确定人物交互关系；最后，利用预训练好的SVM分类器产生判断结果，实现邮局场景下人物交互行为的精确识别；本发明专利技术对复杂背景干扰有较强的抑制作用，对于开箱验视行为的识别准确率较高，具有很好的鲁棒性，能够满足快递站对于工作人员的监督要求，对提高智能视频监控系统的自动化、现代化水平起到了一定帮助作用。水平起到了一定帮助作用。水平起到了一定帮助作用。

【技术实现步骤摘要】
一种邮局场景人物交互行为识别方法及系统


[0001]本专利技术涉及一种邮局场景人物交互行为识别方法及系统，属于视频分析


技术介绍

[0002]快递在揽收和运输过程中的安全问题越来越受到人们关注，为了防止包裹内存在易燃易爆等危险品，邮局工作人员有必要在快递完成打包前对其进行开箱验视。与传统人工视频分析的方法相比，智能视频监控技术可对快递工作人员的行为进行实时监督与报警，极大提高了监控效率和有效性。因此，需要研究基于计算机视觉的邮局场景人物交互行为识别方法。
[0003]目前国内外现有的行为识别研究更多聚焦于单人和多人行为，根据所使用数据类型的不同，目前主流的交互行为识别分析方法可以分为基于可见光(RGB)信息和基于深度信息两类。早期研究一般是使用基于RGB信息的方法，如手动构建方向梯度直方图特征、利用光流法提取运动特征等。虽然传统的基于RGB信息的交互行为识别方法在某些特定的场景下有着较大的优势，但仍存在较多难以解决的问题，如容易受到背景、光照等干扰因素的影响，在全天候的视频监控应用中难以取得理想效果。
[0004]随着深度相机的出现和普及，基于深度信息的交互行为识别方法开始进入人们的视野。相比于仅使用RGB信息的方法，基于深度信息的交互行为识别方法引入新维度信息，利用采集到的三维关节点信息可以更好地对人体行为进行分析，同时也避免了传统RGB方法对于颜色、亮度等要素的依赖性。
[0005]Pisharady P K,等人利用深度相机采集到的三维关节点数据转换成关节角度特征，并使用支持向量机(Support Vector Machine,SVM)对人体行为进行了识别(Pisharady P K,Saerbeck M.Kinect based body posture detection and recognition system[C]//International Conference on Graphic and Image Processing(ICGIP 2012).International Society for Optics and Photonics,2013,8768:87687F.)；杨文璐等人结合骨骼点角度变化的方差和骨骼点间的空间关系提取关键姿势，实现了双人交互行为的准确识别(杨文璐,于孟孟,谢宏.基于关键姿势的双人交互行为识别[J].计算机应用,2020,40(08):2231
‑
2235.)；成科扬等人提出了基于骨架的时空建模方法，实现了交互骨架图的有效表示(成科扬,吴金霞,王文杉,等.融合时空图卷积的多人交互行为识别[J].中国图象图形学报,2021,26(07):1681
‑
1691.)。
[0006]但是在开箱验视的过程中，若仅仅使用人体骨骼信息，会导致箱体语义信息的丢失，如果不能识别人
‑
物交互过程中的“物”的特征，就无法排除一些相似行为的干扰，从而影响开箱验视交互行为的识别准确率，而对于如何准确描述邮局场景下人与物的特定行为模式，以上研究并未给出很好的参考和解决方案。

技术实现思路

[0007]为了解决目前的交互识别方案在邮局开箱验视的场景下，人
‑
物交互行为识别准确率较差的问题，本专利技术提供了一种邮局场景人物交互行为识别方法及系统，技术方案如下：
[0008]本专利技术的第一个目的在于提供一种邮局场景人物交互行为识别方法，所述方法包括：
[0009]步骤一：采用背景减除法判断检测区域内是否有行为发生，若有检测区域内有行为发生，则相机采集行为视频流，所述视频流包括：彩色图像序列和深度图像序列；
[0010]步骤二：基于UNet网络进行前景分割，将所述彩色图像序列输入到预训练好的UNet网络模型中，输出带有标签的分割结果，从而获得箱体和人手的二值图；
[0011]步骤三：对深度图像和彩色图像进行配准；
[0012]步骤四：利用所述步骤二中得到的箱体二值图，对配准后深度图像中的前景箱体进行特征提取，获得箱体深度特征；
[0013]步骤五：基于所述步骤二中得到的人手二值图像提取人手运动轨迹，获得人手运动特征；
[0014]步骤六：基于所述箱体深度特征和人手运动特征，构建包含深度和时空信息的特征描述子；
[0015]步骤七：利用预训练好的SVM分类器对所述特征描述子进行分类，实现人物交互行为的识别与检测。
[0016]可选的，所述步骤四采用开箱过程中单帧图像的箱子前景深度值方差作为代表该图像的特征值，深度方差的计算公式为：
[0017][0018]其中，σ2表示前景图像深度值的方差，n表示前景图像中像素点的总数，d
k
表示第k个像素点的深度值，d
m
表示前景图像中所有像素点深度值的平均值；
[0019]通过计算单帧图像箱子深度前景图的方差σ2，然后按时间序列将多帧图像方差σ2形成特征向量λ
bn
。
[0020]可选的，所述步骤五中人手运动特征提取的过程包括：
[0021]对人手二值图进行特征点提取，选取两只人手中远离相机的那只，对其二值图像进行像素点遍历；以图像最上方白色像素点所在的行数作为纵坐标，图像最左方白色像素点所在的列数作为横坐标，得到特征点F(x,y)的坐标；
[0022]计算特征点F(x,y)到图像坐标原点的像素距离D
t
，按照时间序列将连续帧图像的特征点距离原点的距离D
t
形成特征向量λ
hn
。
[0023]可选的，所述步骤一中采用背景减除法判断检测区域内是否有行为发生的过程包括：
[0024]将输入图像与背景模型进行比较，通过灰度、色度等特征的变化来对图像中的运动目标进行提取和分割，背景减除法的计算公式为：
[0025]d
(k)
(x,y)＝|f
(k+1)
(x,y)
‑
B
(k)
(x,y)|
[0026][0027]其中，d
(k)
(x,y)表示当前帧图像f(
k+1)
(x,y)与背景图像B
(k)
(x,y)的差值，m
(k)
(x,y)表示差值图像的二值化图像，T表示当前帧图像与背景图像像素差值的阈值，大于等于T时判断为存在前景目标；
[0028]当相机视野范围内无运动目标进入时，检测系统处于待机模式，仅进行视频流与图像帧的获取，选取第一帧图像f0(x,y)作为初始的背景图像B0(x,y)，若场景发生变化，则背景图像相应进行更新；
[0029]当检测区域内出现运动目标时，二值图像m
(k)
(x,y)中出现大量白色像素点，通过计算白色像素点与图片总像素的比例s，并根据经验设置评价标准的上限值V
max
及下限值V
min
；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种邮局场景人物交互行为识别方法，其特征在于，所述方法包括：步骤一：采用背景减除法判断检测区域内是否有行为发生，若有检测区域内有行为发生，则相机采集行为视频流，所述视频流包括：彩色图像序列和深度图像序列；步骤二：基于UNet网络进行前景分割，将所述彩色图像序列输入到预训练好的UNet网络模型中，输出带有标签的分割结果，从而获得箱体和人手的二值图；步骤三：对深度图像和彩色图像进行配准；步骤四：利用所述步骤二中得到的箱体二值图，对配准后深度图像中的前景箱体进行特征提取，获得箱体深度特征；步骤五：基于所述步骤二中得到的人手二值图像提取人手运动轨迹，获得人手运动特征；步骤六：基于所述箱体深度特征和人手运动特征，构建包含深度和时空信息的特征描述子；步骤七：利用预训练好的SVM分类器对所述特征描述子进行分类，实现人物交互行为的识别与检测。2.根据权利要求1所述的邮局场景人物交互行为识别方法，其特征在于，所述步骤四采用开箱过程中单帧图像的箱子前景深度值方差作为代表该图像的特征值，深度方差的计算公式为：其中，σ2表示前景图像深度值的方差，n表示前景图像中像素点的总数，d
k
表示第k个像素点的深度值，d
m
表示前景图像中所有像素点深度值的平均值；通过计算单帧图像箱子深度前景图的方差σ2，然后按时间序列将多帧图像方差σ2形成特征向量λ
bn
。3.根据权利要求1所述的邮局场景人物交互行为识别方法，其特征在于，所述步骤五中人手运动特征提取的过程包括：对人手二值图进行特征点提取，选取两只人手中远离相机的那只，对其二值图像进行像素点遍历；以图像最上方白色像素点所在的行数作为纵坐标，图像最左方白色像素点所在的列数作为横坐标，得到特征点F(x,y)的坐标；计算特征点F(x,y)到图像坐标原点的像素距离D
t
，按照时间序列将连续帧图像的特征点距离原点的距离D
t
形成特征向量λ
hn
。4.根据权利要求1所述的邮局场景人物交互行为识别方法，其特征在于，所述步骤一中采用背景减除法判断检测区域内是否有行为发生的过程包括：将输入图像与背景模型进行比较，通过灰度、色度等特征的变化来对图像中的运动目标进行提取和分割，背景减除法的计算公式为：d
(k)
(x,y)＝|f
(k+1)
(x,y)
‑
B
(k)
(x,y)|
其中，d
(k)
(x,y)表示当前帧图像f(
k+1)
(x,y)与背景图像B
(k)
(x,y)的差值，m
(k)
(x,y)表示差值图像的二值化图像，T表示当前帧图像与背景图像像素差值的阈值，大于等于T时判断为存在前景目标；当相机视野范围内无运动目标进入时，检测系统处于待机模式，仅进行视频流与图像帧的获取，选取第一帧图像f0(x,y)作为初始的背景图像B0(x,y)，若场景发生变化，则背景图像相应进行更新；当检测区域内出现运动目标时，二值图像m...

【专利技术属性】
技术研发人员：吴静静，王苁蓉，肖天行，
申请(专利权)人：江南大学，
类型：发明
国别省市：