业务流程抽取领域过程性视频的过程模型抽取方法技术

本发明专利技术属于计算机视觉技术领域，公开了业务流程抽取领域过程性视频的过程性模型抽取方法，可以改变传统业务流程抽取模型主要依赖于日志等结构化数据，难以应用于视频等非结构化数据的现状。此发明专利技术方法从互联网中筛选出视频数据；通过K近邻算法和图像处理技术从视频中提取出运动目标；以固定帧长从视频中自动切分出动作的视频帧序列，将视频帧序列送至双流膨胀卷积神经网络(Two

【技术实现步骤摘要】
业务流程抽取领域过程性视频的过程模型抽取方法


[0001]本专利技术属于业务流程抽取领域，尤其涉及一种视频流程抽取领域过程性视频的过程模型抽取方法。

技术介绍

[0002]随着社会经济的发展，当今越来越多的企事业单位注重流程挖掘技术，该项技术可以从日志文件中提取有价值的信息，以便发现、监控和改进流程，实现业务流程的智能管理。但是传统业务流程抽取模型主要依赖于日志等结构化数据，容易受到日志文件残缺、不规范等问题的影响，而且难以应用于图片、视频等非结构化数据，导致在很多数据场景下无法进行流程抽取，造成大量的数据浪费和应用欠缺。
[0003]近些年来业务流程抽取研究不断深入，如何从视频等非结构化数据中进行过程挖掘，已经引起了人们的广泛关注。从日志到视频的转变，给流程挖掘带来了巨大的挑战，现有的工作大多仍处于手工挖掘的阶段，消耗大量的人力、物力成本。通过图像中物体位置、状态分析的自动挖掘方法仅从视频中某一帧图像考虑，无法结合视频中上下文信息，导致挖掘效果往往不好。
[0004]随着深度学习在图像领域的不断深入发展，短视频中的动作定位和识别技术不断完善，但是却少有研究将深度学习和视频流程挖掘相结合，主要原因包括过程性视频数据集稀缺且无标注、长视频动作定位效果差、已有过程挖掘算法集中于日志数据，缺少动作识别结果向日志文件转换的成熟方法。

技术实现思路

[0005]针对目前视频数据下的流程抽取工作空白的现状，本专利技术提出了一种视频流程抽取领域过程性视频的过程模型抽取方法。
[0006]本专利技术方法具体包括数据采集与增强、视频数据预处理、动作分割与识别、BPMN流程模型挖掘四部分。
[0007]本专利技术方法的第一部分是数据采集与增强，从已有的公开数据集中筛选包含流程信息的视频数据，并采用图像增强技术扩展数据集。
[0008]本专利技术方法的第二部分是数据预处理，将对原始视频数据进行预处理，消除图像中无关的信息，增强有关信息的可检测性和最大限度的简化数据。
[0009]本专利技术方法的第三部分是动作分割与识别，将对预处理的图像中提取动作进行动作分割和标识动作的类型，本专利技术方法设计了基于固定帧数的动作自动分割方法，不但实现了自动化，而且又具备一定的通用性，来解决动作分割与识别问题。
[0010]本专利技术方法的第四部分是BPMN模型挖掘，根据提取出的动作标签生成BPMN流程模型，可以清晰、准确表达视频内动作的关系。经过上述四部分，最终形成过程性视频的过程模型抽取方法。
[0011]鉴于上述，本专利技术的第一个方面提供了一种数据采集与增强的方法。第一步以“餐
具摆放”作为主题从各大数据集网站公开的数据集中进行数据采集；第二步是视频数据清洗，使用OpenCV对视频分辨率、帧率、亮度等特征进行调整，使采集的视频数据调整至相同或高度相似的数据格式，丢弃调整失败的视频数据；第三步使用Python语言实现视频的简易动作标注工具，标注形式为[视频ID，动作类型，动作发生时间，动作结束时间]四元组；第四步通过图像旋转、平移、裁剪、缩放等图像增强技术，扩充数据集数量，并使不同类别动作的数据量分布平衡。
[0012]根据本专利技术的第二部分，所述视频预处理步骤具体如下。
[0013]第一步，图像灰度化处理。从视频数据中提取RGB视频帧，将RGB视频帧进行图像灰度化处理。灰度图像可以提供完整的梯度信息，并且可以减少图像大小，从而减小后续工作的计算量。灰度图像Gray由包含R、G、B三个通道的原图像，根据权值进行通道值累加而成，图像灰度化方法如公式1所示，其中H、W分别表示原图像的高和宽,i∈[1,2,...,H], j∈[1,2,...,H]。
[0014]在上述技术方案中，提取到的灰度图虽然保留了梯度信息，但图像中仍存在着无用的背景信息。
[0015]第二步，运动目标提取。为了去除上述技术方案灰度图中背景等无用信息、精确提取运动目标，本专利技术方法提出了KNN算法结合了静态背景图像估计和每个像素的贝叶斯分割，使用前面很少的图像进行背景建模。由于使用了具有自适应特性的概率前景估计算法（使用贝叶斯估计鉴定前景），使观察到的对象比旧的对象具有更高的权重，从而对光照变化产生适应。
[0016]在上述技术方案中，虽然精确的地提取出了运动目标，但是却存在着噪声的干扰。
[0017]第三步，图像噪声处理。为了去除上述技术方案运动目标的噪声，本专利技术方法提出 了使用中值滤波对灰度图进行非线性滤波，其基本思想是用像素点邻域灰度值的中值来代替 该像素点的灰度值，让周围的像素值接近真实的值从而消除孤立的噪声点，计算方法如公式2所示：g(x，y)＝Med{f(x
‑
k，y
‑
l)，(k，l∈W)}
ꢀꢀꢀꢀ
(2)其中，f(x，y)、g(x，y)分别为原始图像和中值滤波处理后图像，M是大小为N*N二维模板，N的 取值为正奇数，Med表示将区域中样本值排序并取中值。
[0018]在上述技术方案中，所述中值滤波技术的信号处理，消除了部分椒盐噪声并且有效保护图像边缘信息、平滑了图像。
[0019]第四步，开运算处理。本专利技术方法提出了对视频帧进行开运算处理。开运算是先腐蚀后膨胀的一种组合形态学操作。
[0020]设X为目标图像，B为结构元素，则目标图像X对结构元素B进行开运算处理的数学 表达式如公式3所示：表达式如公式3所示：表达式如公式3所示：
公式4、5分别表示腐蚀、膨胀计算方法。其中(B)xy表示将结构元素B的原点平移至图像像 元(x，y)位置，是腐蚀运算的运算符，是膨胀运算的运算符。
[0021]在上述技术方案中，所述开运算可以使图像的轮廓变得更加光滑以及断开狭窄的间断，它可以在尽量不改变物体面积的前提下，消除小物体与突出物。
[0022]上述四个步骤，阐述了完整的图像预处理过程。
[0023]根据本专利技术的第三部分，所述动作分割与识别步骤具体如下。
[0024]第一步，动作分割。从图像序列中分割出动作序列，本专利技术方法首先采用固定帧数分割的方法来进行动作的初步分割，在提取的运动目标图像序列中以固定帧数N进行动作分割，每个被分割出来的N帧序列对应一个动作标签。
[0025]在上述技术方案中，由于动作的类别和动作的执行者不同，所以不同动作有着不同的执行时间、对应着不同大小的帧数跨度，而采用固定帧长分割会出现动作不完整、动作包含无用帧的情况，干扰后续动作识别网络的学习过程。因此，构建标签映射机制，修正固定帧数分割造成的动作执行区间不准确的问题。进一步，此处所述标签映射步骤阐述如下。
[0026]第1.1步，根据帧长，将原始标注标签划分为更细粒度的动作标签，如“取勺子”动作分为：“拉开抽屉”、“拾起勺子”、“关闭抽屉”。
[0027]第1.2步，将分割结果与原始标注中动作的起始、终止位置对齐，采用细粒度标签重新构造标注文件，标注形式为：[分割片段ID，细粒度动作标签，片段开始时间，片段本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务流程抽取领域过程性视频的过程模型抽取方法，其特征在于，包括：第一步，数据筛选及扩充。从已有的公开视频数据集中，筛选出包含复杂过程的视频数据，并且采用数据增强技术，扩展数据集的数量，解决样本数据不平衡的问题并且完成数据标注工作。第二步，图像灰度化处理。将原视频中的RGB彩色视频帧进行灰度化处理，得到灰度图像，降低了数据维数，保留了梯度信息，避免了条带失真。第三步，运动目标提取。根据上述第二步得到的灰度图像，采用KNN算法，结合静态背景图像估计和像素级贝叶斯分割，仅使用少量图像便可以进行背景建模，去除背景等无用信息，精确提取运动目标，得到运动目标图像。第四步，图像噪声处理。根据上述第三步得到运动目标图像，采用中值滤波技术对图像进行非线性滤波，有效消除椒盐噪声，保护边缘信息。第五步，开运算处理。根据上述第四步得到噪声处理过的图像，进行开运算处理，去除图像中孤立点、毛刺和小桥，平滑形状边界并且不改变其面积。第六步，动作分割。原视频数据经过以上处理，得到一系列图像序列。从中以固定帧数N进行动作分割，每个被分割出来的N帧序列对应一个具体的动作标签。第七步，动作识别。以Two
‑
Stream Inflated 3D ConvNet神经网络作为动作识别的基本模型，在训练过程中，将N帧动作序列及其动作标签作为数据的基本单元，输入到模型进行训练并保存训练后的模型；在预测过程中，加载训练好的模型，输入N帧动作序列，即可得到动作识别的结果。第八步，BPMN模型生成。将上述第七步得到的动作识别结果转化为日志文件，采用BPMN Miner算法，挖掘流程模型。2.如权利要求1所述业务流程抽取领域过程性视频的过程模型抽取方法，其特征在于，所述第一步包括：从互联网资源中获取一系列公开的视频数据集，并从中筛选出包含动作流程信息的视频数据。采用图像旋转、平移、对比度、亮度修改等图像增强技术扩展视频数据数量，平衡样本分布。并基于Python设计简易的视频标注工具，在视频中标注出动作的类别、起始位置、终止位置。3.如权利要求1所述业务流程抽取领域过程性视频的过程模型抽取方法，其特征在于，所述第二步包括：采用图像灰度化中的加权平均法，将彩色图像的R、G、B三个分量以不同的权值进行加权平均，计算方法如公式1所示Gray(i,j)＝0.299*R(i,j)+0.587*G(i,j)+0.114*B(i,j)
ꢀꢀꢀ
(1)其中i∈[1,2,...,H],j∈[1,2,...,W]，H、W分别表示原图像的高和宽。4.如权利要求1所述业务流程抽取领域过程性视频的过程模型抽取方法，其特征在于，所述第三步包括：使用概论前景估计算法(使用贝叶斯估计鉴定前景)，这是一种自适应的估计，新观察到的对象比旧的对象具有更高的权重，从而对光照变化产生适应，更准确地提取出运动目标，此处所述方法借助于OpenCV工具库实现于Python语言中。5.如权利要求1所述业务流程抽取领域过程性视频的过程模型抽取方法，其特征在于，所述第四步包括：用像素点邻域灰度值的中值来代替该像素点的灰度值，让周围的像素值接近真实的值从而消除孤立的噪声点，计算方法如公式...

【专利技术属性】
技术研发人员：曾庆田，邹明浩，陈双，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：