一种行为视频无监督时序分割方法技术

一种行为视频无监督时序分割方法，包括初始化视频检测的起始时间为nt和相应的滑动窗口帧长度Lt；建立的视频序列窗口内做行为变化点的检测；若检测到该视频序列窗口内有行为变化点c，则以时间点c为检测起始时间并重新初始化滑动窗口帧长度继续对后续视频进行检测；否则，若在视频序列窗口中未检测到行为变化点，则仍以初始化的nt为检测起始帧，即nt+1＝nt，而滑动窗口的帧长度更新为Lt+1＝Lt+ΔL，其中ΔL为滑动窗长度增量步长；直到所有视频帧序列全部检测完成或到达预先指定的截止时间T0结束。该方法在行为视频分析中对数据变化点做出决策，无需先验知识在线实时的进行无监督分割，直接应用于行为视频数据在线分析中。

【技术实现步骤摘要】

本专利技术涉及一种行为视频无监督时序分割方法，属于智能视频监控的

技术介绍
视觉人体行为分析是实现智能视频监控、人机交互、医疗辅助、运动还原的关键技术。现有分析方法大多假设：在观测到的一段视频片段中，只存在于一种行为类别。而实际中，观测到的行为视频常包含多种连续行为类别；且在很多情况下，我们通常没有先验知识去判断可能的种类以及每种行为的时间范围等信息，因此导致视频监控和筛选的时效非常低，耗费大量的人力和物力。
技术实现思路
针对现有技术的不足，本专利技术提供一种行为视频无监督时序分割方法。该方法在增量滑动窗口(incrementalsliding-window)技术框架下通过检测视频子序列的时序变化点检测来实现对不同行为的时序分割。本专利技术的技术方案如下：一种行为视频无监督时序分割方法，所述方法中涉及行为视频的滑动窗口模型，包括(1-1)初始化视频检测的起始时间为nt和相应的滑动窗口帧长度Lt；(1-2)建立的视频序列窗口内做行为变化点的检测；(1-3)若检测到该视频序列窗口内有行为变化点c，则以时间点c为检测起始时间并重新初始化滑动窗口帧长度继续对后续视频进行检测；否则，若在视频序列窗口中未检测到行为变化点，则仍以初始化的nt为检测起始帧，即nt+1＝nt，而滑动窗口的帧长度更新为Lt+1＝Lt+ΔL，其中ΔL为滑动窗长度增量步长；(1-4)整个检测过程直到所有视频帧序列全部检测完成或到达预先指定的截止时间T0结束；所述行为视频无监督时序分割方法，包括，视频子序列的行为变化点检测，步骤如下：(2-1)在视频上逐帧进行特征提取并进行PCA降维；(2-2)按时序关系将帧特征向量重构成多维时序数据；(2-3)在时序数据每一维上利用偏差累积和，所述偏差累积和的英文为cumulativesum，CUSUM，分别计算数据异常度并将计算得到的异常度信息进行数据聚合；(2-4)通过假设检验来检测行为的变化，若聚合后的异常度不小于设定的阈值λ，则取异常度中的最大值对应的时间点为行为的变化点，并以此对视频进行分割。根据本专利技术优选的，所述行为视频的滑动窗口模型的建立方法，包括如下步骤：步骤(1-1)：初始化视频检测的起始帧nt＝n1和相应的滑动窗口的帧长度Lt＝L1，其中，L1设定为2L0，L0为一类行为视频的最小长度，应用中设定为50；步骤(1-2)在建立的视频序列滑动窗口内做行为变化点的检测；步骤(1-3)若在该视频序列窗口内检测到有行为变化点c，则以时间点c为后续检测的起始帧和滑动窗口帧长度L1继续对后续视频进行检测，即nt+1＝c、Lt+1＝L1；若在视频序列窗口中未检测到行为变化点，则仍以初始化的nt为检测起始帧，而滑动窗口的帧长度Lt+1更新为(Lt+ΔL)，其中ΔL为滑动窗长度增量步长(ΔL＝L0/2)，即nt+1＝nt、Lt+1＝Lt+ΔL；步骤(1-4)滑动窗口的检测直到所有视频帧序列全部检测完成或到达预先指定的截止时间T0结束，即nt+Lt＞MorT0，其中N为给定的完整行为视频的图像总帧数，T0为预先指定的截止时间；否则，t＝t+1并返回步骤(1-2)。根据本专利技术优选的，所述步骤(1-2)中所述在建立的视频序列滑动窗口内做行为变化点的检测的方法，包括如下步骤：在上述增量滑动窗下，通过检测每个窗口内视频子序列的时序变化点检测来实现对不同行为的时序分割；步骤(2-1)一段给定的视频子序列Y，用y(t)表示第t帧的特征向量；Y记作：Y＝{y(t)本文档来自技高网...

【技术保护点】
一种行为视频无监督时序分割方法，其特征在于，所述方法中涉及行为视频的滑动窗口模型，包括(1‑1)初始化视频检测的起始时间为nt和相应的滑动窗口帧长度Lt；(1‑2)建立的视频序列窗口内做行为变化点的检测；(1‑3)若检测到该视频序列窗口内有行为变化点c，则以时间点c为检测起始时间并重新初始化滑动窗口帧长度继续对后续视频进行检测；否则，若在视频序列窗口中未检测到行为变化点，则仍以初始化的nt为检测起始帧，即nt+1＝nt，而滑动窗口的帧长度更新为Lt+1＝Lt+ΔL，其中ΔL为滑动窗长度增量步长；(1‑4)整个检测过程直到所有视频帧序列全部检测完成或到达预先指定的截止时间T0结束；所述行为视频无监督时序分割方法，包括，视频子序列的行为变化点检测，步骤如下：(2‑1)在视频上逐帧进行特征提取并进行PCA降维；(2‑2)按时序关系将帧特征向量重构成多维时序数据；(2‑3)在时序数据每一维上利用偏差累积和分别计算数据异常度并将计算得到的异常度信息进行数据聚合；(2‑4)通过假设检验来检测行为的变化，若聚合后的异常度不小于设定的阈值λ，则取异常度中的最大值对应的时间点为行为的变化点，并以此对视频进行分割。...

【技术特征摘要】
1.一种行为视频无监督时序分割方法，其特征在于，所述方法中涉及行为视频的滑动
窗口模型，包括
(1-1)初始化视频检测的起始时间为nt和相应的滑动窗口帧长度Lt；
(1-2)建立的视频序列窗口内做行为变化点的检测；
(1-3)若检测到该视频序列窗口内有行为变化点c，则以时间点c为检测起始时间并重
新初始化滑动窗口帧长度继续对后续视频进行检测；否则，若在视频序列窗口中未检测到
行为变化点，则仍以初始化的nt为检测起始帧，即nt+1＝nt，而滑动窗口的帧长度更新为Lt+1＝Lt+ΔL，其中ΔL为滑动窗长度增量步长；
(1-4)整个检测过程直到所有视频帧序列全部检测完成或到达预先指定的截止时间T0结束；
所述行为视频无监督时序分割方法，包括，视频子序列的行为变化点检测，步骤如下：
(2-1)在视频上逐帧进行特征提取并进行PCA降维；
(2-2)按时序关系将帧特征向量重构成多维时序数据；
(2-3)在时序数据每一维上利用偏差累积和分别计算数据异常度并将计算得到的异常
度信息进行数据聚合；
(2-4)通过假设检验来检测行为的变化，若聚合后的异常度不小于设定的阈值λ，则取
异常度中的最大值对应的时间点为行为的变化点，并以此对视频进行分割。
2.根据权利要求1所述一种行为视频无监督时序分割方法，其特征在于，所述行为视频
的滑动窗口模型的建立方法，包括如下步骤：
步骤(1-...

【专利技术属性】
技术研发人员：卢国梁，高桢，闫鹏，王亮，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37