一种视频分析方法技术

本发明专利技术公开了一种视频分析方法，涉及视频分析技术领域，包括以下步骤：A：视频输入：将待识别视频输入单帧识别模型，得到待识别视频中单帧图像的单帧特征，B：视频剪切，C：视频块分选，D：语音识别，E：视频分析，F：确定分镜片段。本发明专利技术通过单帧识别模型可以通过不同的单帧图像的进行分析，通过对视频剪切进行对视频进行分别分析，提高分析的准确度，通过视频块分选通过视频块的特征流矩阵进行进一步的分析，通过语音识别可以通过语音和文字再一次确认分析，然后分析视频中是否存在异常行为，提高视频的分析结构准确度，通过分镜片段的标签的设置可以快速查找异常行为的片段，结束了查找时间。

A video analysis method

【技术实现步骤摘要】
一种视频分析方法
本专利技术涉及视频分析
，特别涉及一种视频分析方法。
技术介绍
视频分析是计算机视觉领域的一个重要方向，近几年，神经网络在图像分析领域取得了重大突破，然而相对图像而言，视频增加了时间维度信息，因此让机器理解不同视频帧在时间维度上的联系变得尤为重要。在传统的方法中，通常利用光流等手工特征来描述视频的时间信息，往往只考虑不同的单帧图像的分析结果，无法准确区分视频中整体动作中的某部分关键动作，导致视频的识别结果不准确。因此，专利技术一种视频分析方法来解决上述问题很有必要。
技术实现思路
(一)解决的技术问题针对现有技术的不足，本专利技术提供了一种视频分析方法，解决了现有无法准确区分视频中整体动作中的某部分关键动作，导致视频的识别结果不准确问题。(二)技术方案为实现以上目的，本专利技术通过以下技术方案予以实现：一种视频分析方法，包括以下步骤：A：视频输入：将待识别视频输入单帧识别模型，得到待识别视频中单帧图像的单帧特征；B：视频剪切：对视频进行镜头分割，得到视频的各个分镜片段，分别进行识别；C：视频块分选：根据各视频块包括的单帧图像的单帧特征和帧长度，确定各视频块的特征流矩阵；D：语音识别：对于任意一个分镜片段，对分镜片段的音频进行语音识别，得到音频的文字内容；E：视频分析：分析任意一个分镜片段中异常行为，对分镜片段的视频帧进行目标识别，得到分镜片段的目标识别结果；F：确定分镜片段：根据音频的文字内容，目标识别结果，确定分镜片段的标签。可选的，所述步骤F中在多个连续的分镜片段的标签相匹配的情况下，将多个连续的分镜片段合并为组合分镜片段。可选的，所述步骤E中对分镜片段的关键帧进行目标识别，得到分镜片段的目标识别结果，目标识别包括物体识别和人脸识别中的一种或两种。可选的，所述步骤C中将初始注意力矩阵和第一个视频块的特征流矩阵，输入长短期记忆模型进行处理，得到第一个视频块的注意力矩阵，将第二个视频块及其后续的视频块作为当前视频块，依次将上一个视频块的注意力矩阵和当前视频块的特征流矩阵，输入长短期记忆模型进行处理，得到当前视频块的注意力矩阵。可选的，所述步骤D中通过语音识别模块，用于对于任意一个分镜片段，对分镜片段的音频进行语音识别，得到所述音频的文字内容。可选的，所述步骤B中通过视频块划分模块，用于根据帧长度、起始帧和识别步长，将待识别视频划分为各视频块。可选的，所述步骤A中通过单帧特征确定模块，用于将待识别视频输入单帧识别模型，得到所述待识别视频中单帧图像的单帧特征。(三)有益效果本专利技术提供了一种视频分析方法，具备以下有益效果：(1)、本专利技术通过单帧识别模型可以通过不同的单帧图像的进行分析，通过对视频剪切进行对视频进行分别分析，提高分析的准确度，通过视频块分选通过视频块的特征流矩阵进行进一步的分析，通过语音识别可以通过语音和文字再一次确认分析，然后分析视频中是否存在异常行为，提高视频的分析结构准确度，通过分镜片段的标签的设置可以快速查找异常行为的片段，结束了查找时间。(2)、本专利技术工艺简单，设备要求低，可操作性强，具有良好的社会推广应用。具体实施方式下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。一种视频分析方法，包括以下步骤：A：视频输入：将待识别视频输入单帧识别模型，得到待识别视频中单帧图像的单帧特征；B：视频剪切：对视频进行镜头分割，得到视频的各个分镜片段，分别进行识别；C：视频块分选：根据各视频块包括的单帧图像的单帧特征和帧长度，确定各视频块的特征流矩阵；D：语音识别：对于任意一个分镜片段，对分镜片段的音频进行语音识别，得到音频的文字内容；E：视频分析：分析任意一个分镜片段中异常行为，对分镜片段的视频帧进行目标识别，得到分镜片段的目标识别结果；F：确定分镜片段：根据音频的文字内容，目标识别结果，确定分镜片段的标签。作为本专利技术的一种可选技术方案：步骤F中在多个连续的分镜片段的标签相匹配的情况下，将多个连续的分镜片段合并为组合分镜片段。作为本专利技术的一种可选技术方案：步骤E中对分镜片段的关键帧进行目标识别，得到分镜片段的目标识别结果，目标识别包括物体识别和人脸识别中的一种或两种。作为本专利技术的一种可选技术方案：步骤C中将初始注意力矩阵和第一个视频块的特征流矩阵，输入长短期记忆模型进行处理，得到第一个视频块的注意力矩阵，将第二个视频块及其后续的视频块作为当前视频块，依次将上一个视频块的注意力矩阵和当前视频块的特征流矩阵，输入长短期记忆模型进行处理，得到当前视频块的注意力矩阵。作为本专利技术的一种可选技术方案：步骤D中通过语音识别模块，用于对于任意一个分镜片段，对分镜片段的音频进行语音识别，得到所述音频的文字内容。作为本专利技术的一种可选技术方案：步骤B中通过视频块划分模块，用于根据帧长度、起始帧和识别步长，将待识别视频划分为各视频块。作为本专利技术的一种可选技术方案：步骤A中通过单帧特征确定模块，用于将待识别视频输入单帧识别模型，得到所述待识别视频中单帧图像的单帧特征。需要说明的是，在本专利技术中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。最后应说明的是：以上所述仅为本专利技术的优选实施例而已，并不用于限制本专利技术，尽管参照前述实施例对本专利技术进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种视频分析方法，其特征在于，包括以下步骤：/nA：视频输入：将待识别视频输入单帧识别模型，得到待识别视频中单帧图像的单帧特征；/nB：视频剪切：对视频进行镜头分割，得到视频的各个分镜片段，分别进行识别；/nC：视频块分选：根据各视频块包括的单帧图像的单帧特征和帧长度，确定各视频块的特征流矩阵；/nD：语音识别：对于任意一个分镜片段，对分镜片段的音频进行语音识别，得到音频的文字内容；/nE：视频分析：分析任意一个分镜片段中异常行为，对分镜片段的视频帧进行目标识别，得到分镜片段的目标识别结果；/nF：确定分镜片段：根据音频的文字内容，目标识别结果，确定分镜片段的标签。/n

【技术特征摘要】
1.一种视频分析方法，其特征在于，包括以下步骤：
A：视频输入：将待识别视频输入单帧识别模型，得到待识别视频中单帧图像的单帧特征；
B：视频剪切：对视频进行镜头分割，得到视频的各个分镜片段，分别进行识别；
C：视频块分选：根据各视频块包括的单帧图像的单帧特征和帧长度，确定各视频块的特征流矩阵；
D：语音识别：对于任意一个分镜片段，对分镜片段的音频进行语音识别，得到音频的文字内容；
E：视频分析：分析任意一个分镜片段中异常行为，对分镜片段的视频帧进行目标识别，得到分镜片段的目标识别结果；
F：确定分镜片段：根据音频的文字内容，目标识别结果，确定分镜片段的标签。


2.根据权利要求1所述的一种视频分析方法，其特征在于：
所述步骤F中在多个连续的分镜片段的标签相匹配的情况下，将多个连续的分镜片段合并为组合分镜片段。


3.根据权利要求1所述的一种视频分析方法，其特征在于：
所述步骤E中对分镜片段的关键帧进行目标识别，得到分镜片段的目标识别结果，目标识别包括物体识...

【专利技术属性】
技术研发人员：倪出尘，
申请(专利权)人：中译语通文娱科技青岛有限公司，
类型：发明
国别省市：山东;37