本发明专利技术提供视频流中可形变对象的律动节拍辩识方法及装置，不进行视频流中图像的目标识别，而是识别视频流中的有规律运动的时间频率，从而高效地从视频流中提取特定信号的周期性变化的时间频率。视频流中可形变对象的律动节拍辩识方法，其特征在于，包括：步骤1，用局部匹配和全局筛选方法，提取视频流相邻两帧中相匹配的特征点，并基于此递归计算得到各帧画面中具有一致性的特征点；步骤2，对多帧画面中的特征点进行运动统计分析，将这些特征点进行二分类，一类是具有显著相似的移动规律的背景特征点，另一类是与第一类有明显差异的可形变对象特征点；步骤3，从可形变对象特征点的运动规律中分析识别出其周期性规律与定量节拍。律中分析识别出其周期性规律与定量节拍。律中分析识别出其周期性规律与定量节拍。
【技术实现步骤摘要】
视频流中可形变对象的律动节拍辩识方法及装置
[0001]本专利技术属于视频识别
，具体涉及视频流中可形变对象的律动节拍辩识方法及装置。
技术介绍
[0002]目前涉及对视频内容识别的算法大多是依靠机器学习，对每帧画面进行主体目标的识别，首先需要大量训练数据集的计算，其次还要解决面对不同的目标尺度导致神经网络识别准确性较差。通过特征工程的目标识别，或者基于深度神经网络的视频流分析等，先对图像中的有限种类的目标进行提取，再进行运动规律分析，可以做到很高精度，但这些基于神经网络的算法，网络参数量大，对装置计算能力要求高，算力高则意味着功耗高。对于电池续航能力有限的移动设备，例如智能手机、平板电脑等，这类基于神经网络的算法虽然可以用，但是耗电快，导致移动设备续航时间非常有限。
[0003]具体来说，例如，CN115601688A提出的基于深度学习的视频主体内容检测方法及系统，基于深度学习的视频主体内容检测方法主要是获取视频数据；对视频帧图像中的不同目标进行尺寸调整获取若干第一初始图像，组成扩大数据集，并得到第一标签图像；对扩大数据集推理获取第一目标图像，通过第一目标图像与第一标签图像之间的边缘差异获取各类别在不同尺度信息下的识别准确率，得到各类别的最优推理尺度；通过瓦片分割并识别得到初始推理结果，获取其中各连通域对应的最优推理尺度，调整尺度并得到最优推理结果；计算目标区域的多帧出现程度、综合面积占比及综合居中程度，得到主体程度，进而得到视频主体内容。可见深度学习的算法对设备的算力有较高要求。
[0004]还有的技术，例如CN115690657A提出了一种基于视频图像监测的智能计数系统，首先对视频进行数据储存，通过服务器输入模块输入数据，并将输入模块的数据传递给数据储存，数据储存细分为子储存A区间、子储存B区间和子储存C区间，子储存B区间存储视频，通过视频内容捕捉动态视频对象储存，数据储存的子储存A区间用于输入捕捉对象，子储存A区间的捕捉输入对象储存，通过捕捉输入对象储存细化为高度疑似错误参考对象和正确参考对象，通过细化的高度疑似错误参考对象和正确参考对象提供给输入对象参考动态数据捕捉对比，识别目标对象。这样对于图像数据的保存较为完整，但是数据过滤效率较低，数据处理效率也较低。
技术实现思路
[0005]本专利技术是为了解决上述问题而进行的，目的在于提供视频流中可形变对象的律动节拍辩识方法及装置，不进行视频流中图像的目标识别，而是识别视频流中的有规律运动的时间频率，从而高效地从视频流中提取特定信号的周期性变化的时间频率。
[0006]为了实现以上目的，本专利技术采用了以下方案：
[0007]<方法>
[0008]如图1所示，本专利技术提供视频流中可形变对象的律动节拍辩识方法，包括以下步
骤：
[0009]步骤1，用局部匹配和全局筛选方法，提取视频流相邻两帧中相匹配的特征点，并基于此递归计算得到各帧画面中具有一致性的特征点；
[0010]特征点匹配方式为：对于相邻的两帧，将第一帧视频的角点作为特征点，然后在第二帧视频根据之前第一帧视频的特征点在画面中的位置，以此位置为中心截取一定高度和宽度的矩形区域，在此区域中寻找匹配的角点作为第二帧视频的特征点；按照前述特征点匹配方式对所有帧进行处理，直至迭代到最后一帧；
[0011]步骤2，对多帧画面中的特征点进行运动统计分析，将这些特征点进行二分类，一类是具有显著相似的移动规律的背景特征点，另一类是与第一类有明显差异的可形变对象特征点；
[0012]步骤3，从可形变对象特征点的运动规律中分析识别出其周期性规律与定量节拍。
[0013]该方案的有益效果是：
[0014]不用进行视频流中图像的目标识别，只通过统计手段，分析视频流中图像的特征点的运动规律，在不识别目标的情况下，在全局识别有规律运动的特征点，从而识别视频流中的有规律运动的时间频率，有效解决了目前无法高效从视频流中提取特定信号的周期性变化的时间频率问题。计算量小，耗电功率小，能够更好的适用于续航能力有限的移动设备，同时对于普通设备，能耗低、更加绿色环保。
[0015]本方案的应用场景包括但不限于：a、生物
通过图像信号统计生物体的运动规律；b、医学领域通过放射，超声，磁共振等影像手段统计器官收缩舒张频率，血液流动频率和心电图波动频率等；c、短视频娱乐领域，识别舞蹈或者运动的周期性规律。
[0016]优选地，本专利技术提供的视频流中可形变对象的律动节拍辩识方法，在步骤1中，采用如下方式确定矩形区域的尺寸：
[0017]设可形变对象位移速度为v，位移方向为θ，则速度分解为：
[0018][0019]设视频流的FPS为f，将分辨率表示为：每行的像素点个数p
x
与每列的像素点个数p
y
；将相机视角分解为：
[0020][0021]设视频是距离可形变对象d的距离拍摄的，特征点匹配过程中划定的矩形区域长为w，高为h，单位为像素，所以有：
[0022][0023]该优选技术的有益效果是：本专利技术设定矩形区域尺寸充分考虑了可形变物体移动速度、拍摄对象的距离、相机视角、分辨率和FPS的影响，划定的矩形区域能够有效地确定出可形变对象的位置。
[0024]优选地，本专利技术提供的视频流中可形变对象的律动节拍辩识方法，在步骤1中，将v取为可形变对象的极限位移速度v
max
，采用如下公式确定矩形区域的尺寸：
[0025][0026]该优选技术的有益效果是：简化了拍摄过程并且进一步减少了测量误差对特征匹配的影响。
[0027]优选地，本专利技术提供的视频流中可形变对象的律动节拍辩识方法，在步骤1中，匹配了特征点之后计算特征点的位移速度，令w
i，j
为第i个特征点在第j帧的横向坐标，h
i，j
为第i个特征点在第j帧的纵向坐标，获得第i个特征点从第j帧变换到第j+1帧的位移速度v
i，j
和位移方向β
i,j
：
[0028][0029]本专利技术在像素层面进行图片操作，对视频流进行了有效合理的裁切，有利于识别出可形变对象并进行匹配，进一步采用上述公式计算可形变对象的运动速度。
[0030]优选地，本专利技术提供的视频流中可形变对象的律动节拍辩识方法，采用锚点在中心的正方形核模板，核模板边长为一个动态阈值(典型值为所有特征点中相距最近的两个特征点之间的距离)，然后以每个特征点为中心，建立3
×
3的光斑，利用选定的核模板，对光斑边缘进行膨胀操作，每一次膨胀后，都统计连通域个数。当相邻两次膨胀操作统计出来的连通域个数相同时，即停止膨胀操作。确定已经连通的光斑，每个连通光斑内包含的所有特征点被认定为相近的重复特征点，取离光斑中心最近的特征点为有效特征点，同时将光斑中的其他特征点在待选择的特征点集中去除。
[0031]该优选技术的有益效果是：在保证能有效识别信本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.视频流中可形变对象的律动节拍辩识方法，其特征在于，包括以下步骤：步骤1，用局部匹配和全局筛选方法，提取视频流相邻两帧中相匹配的特征点，并基于此递归计算得到各帧画面中具有一致性的特征点；特征点匹配方式为：对于相邻的两帧，将第一帧视频的角点作为特征点，然后在第二帧视频根据之前第一帧视频的特征点在画面中的位置，以此位置为中心截取一定高度和宽度的矩形区域，在此区域中寻找匹配的角点作为第二帧视频的特征点；按照前述特征点匹配方式对所有帧进行处理，直至迭代到最后一帧；步骤2，对多帧画面中的特征点进行运动统计分析，将这些特征点进行二分类，一类是具有显著相似的移动规律的背景特征点，另一类是与第一类有明显差异的可形变对象特征点；步骤3，从可形变对象特征点的运动规律中分析识别出其周期性规律与定量节拍。2.根据权利要求1所述的视频流中可形变对象的律动节拍辩识方法，其特征在于：其中，在步骤1中，采用如下方式确定矩形区域的尺寸：设可形变对象位移速度为v，位移方向为θ，则速度分解为：设视频流的FPS为f，将分辨率表示为：每行的像素点个数p
x
与每列的像素点个数p
y
；将相机视角分解为：设视频是距离可形变对象d的距离拍摄的，特征点匹配过程中划定的矩形区域长为w，高为h，单位为像素，所以有：3.根据权利要求2所述的视频流中可形变对象的律动节拍辩识方法，其特征在于：其中，在步骤1中，将v取为可形变对象的极限位移速度v
max
，采用如下公式确定矩形区域的尺寸：4.根据权利要求2所述的视频流中可形变对象的律动节拍辩识方法，其特征在于：其中，在步骤1中，匹配了特征点之后计算特征点的位移速度，令w
i,j
为第i个特征点在第j帧的横向坐标，h
i,j
为第i个特征点在第j帧的纵向坐标，获得第i个特征点从第j帧变换到第j+1帧的位移速度v
i,j
和位移方向β
i,j
：
5.根据权利要求1所述的视频流中可形变对象的律动节拍辩识方法，其特征在于：其中，在步骤1识别特征点的过程中，采用锚点在中心的正方形核模板，然后以每个特征点为中心，建立3
×
3的光斑，利用选定的核模板，对光斑边缘进行膨胀操作，每一次膨胀后，都统计连通域个数；当相邻两次膨胀操作统计出来的连通域个数相同时，即停止膨胀操作；确定已经连通的光斑，每个连通光斑内包含的所有特征点被认定为相近的重复特征点，取离光斑中心最近的特征点为有效特征点，同时将光斑中的其他特征点在待选择的特征点集中去除。6.根据权利要求1所述的视频流中可形变对象的...
【专利技术属性】
技术研发人员：周英彪，李全林，
申请(专利权)人：武汉智凯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。