一种视频关键点的动态捕捉方法及装置制造方法及图纸

本发明专利技术公开了一种视频关键点的动态捕捉方法及装置，方法包括：对预处理后图像中的背景进行建模，对没有运动目标的图像进行预处理后获得图像的灰度值，并按区间进行统计，获取初始背景图像灰度值的分布区间；当有运动的目标出现后，利用前期的背景图像，通过减法运算获取背景差图，区分出运动前景和背景，实现图像分割；基于图像分割结果，在原有关键点的匹配过程中增加一种多尺度区域卷积神经网络，用以提升视频前一帧与后一帧中关键点匹配精度；使用最小二乘法拟合出关键点的运动轨迹，实现视频中关键点的动态捕捉。装置包括：处理器和存储器。本发明专利技术实现了对输油管道的关键点运动轨迹动态预测，拟合输油管道的运动状态，实现对输油管道工作运行状态的实时监测。对输油管道工作运行状态的实时监测。对输油管道工作运行状态的实时监测。

【技术实现步骤摘要】
一种视频关键点的动态捕捉方法及装置


[0001]本专利技术涉及移动目标检测
，尤其涉及一种基于背景差分法和最小二乘法的视频关键点的动态捕捉方法及装置。

技术介绍

[0002]随着时代的发展和进步，特别是信息化时代的到来，视频监控基本已经应用在了各个领域，例如：交通信息监控、公共安全监控、重点公共场所监控以及安防等领域。
[0003]目前，监控摄像机应用广泛，但大部分监控摄像机都不能自动完成监视工作，仅起到记录过程的作用。具体的监控任务，仍是由人工而非机器来完成。当视频监控工作由人工来进行时，工作压力大，对工作人员的专注程度及特殊情况事件的处理能力要求高。而相关研究表明，即便是注意力很集中的工作人员，持续不断地紧盯屏幕超过一定时间后，专注程度也会逐渐下降，最终到无法满足监控工作的要求，这对监控视频技术提出了新的挑战。
[0004]智能监控系统能识别不同的目标，例如：输油管道的动态变化对过往船只造成潜在危险，对于输油管道的运动检测变得十分必要。因此，相关学者和研究人员一致认为，监控视频由人工走向智能化是视频监控领域的发展趋势。智能监控系统使用智能机器代替人工，将一些监控工作交给智能系统，减少工作人员，同时提高效率，这是智能监控系统的优点。而智能视频监控系统的主要工作内容是移动目标的检测，以及目标跟踪等。能否很好的检测出监控视频中的移动目标是评价智能监控系统好坏的重要标准之一。同时目标跟踪需要在目标检测的基础上进行。目标检测的好坏一定程度上会影响目标跟踪的结果。此外，复杂背景下的跟踪、多目标的实时跟踪以及跟踪中目标被遮挡问题等，目前仍然存在很多技术难点，需要研究人员继续深入研究。

技术实现思路

[0005]本专利技术提供了一种视频关键点的动态捕捉方法及装置，旨在利用背景差分法和最小二乘法，针对海上输油管道动态运动的实施背景，实现对输油管道的关键点运动轨迹动态预测，拟合输油管道的运动状态，实现对输油管道工作运行状态的实时监测，详见下文描述：
[0006]第一方面，一种视频关键点的动态捕捉方法，所述方法包括以下步骤：
[0007]对预处理后图像中的背景进行建模，对没有运动目标的图像进行预处理后获得图像的灰度值，并按区间进行统计，获取初始背景图像灰度值的分布区间；
[0008]当有运动的目标出现后，利用前期的背景图像，通过减法运算获取背景差图，区分出运动前景和背景，实现图像分割；
[0009]基于图像分割结果，在原有关键点的匹配过程中增加一种多尺度区域卷积神经网络，用以提升视频前一帧与后一帧中关键点匹配精度；
[0010]使用最小二乘法拟合出关键点的运动轨迹，实现视频中关键点的动态捕捉。
[0011]其中，所述预处理依次包括：对原始视频进行分帧处理、对分帧处理后的图像进行
颜色建模；对建模的图像进行滤波处理；最后对滤波处理后的图像进行对比度调整，获取到预处理后的图像。
[0012]进一步地，所述对原始视频进行分帧处理具体为：
[0013]获取视频总体时间，每隔预设时间间隔抽取一个关键帧，代表预设时间间隔内的运动状态；将得到的若干帧图像重新组合为一段视频，并在软件窗口加以展示。
[0014]其中，所述每隔预设时间间隔抽取一个关键帧，代表预设时间间隔内的运动状态；将得到的若干帧图像重新组合为一段视频具体为：
[0015]利用视觉计算库函数对目标视频分帧，每隔特定的时间间隔选取一帧，最终得到多个视频关键帧；
[0016]利用视觉计算库函数对提取出的视频关键帧，采取拼接操作保存为与原视频相同格式的采样视频。
[0017]进一步地，所述对初始背景灰度值的分布区间中的图像进行前景检测，获取背景差图，区分出运动前景和背景，实现图像分割具体为：
[0018]利用特征点的坐标位置距离去判断不同帧的图像中两个特征点是否为同一特征点；
[0019]当距离小于设定阈值时，判定两个特征点为不同帧的图像中同一位置的特征点，在背景特征点中，查找其与当前帧的图像中欧式距离最近的前两个特征点，如果欧氏距离最近的比欧氏距离次近的比值少于预先设定的阈值，则匹配成功；
[0020]将匹配成功的特征点作为背景特征点，剩下的特征点为运动目标的特征点，根据它们与特征点的中心之间的距离进行剔除；
[0021]根据剩余特征点的位置坐标信息，通过特征点坐标位置中横坐标和纵坐标的最大值和最小值，将目标固定在其出现的候选目标区域。
[0022]其中，所述使用最小二乘法拟合出关键点的运动轨迹具体为：
[0023]将每一帧的关键点及拟合方程显示在各帧图像上，在显示三维空间曲线的过程中，基于两条拟合曲线，密集选取两条曲线上的轴坐标对应的关键点满足：
[0024][0025]得到一组三维拟合实验数据(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，...，(x
q
，y
q
，z
q
)，建立三维坐标点显示空间，将实验数据点映射到三维空间下，得到对应的三维空间曲线；
[0026]将每一帧图像得到的三维空间曲线以图像格式保存，同时在窗口以视频形式显示轨迹变化。
[0027]第二方面、一种视频关键点的动态捕捉装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
[0028]第三方面、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。
[0029]本专利技术提供的技术方案的有益效果包括如下方面：
[0030]1、本专利技术有效实现了高分辨率视频的预处理：本专利技术可以高效读取并显示管道轨
迹监测视频；由于初始视频分辨率，帧率，画质较高，占据大量内存空间，为图像预处理及软件显示带来挑战，故首先对原始视频采取“分帧”操作；对所有关键视频片段进行处理，并采取拼接操作，保存为与原视频相同格式的采样视频，利用视觉计算库函数读取保存的采样视频，在窗口中加以展示；
[0031]2、本专利技术有效实现了对视频中关键点进行选取及坐标记录：关键点的选取通过鼠标点击的方式，在软件后台记录鼠标点击处的位置坐标，一方面以标记点的方式标记在视频的第一帧图像处，另一方面在后台记录位置坐标，以便之后的拟合操作；
[0032]3、本专利技术有效实现了视频片段中图像的视觉处理：首先要确定图像所采用的颜色模型，颜色模型就是用一组数值来描述颜色的数学模型，由于对目标检测与跟踪过程中极少用到此类颜色特征，因此在对图像或视频进行处理的过程中，通常为了减少计算量，对图像进行灰度化处理，对图像进行滤波处理，除去视频的每帧图像中可能存在的噪声点，在实验中，采用高斯滤波与中值滤波相结合的方式，提升图像预处理质量；对图像对比度进行调整，将原始图的直方图变换为均匀分布的形式，这样就增本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频关键点的动态捕捉方法，其特征在于，所述方法包括以下步骤：对预处理后图像中的背景进行建模，对没有运动目标的图像进行预处理后获得图像的灰度值，并按区间进行统计，获取初始背景图像灰度值的分布区间；当有运动的目标出现后，利用前期的背景图像，通过减法运算获取背景差图，区分出运动前景和背景，实现图像分割；基于图像分割结果，在原有关键点的匹配过程中增加一种多尺度区域卷积神经网络，用以提升视频前一帧与后一帧中关键点匹配精度；使用最小二乘法拟合出关键点的运动轨迹，实现视频中关键点的动态捕捉。2.根据权利要求1所述的一种视频关键点的动态捕捉方法，其特征在于，所述预处理依次包括：对原始视频进行分帧处理、对分帧处理后的图像进行颜色建模；对建模的图像进行滤波处理；最后对滤波处理后的图像进行对比度调整，获取到预处理后的图像。3.根据权利要求2所述的一种视频关键点的动态捕捉方法，其特征在于，所述对原始视频进行分帧处理具体为：获取视频总体时间，每隔预设时间间隔抽取一个关键帧，代表预设时间间隔内的运动状态；将得到的若干帧图像重新组合为一段视频，并在软件窗口加以展示。4.根据权利要求3所述的一种视频关键点的动态捕捉方法，其特征在于，所述每隔预设时间间隔抽取一个关键帧，代表预设时间间隔内的运动状态；将得到的若干帧图像重新组合为一段视频具体为：利用视觉计算库函数对目标视频分帧，每隔特定的时间间隔选取一帧，最终得到多个视频关键帧；利用视觉计算库函数对提取出的视频关键帧，采取拼接操作保存为与原视频相同格式的采样视频。5.根据权利要求1所述的一种视频关键点的动态捕捉方法，其特征在于，所述对初始背景灰度值的分布区间中的图像进行前景检测，获取背景差图，区分出运动前景和背景，实现图像分割具体为：利用特征点的坐标位置距离去判断不同帧的图像中两个...

【专利技术属性】
技术研发人员：聂为之，赵岳，余杨，苏育挺，
申请(专利权)人：天津大学，
类型：发明
国别省市：