【技术实现步骤摘要】
一种视频运动信息获取方法、系统及电子设备
本申请属于视频任务处理
，特别涉及一种视频运动信息获取方法、系统及电子设备。
技术介绍
在视频任务里，网络模型需要更可靠的运动特征来反映视频中发生的动态变化，帮助模型更准确预测。视频中的运动信息包括摄像头的运动和视频中物体的运动，还存在光照变化等影响，连续帧之间实际环境复杂多变，所以获取视频运动信息往往是处理视频任务中的一个难点。现有的处理方法包括：一、三维卷积卷积神经网络近年被广泛用于计算机视觉中，对于基于视频分析的问题，二维卷积不能捕获时序上的信息，因此采用三维卷积，增加了时间维度。三维卷积输入的数据是[时间长度，特征图长度，特征图宽度，通道数]，卷积核的大小为[时间跨度，卷积核长，卷积核宽，通道数]，卷积的过程相当于在三个维度(时间维度、特征图长度、特征图宽度)上滑动，从而得到新的不同时间尺度的特征图。由于三维卷积比二维卷积多了时间维度，会增加时间跨度倍的参数量，因此存在参数量多、运算量大、容易过拟合等缺点。二、光流法光流法是利用图像序列中...
【技术保护点】
1.一种视频运动信息获取方法，其特征在于，包括以下步骤：/n步骤a：通过当前帧预测周围帧的方法对视频运动信息构建网络模型；/n步骤b：向所构建的网络模型输入单帧图像，网络模型根据损失函数输出该单帧图像对应的周围帧图像；其中，每个单独损失函数是每张图像每个像素均方根误差：/n
【技术特征摘要】
1.一种视频运动信息获取方法，其特征在于，包括以下步骤：
步骤a：通过当前帧预测周围帧的方法对视频运动信息构建网络模型；
步骤b：向所构建的网络模型输入单帧图像，网络模型根据损失函数输出该单帧图像对应的周围帧图像；其中，每个单独损失函数是每张图像每个像素均方根误差：
上述公式中，n表示整张图像的像素数量，表示网络预测出来的像素值，yi表示真实的像素值；
总的损失函数L为：
L＝LT+α1(LT+1+LT-1)+α2(LT+2+LT-2)+α3(LT+3+LT-3)…+αn(LT+n+LT-n)
上述公式中，LT为当前帧的损失函数、α1(LT+1+LT-1)、α2(LT+2+LT-2)、α3(LT+3+LT-3)…αn(LT+n+LT-n)为周围帧的损失函数，αn(n＝1、2、3...)为上下相对应的损失函数前面的系数。
2.根据权利要求1所述的视频运动信息获取方法，其特征在于，在所述步骤a中，所述网络模型的网络结构包括目标识别、图像分类、超分辨、图像分割网络结构。
3.根据权利要求1或2所述的视频运动信息获取方法，其特征在于，在所述步骤b中，所述向网络模型输入单帧图像，网络模型根据损失函数输出该单帧图像对应的周围帧图像具体包括：向所述网络模型输入T时刻视频对应的灰度图，网络模型根据损失函数输出T时刻、T+n(n＝1、2、3...)时刻、T-n(n＝1、2、3...)时刻对应的着色后的彩色图像。
4.根据权利要求3所述的视频运动信息获取方法，其特征在于，在所述步骤b中，所述向网络模型输入单帧图像，网络模型根据损失函数输出该单帧图像对应的周围帧图像还包括：向所述网络模型输入T时刻视频对应的图像，网络模型根据损失函数输出T时刻图像的物体分类结果、T+n(n＝1、2、3...)时刻、T-n(n＝1、2、3...)时刻对应的图像。
5.根据权利要求4所述的视频运动信息获取方法，其特征在于，所述T时刻图像的损失函数是多分类的交叉熵损失函数，定义如下：
上述公式中，M代表类别的数量，yc的值为0或1，如果该类别和样本的类别相同则yc的值为1，pc表示预测样本属于类别c的概率。
6.一种视频运动信息获取系统，其特征在于，包括：
模型构建模块：用于通过当前帧预测周围帧的方法对视频运动信息构建网络模型；
图像处理模块用于向所构建的网络模型输入单帧图像，网络模型根据损失函数输出该单帧图像对应的周围帧图像；其中，每个单独损失函数是每张图像每个像素均方根误差：
上述公式中，n表示整张图像的像素数量，表示网络预测出来的像素值，yi表示真实的像素值；
总的损失函数L为：
L＝LT+α1(...
【专利技术属性】
技术研发人员：邬晶晶，张涌，文森特·周，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。