一种基于非线性插值算法的视频标注方法技术

本发明专利技术公开了一种基于非线性插值算法的视频标注方法，所述方法通过人工对开始帧、中间帧和结束帧的位置和形状进行调整，通过系统标注工具基于非线性插值算法自动完成其余帧的插值计算。本发明专利技术所提供的对于中间帧的非线性插值算法，相比较简单的线性插值，使目标跟踪的轨迹更为平滑的过渡，从而提高自动插值标注的准确性；通过提供的视频自动插值标注算法极大的缩短了标注者进行视频标注的时间，提高了整个视频数据的标注效率；在提供视频自动插值标注的同时，极大地缩减了视频标注的时间，在提高工作效率的同时，又充分考虑用户的主观能动性，进一步提高视频标注的准确率。进一步提高视频标注的准确率。进一步提高视频标注的准确率。

【技术实现步骤摘要】
一种基于非线性插值算法的视频标注方法


[0001]本专利技术涉及视频编辑
，具体提供一种基于非线性插值算法的视频标注方法。

技术介绍

[0002]随着科技的进步，人工智能得到飞速的发展。究其本质，人工智能是“人的智慧”与“机器计算能力”的结合。当下的人工智能依然以数据为导向进行驱动，因此数据标注的多寡与机器智能程度的高低成正比。
[0003]数据标注即通过分类、画框、标注、注释等，对图片、语音、文本、视频等数据对象进行处理，标记对象的特征，形成机器可识别信息的过程，或者以作为机器学习基础素材的过程。因此，数据是机器学习的基础，机器学习建立在数据建模基础上，丰富的标签是机器学习成功建模的前提。
[0004]监督学习是目前应用最广泛的机器学习算法，该方法强依赖标注数据，它通过学习大量标注的训练样本来构建预测模型。深度学习也需要大量数据的“投喂”，以深度学习为代表的机器学习框架都需要在大型的监督数据集上进行训练，深度学习只有在拥有充足标注数据的场景下才能发挥它的威力，但在很多实际的应用中却没有足够的标注数据。
[0005]AI技术在全场景的落地以及大数据时代的到来产生了海量、指数级别的数据，数据获取也相对变得容易，然而，想要获得大量的已标注数据却并不容易，往往需要付出很大的人力、物力、财力成本。

技术实现思路

[0006]在实际操作中，主要发现已有视频标注至少存在以下缺陷：已存在视频的线性插值算法，未考虑目标移动轨迹的平滑特性；在对视频进行预处理时，不支持用户来决定抽帧方式；不能同时兼顾自动标注及人工标注的优点；不支持多用户进行标注和审核，从而提升标注效率及准确度。
[0007]本专利技术的目的是提供一种基于非线性插值算法的视频标注方法，旨在通过多人人工标注、自动非线性插值标注和多人审核来提升视频标注的准确率和效率。
[0008]鉴于以上问题和技术，本专利技术提供了如下技术方案：
[0009]一种基于非线性插值算法的视频标注方法，所述方法的实现包括内容如下：
[0010]人工对开始帧、中间帧和结束帧的位置和形状进行调整，
[0011]系统标注工具基于非线性插值算法自动完成其余帧的插值计算。
[0012]更进一步的，所述非线性插值算法为点插值算法或多边形插值算法。
[0013]更进一步的，所述点插值算法的计算过程如下：
[0014]如果在开始帧和结束帧中两个相邻位置的都存在一个点，则在这些位置之间使用线性插值，否则所有中间帧点的位置都与开始帧点位置保持一致。
[0015]更进一步的，所述多边形插值算法的计算过程如下：
[0016](1)将多边形转化为多线段进行处理，分别将各顶点由(x,y)坐标系转变为l坐标系，具体步骤如下所示：
[0017]i.分别获取开始帧、中间帧和结束帧的偶数顶点集合；
[0018]ii.针对上述顶点集合进行坐标系转换；
[0019](2)基于开始帧、中间帧和结束帧三个顶点对其进行非线性插值计算。
[0020]更进一步的，所述顶点集合坐标系转换过程，针对每一个顶点，其l坐标系偏移向量计算公式为：
[0021]l_i^'＝l_i/L，
[0022]l_i＝l_(i
‑
1)+√(2&(x_(i+1)
‑
x_i)^2+(y_(i+1)
‑
y_i)^2)，
[0023][0024]其中第一个顶点的具体计算过程为：
[0025]l_0＝√(〖dx〗^2+〖dy〗^2)
[0026]l_0^'＝l_0/L
[0027]其中，多边形的计算方式和多线段的计算方式保持一致。
[0028]更进一步的，所述非线性插值计算基于开始帧、中间帧和结束帧三个顶点，具体实现过程如下：
[0029](1)开始帧的顶点和中间帧的顶点进行配对，分为两部分进行计算：
[0030]a、开始帧和中间帧的各顶点进行配对；
[0031]对于开始帧中的每个顶点，在中间帧中找到距离其最近的顶点，在匹配过程中，使用l坐标系度量中的绝对距离进行计算；
[0032]b、中间帧和开始帧的各顶点进行配对；
[0033]对中间帧中的每个未映射点，使用与开始帧和中间帧匹配相同的方法找到开始帧中最近的点(在开始帧中找到距离其最近的顶点，在匹配过程中，使用l坐标系度量中的绝对距离进行计算)；
[0034](2)中间帧和结束帧得顶点进行互相配对。
[0035]更进一步的，所述方法的实现包括内容如下：
[0036]根据开始帧、中间帧和结束帧互相匹配的情况，得出开始帧、中间帧和结束帧的顶点对，然后根据匹配的顶点对求出其所对应的二次曲线公式：ax^2+bx+c＝y；
[0037]对其余帧的顶点基于匹配的顶点对进行非线性插值计算，具体计算公式为：
[0038]x_i＝x_s+(x_e
‑
x_s)*offset，y_i＝ax_i^2+bx_i+c
[0039]其中offset具体计算方式为：
[0040]offset＝(targetFrame
‑
startFrame)/(endFrame
‑
startFrame)
[0041]最后得到一个长度等于匹配顶点对数的顶点数组。
[0042]更进一步的，所述顶点数组在靠近关键帧的插值曲线中有一些顶点位置较为紧密的区域，减少这些区域的顶点数目，具体实现过程如下：
[0043]a)找出所有的段，段是匹配顶点集合的一部分，当存在其中一个点与一个或多个点匹配的情况时，我们定义匹配顶点集合的一部分为段，包括基础段和插值段。
[0044]b)分别计算每个片段的阈值threshold，公式为：
[0045]threshold＝基础段长度/(2*基础段顶点数目)
[0046]c)分别遍历插值片段的每个顶点(first,start)，若下一个点和前一个点之间的长度小于threshold，则忽略下一个点；
[0047]如果已排除所有中间点，并且插值段由两个点(第一个和最后一个)组成，并且这些点之间的距离小于阈值，则改为创建一个两点的平均点作为输出结果；
[0048]d)输出步骤三的输出顶点的集合，从而得到最后的插值坐标点集合。
[0049]更进一步的，完成了视频的中间帧的自动插值标注过程，相比较简单的线性插值算法，非线性插值可使目标的踪迹更为光滑的进行过渡，但是由于算法的机械性，用户可手动对于插值错误的中间帧标注效果进行人工修改，从而进一步提高整个标注过程的准确率。
[0050]更进一步的，在标注模块完成对视频语料的标注完后，已标注视频自动进入所归属的审核者中，由审核人员对其进行审核，从而再一次提高视频标注的准确率。
[0051]完成视频审核后，视频进入创建者账户中，由任务创建者进行验收并下载本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于非线性插值算法的视频标注方法，其特征在于，所述方法的实现包括内容如下：通过人工对开始帧、中间帧和结束帧的位置和形状进行调整，通过系统标注工具基于非线性插值算法自动完成其余帧的插值计算。2.根据权利要求1所述的一种基于非线性插值算法的视频标注方法，其特征在于，所述非线性插值算法为点插值算法或多边形插值算法。3.根据权利要求2所述的一种基于非线性插值算法的视频标注方法，其特征在于，所述点插值算法的计算过程如下：如果在开始帧和结束帧中两个相邻位置的都存在一个点，则在这些位置之间使用线性插值，否则所有中间帧点的位置都与开始帧点位置保持一致。4.根据权利要求2所述的一种基于非线性插值算法的视频标注方法，其特征在于，所述多边形插值算法的计算过程如下：(1)将多边形转化为多线段进行处理，分别将各顶点由(x,y)坐标系转变为l坐标系，具体步骤如下所示：i.分别获取开始帧、中间帧和结束帧的偶数顶点集合；ii.针对上述顶点集合进行坐标系转换；(2)基于开始帧、中间帧和结束帧三个顶点对其进行非线性插值计算。5.根据权利要求4所述的一种基于非线性插值算法的视频标注方法，其特征在于，所述顶点集合坐标系转换过程，针对每一个顶点，其l坐标系偏移向量计算公式为：l
′
i
＝l
i
/L，/L，其中第一个顶点的具体计算过程为：l
′0＝l0/L其中，多边形的计算方式和多线段的计算方式保持一致。6.根据权利要求4所述的一种基于非线性插值算法的视频标注方法，其特征在于，所述非线性插值计算基于开始帧、中间帧和结束帧三个顶点，具体实现过程如下：(1)开始帧的顶点和中间帧的顶点进行配对，分为两部分进行计算：a、开始帧和中间帧的各顶点进行配对；对于开始帧中的每个顶点，在中间帧中找到距离其最近的顶点，在匹配过程中，使用l坐标系度量中的绝对距离进行计算；b、中间帧和开始帧的各顶点进行配对；对中间帧中的每个未映射点，使用与开始帧和中间帧匹配相同的方法找到开始帧中最近的点；(2)中间帧和结束帧得顶点进行互相配对。7.根据权利要求6所述的一种基...

【专利技术属性】
技术研发人员：魏静如，张烈帅，李明明，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：