层次化时域切分的视频关注对象分割方法和装置制造方法及图纸

本发明专利技术提供一种层次化时域切分的视频关注对象分割方法和装置，通过根据待处理的视频，得到帧图片序列；对帧图片序列迭代N次奇偶切分处理，获得2N个子帧序列，其中，奇偶切分处理为在每个待切分的父序列中将奇数次序的帧图片确定为奇数帧序列，将偶数次序的帧图片确定为偶数帧序列，2N个子帧序列为迭代第N次奇偶切分处理中得到的奇数帧序列和偶数帧序列，N为大于或等于1的整数；根据2N个子帧序列，获得2N‑1个共分割序列对，每个共分割序列对包含2个子帧序列；根据预设的共分割模型和共分割序列对，得到每个帧图片中针对关注对象的分割图，实现自动对视频的层次化切分处理，以及对关注对象快速分割。

【技术实现步骤摘要】
层次化时域切分的视频关注对象分割方法和装置
本专利技术涉及图像处理技术，尤其涉及一种层次化时域切分的视频关注对象分割方法和装置。
技术介绍
在视频内容理解相关的技术中，为了模拟人的视觉关注特点，实现机器对视频中的关注对象进行对象追踪，场景重建和视频检索等操作，需要对视频中的关注对象进行自动检测和分割。由于视频和图像在一定程度上是相似的，因此现有技术中对视频内容的解析通常是转化成单帧图像内容的理解再加上帧间时空连续性的约束。现有的关注对象分割方法，通常是把待处理图像分割成不同级别的超像素块或者图像块，利用已经训练好的模型对这些超像素块或者图像块提取卷积神经网络特征，之后利用得到的目标特征获得待处理图像的分割图。然而，现有的关注对象分割方法中需要人工参与，根据每次研究目标和得到的目标特征设计分割参数，以把待处理图像分割成不同级别的超像素块或者图像块，现有的关注对象分割方法还无法实现完全自动化的分割处理。
技术实现思路
本专利技术提供一种层次化时域切分的视频关注对象分割方法和装置，通过对视频分解出的帧图片序列迭代奇偶切分处理，对切分得到时域不连续的子帧序列进行共分割，得到每个帧图片中针对所述关注对象的分割图，移除了人工参与分割的过程，提高了分割图的获取效率和自动化程度。根据本专利技术的第一方面，提供一种层次化时域切分的视频关注对象分割方法，包括：根据待处理的视频，得到帧图片序列，所述帧图片序列为由所述视频分解得到的时域连续的帧图片；对所述帧图片序列迭代N次奇偶切分处理，获得2N个子帧序列，其中，所述奇偶切分处理为在每个待切分的父序列中将奇数次序的帧图片确定为奇数帧序列，将偶数次序的帧图片确定为偶数帧序列，所述2N个子帧序列为迭代第N次奇偶切分处理中得到的奇数帧序列和偶数帧序列，N为大于或等于1的整数；根据所述2N个子帧序列，获得2N-1个共分割序列对，每个所述共分割序列对包含2个所述子帧序列；根据预设的共分割模型和所述共分割序列对，得到每个帧图片中针对所述关注对象的分割图。可选地，所述根据预设的共分割模型和所述共分割序列对，得到每个帧图片中针对所述关注对象的分割图，包括：将每个所述共分割序列对中一个子帧序列的每个帧图片，与另一个子帧序列的每个帧图片分别配对，得到M1*M2个不同的帧图片对，其中，所述M1为所述一个子帧序列中帧图片的数量，所述M2为所述另一个子帧序列中帧图片的数量；以预设的共分割模型对每个所述帧图片对中的2个帧图片进行共分割，得到每个帧图片对中每个帧图片针对所述关注对象的共分割图，其中所述共分割图中仅剩余所述关注对象的图像；根据每个帧图片的所有所述共分割图，得到每个帧图片中针对所述关注对象的分割图，其中，所述分割图的任一个像素点位置的值，为所述帧图片的所有共分割图在所述任一个像素点位置的平均值。可选地，在所述以预设的共分割模型对每个所述帧图片对中的2个帧图片进行共分割之前，还包括：将每个帧图片的尺寸都缩放至预设图片尺寸；将每个帧图片中所有像素点位置的值都减去预设图像均值。可选地，所述以预设的共分割模型对每个所述帧图片对中的2个帧图片进行共分割，得到每个帧图片对中每个帧图片针对所述关注对象的共分割图，包括：将每个帧图片对中的2个帧图片分别确定为第一输入帧图片和第二输入帧图片；对所述第一输入帧图片和第二输入帧图片分别依次进行第一卷积处理、第二卷积处理、第一池化处理、第三卷积处理、第四卷积处理、第二池化处理，第五卷积处理、第六卷积处理、第七卷积处理、第三池化处理、第八卷积处理、第九卷积处理、第十卷积处理，得到与第一输入帧图片对应的第一中间处理结果和与第二输入帧图片对应的第二中间处理结果；将所述第一中间处理结果和所述第二中间处理结果进行通道拼接，得到拼接结果；对所述拼接结果进行降维卷积处理、第一融合卷积处理、第二融合卷积处理、第三融合卷积处理，得到共享处理结果；将所述第一中间处理结果与所述共享处理结果进行通道拼接，得到第三中间处理结果，并将所述第二中间处理结果与所述共享处理结果进行通道拼接，得到第四中间处理结果；对所述第三中间处理结果和所述第四中间处理结果分别依次进行第十一卷积处理、第十二卷积处理、第十三卷积处理、第十四卷积处理、反卷积处理，得到尺寸与所述第一输入帧图一致的第一反卷积结果，以及尺寸与所述第二输入帧图一致的第二反卷积结果；根据所述第一反卷积结果得到与所述第一输入帧图对应的第一输出帧图片，并根据所述第二反卷积结果得到与所述第二输入帧图片对应的第二输出帧图片，其中，所述第一输出帧图片和第二输出帧图片分别为所述每个帧图片对中的2个帧图片针对所述关注对象的共分割图。可选地，所述根据所述第一反卷积结果得到与所述第一输入帧图对应的第一输出帧图片，并根据所述第二反卷积结果得到与所述第二输入帧图片对应的第二输出帧图片，包括：对所述第一反卷积结果中所有像素点位置的值进行归一化处理，获得与所述第一输入帧图对应的第一输出帧图片，所述第一输出帧图片中所有像素点位置的值都在预设像素范围内；对所述第二反卷积结果中所有像素点位置的值进行所述归一化处理，获得与所述第二输入帧图对应的第二输出帧图片，所述第二输出帧图片中所有像素点位置的值都在预设像素范围内。可选地，所述对所述拼接结果进行降维卷积处理、第一融合卷积处理、第二融合卷积处理、第三融合卷积处理，得到共享处理结果，包括：对所述拼接结果进行降维卷积处理、扩张属性为2的第一融合卷积处理、扩张属性为2的第二融合卷积处理、扩张属性为2的第三融合卷积处理，得到共享处理结果。可选地，所述根据所述2N个子帧序列，获得2N-1个共分割序列对，包括：在所述2N个子帧序列中，获得2N-1个共分割序列对，其中，每个所述共分割序列对包含2个子帧序列，且所述2个子帧序列是在迭代第N次奇偶切分处理中对应同一父序列的奇数帧序列和偶数帧序列。根据本专利技术的第二方面，提供一种层次化时域切分的视频关注对象分割装置，包括：帧图片分解模块，用于根据待处理的视频，得到帧图片序列，所述帧图片序列为由所述视频分解得到的时域连续的帧图片；迭代处理模块，用于对所述帧图片序列迭代N次奇偶切分处理，获得2N个子帧序列，其中，所述奇偶切分处理为在每个待切分的父序列中将奇数次序的帧图片确定为奇数帧序列，将偶数次序的帧图片确定为偶数帧序列，所述2N个子帧序列为迭代第N次奇偶切分处理中得到的奇数帧序列和偶数帧序列，N为大于或等于1的整数；共分割序列对获得模块，用于根据所述2N个子帧序列，获得2N-1个共分割序列对，每个所述共分割序列对包含2个所述子帧序列；分割图获得模块，用于根据预设的共分割模型和所述共分割序列对，得到每个帧图片中针对所述关注对象的分割图。可选地，所述分割图获得模块，具体包括：帧图片对获得模块，用于将每个所述共分割序列对中一个子帧序列的每个帧图片，与另一个子帧序列的每个帧图片分别配对，得到M1*M2个不同的帧图片对，其中，所述M1为所述一个子帧序列中帧图片的数量，所述M2为所述另一个子帧序列中帧图片的数量；共分割模块，用于以预设的共分割模型对每个所述帧图片对中的2个帧图片进行共分割，得到每个帧图片对中每个帧图片针对所述关注对象的共分割图，其中所述共分割图中仅剩余所述关注对象的图像；平均处理模块，用于根据每个帧图片的本文档来自技高网...

【技术保护点】
1.一种层次化时域切分的视频关注对象分割方法，其特征在于，包括：根据待处理的视频，得到帧图片序列，所述帧图片序列为由所述视频分解得到的时域连续的帧图片；对所述帧图片序列迭代N次奇偶切分处理，获得2N个子帧序列，其中，所述奇偶切分处理为在每个待切分的父序列中将奇数次序的帧图片确定为奇数帧序列，将偶数次序的帧图片确定为偶数帧序列，所述2N个子帧序列为迭代第N次奇偶切分处理中得到的奇数帧序列和偶数帧序列，N为大于或等于1的整数；根据所述2N个子帧序列，获得2N‑1个共分割序列对，每个所述共分割序列对包含2个所述子帧序列；根据预设的共分割模型和所述共分割序列对，得到每个帧图片中针对所述关注对象的分割图。

【技术特征摘要】
1.一种层次化时域切分的视频关注对象分割方法，其特征在于，包括：根据待处理的视频，得到帧图片序列，所述帧图片序列为由所述视频分解得到的时域连续的帧图片；对所述帧图片序列迭代N次奇偶切分处理，获得2N个子帧序列，其中，所述奇偶切分处理为在每个待切分的父序列中将奇数次序的帧图片确定为奇数帧序列，将偶数次序的帧图片确定为偶数帧序列，所述2N个子帧序列为迭代第N次奇偶切分处理中得到的奇数帧序列和偶数帧序列，N为大于或等于1的整数；根据所述2N个子帧序列，获得2N-1个共分割序列对，每个所述共分割序列对包含2个所述子帧序列；根据预设的共分割模型和所述共分割序列对，得到每个帧图片中针对所述关注对象的分割图。2.根据权利要求1所述的方法，其特征在于，所述根据预设的共分割模型和所述共分割序列对，得到每个帧图片中针对所述关注对象的分割图，包括：将每个所述共分割序列对中一个子帧序列的每个帧图片，与另一个子帧序列的每个帧图片分别配对，得到M1*M2个不同的帧图片对，其中，所述M1为所述一个子帧序列中帧图片的数量，所述M2为所述另一个子帧序列中帧图片的数量；以预设的共分割模型对每个所述帧图片对中的2个帧图片进行共分割，得到每个帧图片对中每个帧图片针对所述关注对象的共分割图，其中所述共分割图中仅剩余所述关注对象的图像；根据每个帧图片的所有所述共分割图，得到每个帧图片中针对所述关注对象的分割图，其中，所述分割图的任一个像素点位置的值，为所述帧图片的所有共分割图在所述任一个像素点位置的平均值。3.根据权利要求2所述的方法，其特征在于，在所述以预设的共分割模型对每个所述帧图片对中的2个帧图片进行共分割之前，还包括：将每个帧图片的尺寸都缩放至预设图片尺寸；将每个帧图片中所有像素点位置的值都减去预设图像均值。4.根据权利要求2所述的方法，其特征在于，所述以预设的共分割模型对每个所述帧图片对中的2个帧图片进行共分割，得到每个帧图片对中每个帧图片针对所述关注对象的共分割图，包括：将每个帧图片对中的2个帧图片分别确定为第一输入帧图片和第二输入帧图片；对所述第一输入帧图片和第二输入帧图片分别依次进行第一卷积处理、第二卷积处理、第一池化处理、第三卷积处理、第四卷积处理、第二池化处理，第五卷积处理、第六卷积处理、第七卷积处理、第三池化处理、第八卷积处理、第九卷积处理、第十卷积处理，得到与第一输入帧图片对应的第一中间处理结果和与第二输入帧图片对应的第二中间处理结果；将所述第一中间处理结果和所述第二中间处理结果进行通道拼接，得到拼接结果；对所述拼接结果进行降维卷积处理、第一融合卷积处理、第二融合卷积处理、第三融合卷积处理，得到共享处理结果；将所述第一中间处理结果与所述共享处理结果进行通道拼接，得到第三中间处理结果，并将所述第二中间处理结果与所述共享处理结果进行通道拼接，得到第四中间处理结果；对所述第三中间处理结果和所述第四中间处理结果分别依次进行第十一卷积处理、第十二卷积处理、第十三卷积处理、第十四卷积处理、反卷积处理，得到尺寸与所述第一输入帧图一致的第一反卷积结果，以及尺寸与所述第二输入帧图一致的第二反卷积结果；根据所述第一反卷积结果得到与所述第一输入帧图对应的第一输出帧图片，并根据所述第二反卷积结果得到与所述第二输入帧图片对应的第二输出帧图片，其中，所述第一输出帧图片和...

【专利技术属性】
技术研发人员：李甲，苑鹏程，谷大鑫，赵沁平，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11