一种网络数据处理与传输方法及系统技术方案

本发明专利技术提供了一种网络数据处理与传输方法及系统；通过获取判断网络传输的数据为直播视频时，通过在执行复杂的视频编码之前我们通过基于镜头切换帧的判断以及视频光流的获取，并基于至第一卷积神经网络模型生成镜头切换帧的特征矩阵，若为非镜头切换帧，则获取当前视频帧的光流场；按照第一预定尺寸模板对当前视频帧进行划分为多个统一大小的第一子块，根据每个第一子块的运动状态信息生成当前视频帧的运动状态图；将当前视频帧的运动状态图输入至第二卷积神经网络模型，以获取第二矩阵；基于第二卷积神经网络模型来对光流场的运动状态特征进行输出特征矩阵，从而预先判断视频的数据等级情况，选择好传输通道数量而降低编码传输的延时。码传输的延时。码传输的延时。

【技术实现步骤摘要】
一种网络数据处理与传输方法及系统


[0001]本专利技术涉及电数字数据处理
，具体而言，涉及一种网络数据处理与传输方法及系统。

技术介绍

[0002]随着移动互联网技术的发展，尤其是视频直播技术的发展，对于网络传输的要求越来越高，而一般对于直播的视频一般都是采用H.264或者H.265执行的视频编码，而对于视频序列的数量量级的大小，一般都是需要编码后才能估算，而视频编码尤其是软编码的算法复杂度较高（尤其是运动估计以及运动补偿过程），如果编码后计算数据量再进行网络资源的选择，就会大大增加网络延时，这严重影响了用户的使用体验，亟需改进。

技术实现思路

[0003]为了解决上述
技术介绍
中存在的技术问题，本专利技术提供了一种网络数据处理与传输方法及系统。
[0004]本专利技术的第一方面提供了一种网络数据处理与传输方法, 应用于视频直播，包括如下步骤：获取待传输的网络数据，并判断所述网络数据类型；其中，所述网络数据类型包括直播视频和/或音频和/或文本；若所述网络数据包括直播视频，在执行视频编码之前，按照时间戳截取视频序列，所述视频序列首帧为镜头切换帧；对所述视频序列进行分帧处理，并判断当前视频帧是否为镜头切换帧；若为镜头切换帧，则将当前视频帧输入至第一卷积神经网络模型，以获取第一矩阵；若为非镜头切换帧，则获取当前视频帧的光流场；按照第一预定尺寸模板对当前视频帧进行划分为多个统一大小的第一子块，基于每个第一子块内的光流信息确定第一子块的运动状态信息，并根据每个第一子块的运动状态信息生成当前视频帧的运动状态图；将当前视频帧的运动状态图输入至第二卷积神经网络模型，以获取第二矩阵；分别计算第一矩阵、第二矩阵的模值，并基于所述模值以及预先设定的镜头切换帧与非镜头切换帧的权重，确定当前视频序列的数据等级，并根据网络传输通道数量确定用于当前视频序列的通道数，以进行数据传输。
[0005]优选的，所述基于每个第一子块内的光流信息确定第一子块的运动状态信息，包括：按照第二预定尺寸模块将当前视频帧划分为不同大小的第二子块；所述第二子块尺寸小于第一子块；根据所述第二子块内所有像素的光流确定第二子块的光流信息，并根据第二子块占据第一子块大小的比例，确定第二子块的权重系数；根据第二子块的权重系数以及第二子块对应的光流信息，加权获取第一子块的运动状态信息。
[0006]优选的，所述第一卷积神经网络的隐含层在前向传播中对输入数据执行基于二维
卷积核的卷积处理、激活、沿所述镜头切换帧像素的均值池化处理，以由所述第一卷积神经网络的输出层输出所述第一矩阵。
[0007]优选的，所述第二卷积神经网络的隐含层在前向传播中对输入数据进行基于三维卷积核的卷积处理、激活、沿所述第一子块的运动状态信息的均值池化处理，以由所述第二卷积神经网络的输出层输出所述第二矩阵。
[0008]优选的，所述根据每个第一子块的运动状态信息生成当前视频帧的运动状态图，包括：根据第一子块的运动状态信息以及每个第一子块所在的视频帧的坐标关系，建立视频帧的运动状态图。
[0009]本专利技术的第二方面，提供一种网络数据处理与传输系统,应用于视频直播，包括：获取模块，获取待传输的网络数据，并判断所述网络数据类型；其中，所述网络数据类型包括直播视频和/或音频和/或文本；处理模块，若所述网络数据包括直播视频，在执行视频编码之前，按照时间戳截取视频序列，所述视频序列首帧为镜头切换帧；对所述视频序列进行分帧处理，并判断当前视频帧是否为镜头切换帧；若为镜头切换帧，则将当前视频帧输入至第一卷积神经网络模型，以获取第一矩阵；若为非镜头切换帧，则获取当前视频帧的光流场；按照第一预定尺寸模板对当前视频帧进行划分为多个统一大小的第一子块，基于每个第一子块内的光流信息确定第一子块的运动状态信息，并根据每个第一子块的运动状态信息生成当前视频帧的运动状态图；将当前视频帧的运动状态图输入至第二卷积神经网络模型，以获取第二矩阵；计算与传输模块，分别计算第一矩阵、第二矩阵的模值，并基于所述模值以及预先设定的镜头切换帧与非镜头切换帧的权重，确定当前视频序列的数据等级，并根据网络传输通道数量确定用于当前视频序列的通道数，以进行数据传输。
[0010]优选的，所述基于每个第一子块内的光流信息确定第一子块的运动状态信息，包括：按照第二预定尺寸模块将当前视频帧划分为不同大小的第二子块；所述第二子块尺寸小于第一子块；根据所述第二子块内所有像素的光流确定第二子块的光流信息，并根据第二子块占据第一子块大小的比例，确定第二子块的权重系数；根据第二子块的权重系数以及第二子块对应的光流信息，加权获取第一子块的运动状态信息。
[0011]优选的，所述第一卷积神经网络的隐含层在前向传播中对输入数据执行基于二维卷积核的卷积处理、激活、沿所述镜头切换帧像素的均值池化处理，以由所述第一卷积神经网络的输出层输出所述第一矩阵；所述第二卷积神经网络的隐含层在前向传播中对输入数据进行基于三维卷积核的卷积处理、激活、沿所述第一子块的运动状态信息的均值池化处理，以由所述第二卷积神经网络的输出层输出所述第二矩阵。
[0012]优选的，所述根据每个第一子块的运动状态信息生成当前视频帧的运动状态图，包括：根据第一子块的运动状态信息以及每个第一子块所在的视频帧的坐标关系，建立视频帧的运动状态图。
[0013]本专利技术的方案中，通过获取判断网络传输的数据为直播视频时，通过在执行复杂
的视频编码之前我们通过基于镜头切换帧的判断以及视频光流的获取，并基于第一卷积神经网络模型生成镜头切换帧的特征矩阵，若为非镜头切换帧，则获取当前视频帧的光流场；按照第一预定尺寸模板对当前视频帧进行划分为多个统一大小的第一子块，根据每个第一子块的运动状态信息生成当前视频帧的运动状态图；将当前视频帧的运动状态图输入至第二卷积神经网络模型，以获取第二矩阵；基于第二卷积神经网络模型来对光流场的运动状态特征进行输出特征矩阵，从而预先判断视频的数据等级情况，实现选择好传输通道数量从而降低编码传输的延时性，提高了视频边编码边传输的实时性。
附图说明
[0014]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0015]图1是本专利技术实施例公开的一种网络数据处理与传输方法的流程示意图；图2是本专利技术实施例公开的一种网络数据处理与传输系统的结构示意图。
具体实施方式
[0016]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
[0017]此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络数据处理与传输方法,其特征在于，应用于视频直播，包括如下步骤：获取待传输的网络数据，并判断所述网络数据类型；其中，所述网络数据类型包括直播视频和/或音频和/或文本；若所述网络数据包括直播视频，在执行视频编码之前，按照时间戳截取视频序列，所述视频序列首帧为镜头切换帧；对所述视频序列进行分帧处理，并判断当前视频帧是否为镜头切换帧；若为镜头切换帧，则将当前视频帧输入至第一卷积神经网络模型，以获取第一矩阵；若为非镜头切换帧，则获取当前视频帧的光流场；按照第一预定尺寸模板对当前视频帧进行划分为多个统一大小的第一子块，基于每个第一子块内的光流信息确定第一子块的运动状态信息，并根据每个第一子块的运动状态信息生成当前视频帧的运动状态图；将当前视频帧的运动状态图输入至第二卷积神经网络模型，以获取第二矩阵；分别计算第一矩阵、第二矩阵的模值，并基于所述模值以及预先设定的镜头切换帧与非镜头切换帧的权重，确定当前视频序列的数据等级，并根据网络传输通道数量确定用于当前视频序列的通道数，以进行数据传输。2.根据权利要求1所述的一种网络数据处理与传输方法,其特征在于：所述基于每个第一子块内的光流信息确定第一子块的运动状态信息，包括：按照第二预定尺寸模块将当前视频帧划分为不同大小的第二子块；所述第二子块尺寸小于第一子块；根据所述第二子块内所有像素的光流确定第二子块的光流信息，并根据第二子块占据第一子块大小的比例，确定第二子块的权重系数；根据第二子块的权重系数以及第二子块对应的光流信息，加权获取第一子块的运动状态信息。3.根据权利要求1所述的一种网络数据处理与传输方法,其特征在于：所述第一卷积神经网络的隐含层在前向传播中对输入数据执行基于二维卷积核的卷积处理、激活、沿所述镜头切换帧像素的均值池化处理，以由所述第一卷积神经网络的输出层输出所述第一矩阵。4.根据权利要求2所述的一种网络数据处理与传输方法,其特征在于：所述第二卷积神经网络的隐含层在前向传播中对输入数据进行基于三维卷积核的卷积处理、激活、沿所述第一子块的运动状态信息的均值池化处理，以由所述第二卷积神经网络的输出层输出所述第二矩阵。5.根据权利要求2所述的一种网络数据处理与传输方法,其特征在于：所述根据每个第一子块的运动状态信息生成当前视频帧的运动状态图，包括：根据第一子块的运动状态信息以及每个第一子块所在的视频帧的坐标关系，建立视频帧的运动状态...

【专利技术属性】
技术研发人员：张鹏涛，
申请(专利权)人：深圳市温暖生活科技有限公司，
类型：发明
国别省市：