图像识别方法、视频播放方法、相关设备及介质技术

本发明专利技术实施例基于人工智能技术公开了一种图像识别方法、视频播放方法、相关设备及介质，其中图像识别方法包括：从图像帧序列中获取已知帧类型的第一帧图像，以及未知帧类型的第二帧图像和第三帧图像；根据所述第一帧图像和所述第三帧图像，预测得到所述第二帧图像的预测像素序列；根据所述第二帧图像的第二像素序列和所述预测像素序列计算像素误差；根据所述像素误差识别所述第二帧图像或者第三帧图像的帧类型。本发明专利技术实施例可以有效且准确地识别帧图像的帧类型，提升帧类型识别的准确性和稳定性。

Image recognition method, video playing method, relevant equipment and media

【技术实现步骤摘要】
图像识别方法、视频播放方法、相关设备及介质
本申请涉及互联网
，具体涉及图像处理
，尤其涉及一种图像识别方法、一种视频播放方法、一种图像识别装置、一种视频播放装置、一种服务器、一种视频处理设备及一种计算机存储介质。
技术介绍
视频是指按照一定帧率依次播放相应图像帧序列中的各帧图像，所形成的连续画面；其可以是影视视频、屏幕录像视频、短视频，等等。在视频制作过程中，通常会由于各种因素而导致视频的图像帧序列中产生重叠或重复的帧图像。例如针对影视视频而言，不同的视频标准会导致影视视频可能存在不同的帧率；如中国广播电视使用60帧，美国电视使用50帧，电影使用24帧等。为了统一存储，通常就需要采用变帧率算法将这些影视视频的帧率转成固定的数值；对于帧率较低的影视视频，常见的变帧率算法的原理如下：复制前一帧图像得到重复的帧图像或者叠加前后两帧图像得到重叠的帧图像，从而提升帧率；由此可见，使用变帧率算法得到的影视视频的图像帧序列中通常会包含较多的重叠或重复的帧图像。又如针对屏幕录像视频而言，若在屏幕录像的过程中，屏幕录制速度大于图像显示速度，则会导致录制得到的屏幕录像视频的图像帧序列中包含较多的重叠的帧图像。然而，当视频的图像帧序列包含重叠或重复的帧图像时，通常会影响后续对图像帧序列的转码播放效果。基于此，通常需要识别图像帧序列中的各帧图像的帧类型，并根据各帧图像的帧类型过滤掉图像帧序列中的重叠或重复的帧图像，以便于后续更好地对图像帧序列进行转码播放。目前，如何更好地识别各帧图像的帧类型成为了研究热点。r>
技术实现思路
本专利技术实施例提供了一种图像识别方法、视频播放方法、相关设备及介质，可以有效且准确地识别帧图像的帧类型，提升帧类型识别的准确性和稳定性。一方面，本专利技术实施例提供了一种图像识别方法，该图像识别方法包括：从图像帧序列中获取已知帧类型的第一帧图像，以及未知帧类型的第二帧图像和第三帧图像；所述第二帧图像在所述图像帧序列中的排列位置位于所述第一帧图像和所述第三帧图像之间；根据所述第一帧图像和所述第三帧图像，预测得到所述第二帧图像的预测像素序列；所述预测像素序列包括所述第二帧图像中各像素的预测值；根据所述第二帧图像的第二像素序列和所述预测像素序列计算像素误差，所述第二像素序列包括所述第二帧图像中各像素的像素值；根据所述像素误差识别所述第二帧图像或者第三帧图像的帧类型。另一方面，本专利技术实施例提供了一种图像识别装置，该图像识别装置包括：获取单元，用于从图像帧序列中获取已知帧类型的第一帧图像，以及未知帧类型的第二帧图像和第三帧图像；所述第二帧图像在所述图像帧序列中的排列位置位于所述第一帧图像和所述第三帧图像之间；处理单元，用于根据所述第一帧图像和所述第三帧图像，预测得到所述第二帧图像的预测像素序列；所述预测像素序列包括所述第二帧图像中各像素的预测值；所述处理单元，还用于根据所述第二帧图像的第二像素序列和所述预测像素序列计算像素误差，所述第二像素序列包括所述第二帧图像中各像素的像素值；所述处理单元，还用于根据所述像素误差识别所述第二帧图像或者第三帧图像的帧类型。再一方面，本专利技术实施例提供了一种服务器，所述服务器包括输入接口和输出接口，所述服务器还包括：处理器，适于实现一条或多条指令；以及，计算机存储介质，所述计算机存储介质存储有一条或多条第一指令，所述一条或多条第一指令适于由所述处理器加载并执行如下步骤：从图像帧序列中获取已知帧类型的第一帧图像，以及未知帧类型的第二帧图像和第三帧图像；所述第二帧图像在所述图像帧序列中的排列位置位于所述第一帧图像和所述第三帧图像之间；根据所述第一帧图像和所述第三帧图像，预测得到所述第二帧图像的预测像素序列；所述预测像素序列包括所述第二帧图像中各像素的预测值；根据所述第二帧图像的第二像素序列和所述预测像素序列计算像素误差，所述第二像素序列包括所述第二帧图像中各像素的像素值；根据所述像素误差识别所述第二帧图像或者第三帧图像的帧类型。再一方面，本专利技术实施例提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条第一指令，所述一条或多条第一指令适于由处理器加载并执行上述的图像识别方法。本专利技术实施例中的第一帧图像的帧类型已知，且第二帧图像在图像帧序列中的排列位置位于第一帧图像和第三帧图像之间。在识别第二帧图像和第三帧图像的帧类型时，可先根据第一帧图像和第三帧图像，预测得到第二帧图像的预测像素序列；通过位于第二帧图像前后的两帧图像对第二帧图像进行像素预测，可有效提升预测像素序列的准确性。其次，可根据第二帧图像的实际像素序列（第二像素序列）和较为准确的预测像素序列计算像素误差，以有效减小编码噪声所带来的影响，从而提升像素误差的准确性和稳定性。然后，可根据较为准确的像素误差识别第二帧图像或者第三帧图像的帧类型，以提升帧类型识别的准确性和稳定性。再一方面，本专利技术实施例提供了一种视频播放方法，该视频播放方法包括：获取所述目标视频对应的图像帧序列，所述图像帧序列中包括多帧图像；识别所述图像帧序列中的各帧图像的帧类型，所述图像帧序列中除首帧图像和尾帧图像以外的其他帧图像的帧类型均采用上述的图像识别方法识别得到；所述帧类型包括以下任一种：有效帧、重叠帧或者重复帧，所述有效帧是指所述图像帧序列中非重复且非重叠的帧；从所述图像帧序列中过滤掉帧类型为所述重叠帧和所述重复帧的帧图像，并对过滤后的图像帧序列进行插帧转码，得到转码数据；在客户端的播放界面中，根据所述转码数据播放所述目标视频。另一方面，本专利技术实施例提供了一种视频播放装置，该视频播放装置包括：获取单元，用于获取所述目标视频对应的图像帧序列，所述图像帧序列中包括多帧图像；处理单元，用于识别所述图像帧序列中的各帧图像的帧类型，所述图像帧序列中除首帧图像和尾帧图像以外的其他帧图像的帧类型均采用上述的图像识别方法识别得到；所述帧类型包括以下任一种：有效帧、重叠帧或者重复帧，所述有效帧是指所述图像帧序列中非重复且非重叠的帧；所述处理单元，还用于从所述图像帧序列中过滤掉帧类型为所述重叠帧和所述重复帧的帧图像，并对过滤后的图像帧序列进行插帧转码，得到转码数据；播放单元，用于在客户端的播放界面中，根据所述转码数据播放所述目标视频。再一方面，本专利技术实施例提供了一种视频处理设备，所述视频处理设备包括输入接口和输出接口，所述视频处理设备还包括：处理器，适于实现一条或多条指令；以及，计算机存储介质，所述计算机存储介质存储有一条或多条第二指令，所述一条或多条第二指令适于由所述处理器加载并执行如下步骤：获取所述目标视频对应的图像帧序列，所述图像帧序列中包括多帧图像；识别所述图像帧序列中的各帧图像的帧类型，所述图像帧序列中除首帧图像和尾帧图像以外的其他帧图像的帧类型均采用上述的图像识别方法识别得到；所述帧类型包括以下任一种：有效帧、重叠本文档来自技高网...

【技术保护点】
1.一种图像识别方法，其特征在于，包括：/n从图像帧序列中获取已知帧类型的第一帧图像，以及未知帧类型的第二帧图像和第三帧图像；所述第二帧图像在所述图像帧序列中的排列位置位于所述第一帧图像和所述第三帧图像之间；/n根据所述第一帧图像和所述第三帧图像，预测得到所述第二帧图像的预测像素序列；所述预测像素序列包括所述第二帧图像中各像素的预测值；/n根据所述第二帧图像的第二像素序列和所述预测像素序列计算像素误差，所述第二像素序列包括所述第二帧图像中各像素的像素值；/n根据所述像素误差识别所述第二帧图像或者第三帧图像的帧类型。/n

【技术特征摘要】
1.一种图像识别方法，其特征在于，包括：
从图像帧序列中获取已知帧类型的第一帧图像，以及未知帧类型的第二帧图像和第三帧图像；所述第二帧图像在所述图像帧序列中的排列位置位于所述第一帧图像和所述第三帧图像之间；
根据所述第一帧图像和所述第三帧图像，预测得到所述第二帧图像的预测像素序列；所述预测像素序列包括所述第二帧图像中各像素的预测值；
根据所述第二帧图像的第二像素序列和所述预测像素序列计算像素误差，所述第二像素序列包括所述第二帧图像中各像素的像素值；
根据所述像素误差识别所述第二帧图像或者第三帧图像的帧类型。


2.如权利要求1所述的方法，其特征在于，所述根据所述第一帧图像和所述第三帧图像，预测得到所述第二帧图像的预测像素序列，包括：
采用所述第一帧图像中各像素的像素值构建第一像素序列，采用所述第三帧图像中各像素的像素值构建第三像素序列；
获取所述第二帧图像和所述第一帧图像之间的第一重叠比例，以及所述第二帧图像和所述第三帧图像之间的第二重叠比例；
采用所述第一重叠比例和所述第二重叠比例，对所述第一像素序列和所述第三像素序列进行加权求和，得到所述第二帧图像的预测像素序列。


3.如权利要求2所述的方法，其特征在于，所述获取所述第二帧图像和所述第一帧图像之间的第一重叠比例，以及所述第二帧图像和所述第三帧图像之间的第二重叠比例，包括：
确定所述第二帧图像和所述第一帧图像之间的第一重叠参数，以及所述第二帧图像和所述第三帧图像之间的第二重叠参数；
采用所述第一重叠参数、所述第二重叠参数、所述第一像素序列、第二像素序列和所述第三像素序列，构建拟合函数；
求解所述拟合函数，得到所述第一重叠参数的值和所述第二重叠参数的值；其中，所述第一重叠参数的值用于表示所述第二帧图像和所述第一帧图像之间的第一重叠比例，所述第二重叠参数的值用于表示所述第二帧图像和所述第三帧图像之间的第二重叠比例。


4.如权利要求3所述的方法，其特征在于，所述求解所述拟合函数，得到所述第一重叠参数的值和所述第二重叠参数的值，包括：
采用第一像素序列构造第一向量，采用第二像素序列构造第二向量，以及采用所述第三像素序列构造第三向量；
采用所述第一向量和所述第三向量构造向量矩阵，并获取所述向量矩阵对应的方块矩阵；
对所述方块矩阵进行逆运算，并根据逆运算结果和所述第二向量，计算得到所述第一重叠参数的值和所述第二重叠参数的值。


5.如权利要求4所述的方法，其特征在于，所述采用第一像素序列构造第一向量，采用第二像素序列构造第二向量，以及采用所述第三像素序列构造第三向量，包括：
若所述图像帧序列中的帧图像的像素数量大于预设数量，则从所述第一像素序列中随机提取所述预设数量的像素值构造所述第一向量，从所述第二像素序列中随机提取所述预设数量的像素值构造所述第二向量，从所述第三像素序列中随机提取所述预设数量的像素值构造所述第三向量；
若所述图像帧序列中的帧图像的像素数量小于或等于所述预设数量，则将第一像素序列对应的向量作为第一向量，将第二像素序列对应的向量作为第二向量，以及将所述第三像素序列对应的向量作为第三向量。


6.如权利要求4所述的方法，其特征在于，所述对所述方块矩阵进行逆运算，包括：
采用单位矩阵对所述方块矩阵进行满秩处理；
对满秩处理后的方块矩阵进行逆运算。


7.如权利要求4所述的方法，其特征在于，所述获取所述向量矩阵对应的方块矩阵，包括：
将所述向量矩阵划分成多个子向量矩阵，并获取各子向量矩阵对应的子方块矩阵；
对所述各子向量矩阵对应的子方块矩阵进行求和运算，得到所述向量矩阵对应的方块矩阵。


8.如权利要求7所述的方法，其特征在于，所述获取各子向量矩阵对应的子方块矩阵，包括：
采用多个线程并行计算各子向量矩阵的子转置矩阵，且并行地对所述各子向量矩阵和所述各子向量矩阵的子转置矩阵进行乘积运算，得到所述各子向量矩阵对应的子方块矩阵；或者，
采用一个线程依次计算各子向量矩阵的子转置矩阵，且依次地对所述各子向量矩阵和所述各子向量矩阵的子转置矩阵进行乘积运算，得到所述各子向量矩阵对应的子方块矩阵。


9.如权利要求2所述的方法，其特征在于，所述帧类型包括以下任一种：有效帧、重叠帧或者重复帧；所述有效帧是指所述图像帧序列中非重复且非重叠的帧；所述根据所述像素误差识...

【专利技术属性】
技术研发人员：陈法圣，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44