一种视频帧检测、处理方法、装置及系统制造方法及图纸

一种视频帧检测、处理方法、装置及系统，所述方法包括：接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧，所述视频流中的每个视频帧携带标记；从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记；确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律，如果不符合，则确定所述视频流异常。通过采用本方案，能够提高检测视频流异常的准确性和效率。

A video frame detection and processing method, device and system

A video frame detection, processing method, apparatus and system comprising: receiving a video stream transmitted by a video processing device comprising a plurality of video frames arranged in chronological order, each video frame in the video stream carrying a tag, and extracting from the video stream a sequence of video frames arranged in chronological order to Labels for less than two video frames; determines whether the association between the labels of at least two video frames arranged in chronological order in the video stream conforms to the preset first variation rule, and if not, determines that the video stream is abnormal. By adopting this scheme, the accuracy and efficiency of detecting abnormal video stream can be improved.

【技术实现步骤摘要】
一种视频帧检测、处理方法、装置及系统
本申请涉及媒体流
，尤其涉及一种视频帧检测、处理方法、装置及系统。
技术介绍
在部署视频监控系统时，需要对监控的视频的质量进行检测，一般是由部署人员现场通过肉眼观察与视频监控系统通信连接的终端的屏幕上播放的视频，观测视频是否有丢帧、卡顿或花屏现象，但这种检测方式耗时且费力，也存在误判或者主观性。为提高检测效率，目前主要采用相似度比较的方式进行检测，即获取待检测视频中连续的多帧图片，并确定连续的多帧图片中每相邻的两帧图片之间的相似度大于预设相似度，如果所述连续的多帧图片的数量大于预设数量则判断连续的多帧图片出现卡顿。如果正常的视频中存在连续多帧图片相似的情况，采用上述检测方法确定视频出现卡顿，视频异常检测的准确度低，而且需要计算相邻的两帧图片之间的相似度，检测方式复杂。
技术实现思路
本申请提供了一种视频帧检测、处理方法、装置、系统及存储介质，能够解决现有技术中视频流质量的检测准确度较低的问题。本申请第一方面提供一种检测视频帧的方法，所述方法由终端执行，所述方法包括：接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧，所述视频流中的每个视频帧携带标记。从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记。确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律，如果不符合，则确定所述视频流异常。与现有机制相比，本申请实施例中，视频处理设备发送的视频流中的每个视频帧分别进行了标记处理，终端接收到视频流后，直接提取视频流中的各视频帧的标记，再根据标记即可判断视频流是否异常，判断视频流是否异常的方法简单有效。基于第一方面，在第一种实现方式中，所述视频流包括按照时间顺序依次排列的第一视频帧和第二视频帧，所述确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律，包括：确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，如果不符合，则确定所述视频流异常，所述标记序列的所有标记符合所述预设的第一变化规律，其中，所述标记序列中相邻的标记不同。基于第一方面的第一种实现方式，在第二种实现方式中，所述确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，包括：确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记是否相同，如果相同，则确定各视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流异常。其中，所述标记序列中相邻的标记不同。在本申请实施例中，标记序列具有多种实现方式，在标记序列的一种可选的实现方式中，如果标记序列中所有标记不同，终端确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记相同，则确定所述视频流异常的具体类型为卡顿。另外，如果第一视频帧的播放时间早于第二视频帧，则可以确定出现卡顿的视频帧为所述第一视频帧。在标记序列的另一种可选的实现方式中，如果标记序列中相邻标记不同，但每间隔固定个数标记的两个标记相同。终端确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记相同，则确定所述视频流异常，确定所述视频流异常的具体类型为卡顿或丢帧。一般情况下，视频流出现丢帧的风险比较小，如果标记序列中每相同的两个标记中间隔的固定个数标记的总数量越多，则确定视频流异常的类型为卡顿的概率越大。如此，终端可以根据每相同的两个标记间隔的固定个数确定视频流异常的类型，如果间隔的所述固定个数大于或等于预设的固定个数，则确定所述视频流的异常类型具体为卡顿。为准确的判断所述视频流异常的类型，终端根据确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记相同确定所述视频流异常后，可以进一步比较第一视频帧和所述第二视频帧的相似度与预设的相似度阈值的大小，确定视频流异常的类型。如果第一视频帧和所述第二视频帧的相似度小于预设的阈值，则确定所述视频流的异常类型具体为卡顿。如果所述第一视频帧的播放时间早于所述第二视频帧的播放时间，则确定出现卡顿的视频帧为所述第一视频帧。基于第一方面的第一种实现方式，在第三种实现方式中，所述终端确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，包括：确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中是否连续，如果不连续，则确定各视频帧的标记间的关联关系不符合标记序列的标记间的关联关系，确定所述视频流异常。在本申请实施例中，标记序列具有多种实现方式，在标记序列的一种可选的实现方式中，如果标记序列中所有标记不同，终端确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中不连续，则确定所述视频流异常的具体类型为丢帧。在标记序列的另一种可选的实现方式中，如果标记序列中相邻标记不同，并且每间隔固定个数标记的两个标记相同。终端确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中不连续，则确定所述视频流异常，进而确定所述视频流异常的具体类型为卡顿或丢帧。一般情况下，视频流出现丢帧的风险比较小，如果标记序列中相同的两个标记中间隔的固定个数标记的总数量越多，则确定视频流异常的类型为卡顿的概率越大。如此，终端可以根据每相同的两个标记间隔的固定个数确定视频流异常的类型，如果间隔的所述固定个数大于或等于预设的固定个数，则确定所述视频流的异常类型具体为卡顿。可选的，为准确的确定视频流异常的具体类型，终端可以进一步比较第一视频帧和所述第二视频帧的相似度与预设的阈值的大小。如果第一视频帧和所述第二视频帧的相似度小于或等于预设的阈值，则确定所述视频流异常的具体类型具体为卡顿。如果所述第一视频帧的播放时间早于所述第二视频帧的播放时间，则确定出现卡顿的视频帧为所述第一视频帧。如果第一视频帧和第二视频帧的相似度大于所述预设的阈值，则确定所述视频帧流异常的具体类型为丢帧。基于第一方面的第一种实现方式，在第四种实现方式中，所述确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，包括：确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中是否连续，以及是否相同，如果不相同，也不连续，则确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流丢帧。基于第一方面中的第一种至第四种实现方式中的任一种实现方式，在第五种实现方式中，当所述标记序列的标记为子序列时，本申请实施例还包括：确定所述视频流中的任一视频帧的子序列中的所有元素是否符合预设的规律，如果不符合，则确定所述任一视频帧花屏，其中，所述视频流中的每个视频帧的标记均为子序列，所述视频流中的每个视频帧的子序列符合所述预设的规律，所述预设的规律包括：所述任一视频帧的子序列中的所有元素符合预设的第二变化规律，或所述任一视频帧子序列中的所有元素相同。在本实施方式中，所述视频流中的任一视频帧的子序列中的所有元素分布在所述任一视频帧中的m个像素区域，m≥1且m为正整数。其中，m个本文档来自技高网...

【技术保护点】
1.一种检测视频帧的方法，其特征在于，由终端执行，所述方法包括：接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧，所述视频流中的每个视频帧携带标记；从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记；确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律，如果不符合，则确定所述视频流异常。

【技术特征摘要】
1.一种检测视频帧的方法，其特征在于，由终端执行，所述方法包括：接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧，所述视频流中的每个视频帧携带标记；从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记；确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律，如果不符合，则确定所述视频流异常。2.如权利要求1所述的方法，其特征在于，所述视频流包括按照时间顺序依次排列的第一视频帧和第二视频帧，所述确定所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系是否符合预设的第一变化规律，包括：确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，如果不符合，则确定所述视频流异常，所述标记序列的所有标记符合所述第一变化规律，其中，所述标记序列中相邻的标记不同。3.根据权利要求2所述的方法，其特征在于，所述确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，包括：确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记是否相同，如果相同，则确定所述视流的所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流异常。4.如权利要求2所述的方法，其特征在于，所述确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，包括：确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中是否连续，如果不连续，则确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流异常。5.如权利要求2所述的方法，其特征在于，所述确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，包括：确定所述视频流的所述第一视频帧的标记与所述第二视频帧的标记在所述标记序列中是否连续，以及是否相同，如果不相同，也不连续，则确定所述视频流的所述第一视频帧和所述第二视频帧的标记间的关联关系不符合所述标记序列的标记间的关联关系，确定所述视频流丢帧。6.如权利要求2-5中任一所述的方法，其特征在于，所述方法还包括：确定所述视频流中的任一视频帧的子序列中的所有元素是否符合预设的规律，如果不符合，则确定所述任一视频帧花屏，其中，所述视频流中的每个视频帧的标记均为子序列，所述视频流中的每个视频帧的子序列符合所述预设的规律，所述预设的规律包括：所述任一视频帧的子序列中的所有元素符合预设的第二变化规律，或所述任一视频帧的子序列中的所有元素相同。7.如权利要求2-5中任一所述的方法，其特征在于，所述标记序列的所有标记不同；或，所述标记序列中的至少部分标记分别为子序列，所述标记序列中的所有子序列中对应位置的元素相同；或，所述标记序列中的至少部分标记分别为子序列，所述标记序列中的所有子序列中对应位置的元素不同，且每个子序列包括的所有元素相同。8.一种检测视频帧的方法，其特征在于，由终端执行，所述方法包括：接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧，所述视频流中的每个视频帧携带标记；从所述视频流中提取每个视频帧的标记；确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的第一变化规律，如果符合，则确定所述视频流正常。9.如权利要求8所述的方法，其特征在于，所述确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的第一变化规律，包括：确定所述视频流中按照时间顺序排列的所有视频帧的标记间的关联关系是否符合预设的标记序列的标记间的关联关系，如果符合，则确定所述视频流正常，所述标记序列的所有标记符合所述第一变化规律。10.一种视频帧处理的方法，其特征在于，由视频处理设备执行，所述方法包括：按照预设的第一变化规律对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧；对所述标记后的多个视频帧进行编码，得到视频流，所述视频流的所有视频帧按照时间顺序排列，且所述视频流的所有视频帧的标记间的关联关系符合所述预设的第一变化规律；发送所述视频流给终端，以使所述终端从所述视频流中提取按照时间顺序排列的至少两个视频帧的标记，根据所述视频流中按照时间顺序排列的至少两个视频帧的标记间的关联关系判断所述视频流是否异常。11.根据权利要求10所述的方法，其特征在于，所述按照预设的第一变化规律对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，包括：按照标记序列中顺序排列的至少两个标记对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，其中，所述标记序列的所有标记符合所述第一变化规律，所述标记序列中相邻的标记不同。12.根据权利要求11所述的方法，其特征在于，所述标记序列包括有序序列或RGB序列，所述有序序列中的序号包括规律数字或视频帧的帧编号。13.根据权利要求11或12所述的方法，其特征在于，所述按照标记序列中连续的至少两个标记对按照时间顺序排列的多个视频帧进行标记，获取标记后的多个视频帧，包括：按照标记序列中顺序排列的至少两个标记的排列顺序，选取所述至少两个标记中第N个标记，以及按照时间先后顺序，从按照时间顺序排列的多个视频帧中选取第N个视频帧，所述N为正整数；使用所述第N个标记对所述第N个视频帧中的m个像素区域进行标记，m≥1且m为正整数。14.根据权利要求13所述的方法，其特征在于，所述m个像素区域分布于所述第N个视频帧的中心区域，所述中心区域是指以所述第N个视频帧的中心点为中心，围绕所述中心点形成的像素区域。15.一种终端，其特征在于，所述终端包括：收发模块，用于接收视频处理设备发送的视频流，所述视频流包括按照时间顺序排列的多个视频帧...

【专利技术属性】
技术研发人员：刘江雨，王志，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44