用于音频及视频处理的特征及参数提取制造技术

本发明专利技术公开用于改进媒体流的安全性的方法、系统及装置。所述系统可从接收并解码经编码媒体流的媒体解码管线接收经解码媒体流。所述系统可基于所述经解码媒体流识别要产生的一组特征及使用所述经解码媒体流产生所述一组特征。此类特征可包含亮度直方图、像素强度数据、运动向量、边缘检测、音频增益、音调信息、音高信息以及其它类型的特征。所述系统可将所述一组特征提供给执行机器学习模型的处理器，其中所述装置防止执行所述机器学习模型的所述处理器存取所述经解码媒体流。述处理器存取所述经解码媒体流。述处理器存取所述经解码媒体流。

【技术实现步骤摘要】
用于音频及视频处理的特征及参数提取


[0001]本申请案的实施例大体上涉及媒体处理领域，且特定来说，涉及用于改进媒体流的安全性的方法、系统及装置。

技术介绍

[0002]在数字视频系统中，媒体数据的经编码位流由媒体处理系统的部分(例如机顶盒或电视处理器)解码，且随后在适当的音频或视频装置处输出。实时或近实时地执行处理来自这些流的信息是具有挑战性的，这是因为这样做将需要处理非常大数量的数据。类似地，此类内容的提供商通常要求在处理此类内容时遵循严格的处理指南以防止发生内容流的未授权存取或分发。这些挑战使使用常规方案在媒体处理管线中实施机器学习架构不切实际，所述媒体处理管线例如机顶盒或智能电视。

技术实现思路

[0003]本公开的系统及方法通过提供用以从媒体流解码管线中的经解码位流提取特征及参数的技术来解决这些及其它问题。通过在媒体处理管线内产生这些特征，提供到可配置机器学习架构的总信息量大大减少，这显著改进了这些机器学习系统的性能。类似地，通过将特征提供到可配置机器学习，同时防止可配置机器学习存取原始经解码媒体流，由内容提供商强加的要求得到满足同时仍允许在媒体处理管线内进行可配置处理。
[0004]本公开的至少一个方面涉及一种改进媒体流的安全性的方法。所述方法可例如由装置的一或多个处理器执行。所述方法可包含从接收并解码经编码媒体流的媒体解码管线接收经解码媒体流。所述方法可包含基于所述经解码媒体流识别要产生的一组特征。所述方法可包含使用所述经解码媒体流产生所述一组特征。所述方法可包含将所述一组特征提供到执行机器学习模型的处理器。所述装置防止执行所述机器学习模型的所述处理器存取所述经解码媒体流。
[0005]在一些实施方案中，所述经解码媒体流可包含视频数据。在一些实施方案中，所述一组特征可包含所述视频数据的亮度直方图。在一些实施方案中，识别所述一组特征可包含确定所述经解码媒体流中的媒体的类型。在一些实施方案中，识别所述一组特征可包含基于所述经解码媒体流中的媒体的所述类型识别所述一组特征。在一些实施方案中，识别所述一组特征可包含从所述经解码媒体流提取原始视频数据。在一些实施方案中，识别所述一组特征可包含基于所述原始视频数据的属性识别所述一组特征。
[0006]在一些实施方案中，产生所述一组特征可包含预处理所述经解码媒体流。在一些实施方案中，产生所述一组特征可包含对所述经解码媒体流应用边缘检测技术或频谱分析技术。在一些实施方案中，产生所述一组特征可包含基于所述经解码媒体流的一或多个颜色通道确定最小像素强度值、最大像素强度值、平均像素强度值或中值像素强度值中的一或多者。在一些实施方案中，产生所述一组特征可包含检测所述经解码媒体流中的运动向量。在一些实施方案中，将所述一组特征提供给所述机器学习模型可包含将所述一组特征
存储于可由执行所述机器学习模型的所述处理器存取的存储器区中。在一些实施方案中，所述方法可包含产生包含基于所述机器学习处理器的输出及所述经解码媒体流产生的图形的输出媒体流。在一些实施方案中，所述方法可包含提供所述输出媒体流以在显示器处呈现。
[0007]本公开的至少另一方面涉及一种用于改进媒体流的安全性的系统。所述系统可包含装置的一或多个处理器。所述系统可从接收并解码经编码媒体流的媒体解码管线接收经解码媒体流。所述系统可基于所述经解码媒体流识别要产生的一组特征。所述系统可使用所述经解码媒体流产生所述一组特征。所述系统可将所述一组特征提供到执行机器学习模型的处理器。所述装置防止执行所述机器学习模型的所述处理器存取所述经解码媒体流。
[0008]在一些实施方案中，所述经解码媒体流可包含视频数据。在一些实施方案中，所述一组特征包括所述视频数据的亮度直方图。在一些实施方案中，为了识别所述一组特征，所述系统可确定所述经解码媒体流中的媒体的类型。在一些实施方案中，所述系统可基于所述经解码媒体流中的媒体的所述类型识别所述一组特征。在一些实施方案中，为了识别所述一组特征，所述系统可从所述经解码媒体流提取原始视频数据。在一些实施方案中，所述系统可基于所述原始视频数据的属性识别所述一组特征。
[0009]在一些实施方案中，为了产生所述一组特征，所述系统可预处理所述经解码媒体流。在一些实施方案中，为了产生所述一组特征，所述系统可对所述经解码媒体流应用边缘检测技术或频谱分析技术。在一些实施方案中，为了产生所述一组特征，所述系统可基于所述经解码媒体流的一或多个颜色通道确定最小像素强度值、最大像素强度值、平均像素强度值或中值像素强度值中的一或多者。在一些实施方案中，为了产生所述一组特征，所述系统可检测所述经解码媒体流中的运动向量。在一些实施方案中，为了将所述一组特征提供给所述机器学习模型，所述系统可将所述一组特征存储于可由执行所述机器学习模型的所述处理器存取的存储器区中。
[0010]本公开的至少另一方面涉及一种用于改进媒体流的安全性的电路。所述电路可包含接收经编码位流并产生经解码媒体流的位流解码器。所述电路可包含从所述位流解码器接收所述经解码媒体流的处理组件。所述电路可基于所述经解码媒体流识别要产生的一组特征。所述电路可使用所述经解码媒体流产生所述一组特征。所述电路可将所述一组特征提供到执行机器学习模型的第二处理器。防止执行所述机器学习模型的所述第二处理器存取所述经解码媒体流。
[0011]在一些实施方案中，所述电路可包含执行所述机器学习模型的所述第二处理器。在一些实施方案中，所述电路经配置使得所述第二处理器无法存取所述经解码媒体流。
[0012]这些及其它方面及实施方案在下文详细论述。前述信息及以下详细描述包含各个方面及实施方案的说明性实例，且提供概述或框架以理解所主张方面及实施方案的性质及特征。图式提供各个方面及实施方案的说明及进一步理解，且并入于本说明书中且构成本说明书的一部分。方面可被组合，且将容易地了解，在本专利技术的一个方面的上下文中描述的特征可与其它方面组合。方面可以任何方便的形式实施。举例来说，通过适当的计算机程序，其可在适当载体媒体(计算机可读媒体)上载送，所述适当载体媒体可为有形载体媒体(例如磁盘)或无形载体媒体(例如通信信号)。方面还可使用合适的设备实施，所述设备可采用运行经布置以实施所述方面的计算机程序的可编程计算机的形式。如在说明书及权利
要求书中使用，单数形式
‘
一(a/an)
’
及
‘
所述
’
包含复数指涉对象，除非上下文另有明确指示。
附图说明
[0013]参考附图将本公开的非限制性实例作为实例来进行描述，附图是示意性的且不希望是按比例绘制的。除非指示为表示
技术介绍
，否则所述图表示本公开的方面。为了清楚的目的，并非每个组件都可在每个图中标记。在图中：
[0014]图1说明根据一或多个实施方案的用于改进媒体流的安全性的实例系统的框图；
[0015]图2说明根据一或多个实施方案的用于从媒体流产生特征的技术的实例数据流程图；
[0016]图3说明本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种改进媒体流的安全性的方法，其包括：由装置的一或多个处理器从接收并解码经编码媒体流的媒体解码管线接收经解码媒体流；由所述一或多个处理器基于所述经解码媒体流识别要产生的一组特征；由所述一或多个处理器使用所述经解码媒体流产生所述一组特征；以及由所述一或多个处理器将所述一组特征提供给执行机器学习模型的处理器，其中所述装置防止执行所述机器学习模型的所述处理器存取所述经解码媒体流。2.根据权利要求1所述的方法，其中所述经解码媒体流包括视频数据，且其中所述一组特征包括所述视频数据的亮度直方图。3.根据权利要求1所述的方法，其中识别所述一组特征进一步包括：由所述一或多个处理器确定所述经解码媒体流中的媒体的类型；及由所述一或多个处理器基于所述经解码媒体流中的媒体的所述类型识别所述一组特征。4.根据权利要求1所述的方法，其中识别所述一组特征进一步包括：由所述一或多个处理器从所述经解码媒体流提取原始视频数据；及由所述一或多个处理器基于所述原始视频数据的属性识别所述一组特征。5.根据权利要求1所述的方法，其中产生所述一组特征进一步包括预处理所述经解码媒体流。6.根据权利要求1所述的方法，其中产生所述一组特征进一步包括由所述一或多个处理器对所述经解码媒体流应用边缘检测技术或频谱分析技术。7.根据权利要求1所述的方法，其中产生所述一组特征进一步包括由所述一或多个处理器基于所述经解码媒体流的一或多个颜色通道确定最小像素强度值、最大像素强度值、平均像素强度值或中值像素强度值中的一或多者。8.根据权利要求1所述的方法，其中产生所述一组特征进一步包括由所述一或多个处理器检测所述经解码媒体流中的运动向量。9.根据权利要求1所述的方法，其中将所述一组特征提供给所述机器学习模型进一步包括由所述一或多个处理器将所述一组特征存储于可由执行所述机器学习模型的所述处理器存取的存储器区中。10.根据权利要求1所述的方法，其进一步包括由所述一或多个处理器产生包含基于所述机器学习处理器的输出及所述经解码媒体流产生的图形的输出媒体流；及由所述一或多个处理器提供所述输出媒体流以在显示器处呈现。11.一种用于改进媒体流的安全性的系统，其包括：装置的一或多个处理器，所述一或多个处理器经配置以：从接收并解码经编码媒体流的媒体解...

【专利技术属性】
技术研发人员：瓦德，
申请(专利权)人：安华高科技股份有限公司，
类型：发明
国别省市：