本申请涉及媒体播放设备中的内容过滤。在媒体播放设备中对具有不期望的内容的视频和/或音频媒体进行过滤。过滤可以由用户配置。一种过滤器可以用于看上去或听上去像狗的内容。过滤使得不期望的内容不可辨认。过滤可以由一个或多个神经网络执行，该神经网络被训练为针对不期望的内容是否存在以及存在于哪里来对媒体帧进行分类和/或分割。过滤可以包括用于消隐和发出哔哔声的帧替换、像素化和扭曲、模糊化和消音、例如利用图像或声音对象的对象替换、或者图像像素或音频频率分量的擦除和修补。可以在作为专用芯片、在可编程处理器上运行的软件、或者其组合的媒体播放设备中使用适当方法执行过滤，并可以将过滤编码为计算机可读介质中的软件。读介质中的软件。读介质中的软件。
【技术实现步骤摘要】
媒体播放设备中的内容过滤
[0001]本申请涉及人工智能领域，尤其涉及媒体过滤和宠物行为改变的领域。
技术介绍
[0002]消费者在播放音频媒体和视频媒体的设备上观察到很多内容。很多消费者希望某些内容将不被呈现在他们的设备上。例如，很多儿童的家长希望色情图像、猥亵言词、以及暴力图像将不被呈现。
[0003]诸如谷歌(Google)和脸书(Facebook)的由很多第三方机构创建的媒体的提供商应用一般公认的标准来阻挡或去除具有中度色情或极端暴力内容的媒体。他们甚至可以利用诸如安全搜索(SafeSearch)模式的特征来提供可选的媒体阻挡等级。但是，一些消费者，尤其是家长，可能更偏好与媒体提供商设置的标准不同的标准。
[0004]例如，一些家长可能想要允许裸体作为高雅艺术或科学教育媒体的一部分被呈现，而其他家长可能并不同意这样做。一些家长可能发现枪声或枪的图像不适合，其他家长可能发现拳击的声音和视频不适合。一些家长可能认为某些单词的集合不适合。
[0005]提供有限数量的策划媒体的提供商(例如，提供电影和电视节目的Netflix和提供有声读物的Audible)为不同账户类型提供不同的访问权限。消费者可以注册特殊账户(例如，给孩子的账户)，这些特殊账户提供相比一般账户可得到的节目有更多限制的节目。
[0006]诸如广播电视节目的一些媒体被利用诸如美国电影协会(MPAA)电影分级系统的分级进行编码。一些电视机可以检测这样的编码。这种电视机允许用户设置家长控制设置，这些家长控制设置能够防止分级在某个等级以上的媒体被播放。
[0007]所有以上内容控制系统在完整视频或音频节目的级别上进行操作，这意味着消费者不能访问大量媒体，即使只有一小部分具有大型机构认为不适合的内容。
[0008]在其他重要示例中，很多真实的狗在看到显示器上的狗或者听见狗咆哮或吠叫的声音时将开始吠叫。这会打扰到邻居。一些狗主人可能想要阻止狗的图像和声音被呈现在他们的媒体设备上。主要内容提供商都没有提供阻止他们的用户访问具有狗的视频或音频的媒体的任何解决方案。
[0009]在又一示例中，当消费者之间进行音频或视频聊天时，不存在内容控制。呈现音频或视频的用户有可能呈现收听或收看的观察者将发现不期望看到或听到的内容。传统的系统没有提供防止这种情况的机制。
[0010]本申请将要解决的一些问题包括：
[0011](a)不期望的内容的呈现，
[0012](b)媒体访问控制的粗粒度，
[0013](c)无法控制直播媒体中的内容，以及
[0014](d)缺少对于内容阻挡类型的选项。
技术实现思路
[0015]本申请通过在媒体播放设备中不考虑媒体源地执行内容过滤，来解决上述问题。内容过滤可以被进行精细粒度的控制，例如在相关音频帧或视频帧的组块级别上、在单独的帧上、或者具体地在帧内的有限区域上执行内容过滤。内容过滤可以在直播媒体上实时进行。另外，对于不同类型的内容，内容过滤可以是高度可配置的。
[0016]过滤的实现方式可以包括以下步骤：从输入缓冲器读取原始媒体；处理原始媒体，以创建经过滤媒体；以及将经过滤媒体写入输出缓冲器。与可能从已经经过过滤的来源(例如，Netflix或迪士尼(Disney)媒体流传输服务)读取所缓存媒体的设备不同，媒体播放设备中的媒体过滤的实现方式可以对包含一种或多种不期望的内容类型的原始媒体进行操作。另外，与执行其他类型的过滤(诸如，锐度增强、抖动、以及对比度控制)的媒体播放设备不同，媒体播放设备中的媒体过滤处理产生其中不期望类型的内容对于经过滤媒体的观察者来说不可辨认的结果。过滤可能产生伪像，并且仔细检查伪像可能提供关于经过滤媒体已经被过滤的事实的线索。但是，不期望的内容本身是不可辨认的。
[0017]一些方法可以提供这样的优点。诸如经过适当训练的神经网络的分类模型可以检测具有不期望的内容的帧的组块或独立帧，并且包含这种内容的视频帧或音频帧的序列可以被消隐或者被诸如哔哔声的特定音频分段或诸如雪花或图标的图像信号替换。狗是可能被过滤的特定内容类型的示例。裸体、暴力、亵渎行为等是其他示例。
[0018]识别诸如暴力动作或亵渎话语的某些种类的内容需要利用时间信息进行训练后的模型，诸如循环神经网络、长短期记忆(LSTM)神经网络、或门控循环单元(GRU)神经网络。
[0019]在一些方法中也可能对包含识别不期望的内容所需要的的信息的视频图像或音频频谱范围进行分割。这可以包括音频中的源标识和源分离以及视频中的对象识别和矢量化。可以执行诸如视频像素化或音频混音的擦除或其他信号降级技术。这使得观察者能够在没有不期望的内容的条件下理解与故事有关的内容，不期望的内容例如视频中的攻击性或分散注意力的对象或音频中的背景或干扰音。
[0020]也可以执行不期望的内容的替换。这可以通过例如在不期望的内容的区域中覆盖诸如视频中的笑脸或音频中的喇叭声的对象来实现。另外，可以擦除不期望的内容的分割区域，并使用神经网络模型执行修补，以预测可能存在于被擦除区域中的信息。这可以利用诸如经过逆向训练的生成型神经网络(GAN)的生成型模型来执行。生成型神经网络预测原始媒体中提供使得观察者能够辨认不期望的内容的特征的点处的替换数据。
[0021]还可以使用自动编码器来执行媒体帧或组块的语义分析，在存在一个或多个不期望的内容特征时替换这些内容特征，并且根据其编码重新生成媒体。
[0022]本申请还提供了多个可选择且可配置的过滤器。这可以通过例如利用有条件地使能不同类型的内容的过滤的一个或多个输入在多个内容类型上训练神经网络来实现。这将使用相对较少的设备中计算，但是训练将更加复杂并且不能针对不同的内容类型独立配置(在没有完成重新训练时)。可选择的过滤器也可以通过依次包括多个过滤器模型来实现。这要求设备中相对更多的处理能力，但是允许内容过滤器的独立改变和重新训练，从而潜在地提供了适合用户口味的数百或数千个用户可选择的过滤器的菜单。
[0023]一个或多个过滤器参数可以被存储在媒体播放设备中的非易失性存储器中。如果例如经过更好训练的过滤器在未来变得可用，则这些过滤器可以被更新。这相当于固件升
级或者是固件升级的一部分，其中固件升级甚至可以在用户不知道的情况下进行。
[0024]也可以利用过滤器参数的一个或多个配置(例如，具有标准架构的神经网络的权重和偏差参数)对媒体进行编码。因此，媒体提供商可以提供具有经过编码的完整原始内容的媒体，但是存在供用户选择他们想要如何对内容进行过滤的选项。这比向不同受众发送基本相同的媒体的经过不同编码的版本简单得多。
[0025]包含或执行创造性组件或方法步骤的媒体播放设备可以包括诸如专用神经网络处理单元的专用媒体处理芯片。类似地，这些专用功能可以被包括在片上系统中。这些专用功能可以在处理流水线的所有其他步骤之后直接在视频显示缓冲器或音频输出缓冲器上执行。
附图说明
[0026]图1A示出了根本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种媒体播放设备，包括：输入缓冲器；输出缓冲器；计算机处理器；以及数据存储装置，包括用于所述处理器的指令，其中，所述处理器通过执行所述指令来：从所述输入缓冲器读取原始媒体，其中，所述原始媒体包含不期望的内容；利用过滤器处理所述原始媒体，以创建经过滤媒体，其中，所述不期望的内容对于所述经过滤媒体的观察者来说是不可辨认的；以及将所述经过滤媒体写入所述输出缓冲器。2.如权利要求1所述的媒体播放设备，其中，所述不期望的内容是狗。3.如权利要求1所述的媒体播放设备，其中，所述媒体是视频。4.如权利要求1所述的媒体播放设备，其中，所述媒体是音频。5.如权利要求1所述的媒体播放设备，其中，通过信号替换而使得所述不期望的内容不可辨认。6.如权利要求1所述的媒体播放设备，其中，所述处理器还用于：计算所述不期望的内容的位置和大小；从所述数据存储装置中的替换对象数据库读取替换对象；根据所述不期望的内容的大小对所述替换对象进行缩放；以及在所述不期望的内容的位置处覆盖所述替换对象。7.如权利要求1所述的媒体播放设备，其中，所述过滤器识别多于一种类型的不期望的内容，并且被使得不可辨认的所述不期望的内容由用户的选择来控制。8.如权利要求1所述的媒体播放设备，其中，用于所述过滤器的参数被存储在所述数据存储装置中，并且所述处理器还用于：接收经更新的参数；以及用所述经更新的参数来覆写所存储的参数。9.如权利要求1所述的媒体播放设备，其中，所述处理器还用于：读取嵌入有所述原始媒体的一组过滤器参数；并且基于所述过滤器参数，利用所述过滤器处理所述原始媒体。10.如权利要求1所述的媒体播放设备，其中，所述过滤器包括神经网络，该神经网络具有至少一个卷积层和至少一个时间循环层。11.如权利要求10所述的媒体播放设备，其中，所述过滤器对包含所述不期望的内容的至少一个区域进行分割，并在所述区域中执行降级。12.如权利要求10所述的媒体播放设备，其中，所述过滤器包括生成型神经网络，该生成型神经网络预测一些点处的替换数据，这些点在所述原始媒体中提供使得观察者能够辨认所述不期望的内容的特征，其中，所述过滤器对包含所述不期望的内容的至少一个区域进行分割，并预测所述区域中的所述替换数据。13.如权利要求10所述的媒体播放设备，其中，所述神经网络：执行自动编码以创建特征向量；将表...
【专利技术属性】
技术研发人员：苏小桃，江家同，
申请(专利权)人：声音猎手公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。