本公开涉及资源受限设备上的媒体分析和处理构架。一种用于资源受限设备上的媒体的处理的系统，该系统包括：存储代表媒体资产和相关的描述符的数据和代表应用和媒体处理系统的程序指令的存储器；和处理器响应来自限定要对于资产执行的多个服务的应用的调用在程序指令代表媒体处理系统的情况下执行程序指令，以基于与资产相关联的处理预算确定对于资产执行的处理操作的分层调度；和除非中断，否则，在逐个层级的基础上迭代执行处理操作。
【技术实现步骤摘要】
优先权要求本申请受益于在2015年6月5日提交的名称为“Media Analysis and Processing Framework on a Resource Restricted Device”的美国专利申请系列s.n.62/171957的优先权，该美国申请的公开的全部内容通过引用并入这里。
本公开涉及用于资源受限设备上的媒体分析和处理构架的系统和方法。
技术介绍
媒体分析和处理构架在设备内提供了用于计算由终端存储的媒体资产(asset)的描述符的工具套件。典型地，终端具有有限的资源，这会导致描述符计算由于资源约束而被拖延或中止。因此，需要用于根据指示计算时间、预期复杂性和其它因素的处理预算标识符调度计算方法的系统和方法。附图说明图1示出根据本公开的一个方面的终端的框图。图2示出根据本公开的一个方面的媒体分析和处理构架与客户机之间的交互。图3示出根据本专利技术的实施例的系统，该系统包括通过网络相互通信的多个终端。具体实施方式本公开的实施例提供了用于资源受限设备上的媒体的处理的系统和方法。响应于来自识别要被处理的媒体资产的应用的调用、要对于媒体资产执行的标识符和与调用相关联的处理预算，可产生处理操作的分层调度。在逐个批次的基础上，可基于产生的分层调度执行一个批次的处理操作。另外，可确定下一批次的处理操作的可用资源。如果没有足够的资源可用于下一批次的处理操作，那么可中断分层调度。但是，如果存在可用于下一批次的处理操作的足够资源，那么可基于分层调度执行下一迭代。图1是根据本公开的实施例的终端100的框图。终端100可包含处理器110、存储器系统120和输入/输出系统130。处理器110可执行代表操作系统112和一个或更多个应用114的程序指令。程序指令可由存储器系统120存储并且被读取到处理器110以供执行。处理器110可以为例如中央处理单元、微处理器、可编程逻辑阵列(PLA)、可编程阵列逻辑(PAL)、通用阵列逻辑(GAL)、复杂可编程逻辑器件(CPLD)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或执行程序指令并且有利于数据传输的任何其它可编程逻辑器件(PLD)。存储器系统120代表存储设备的等级系统，该等级系统可包含驻留于处理器110上的随机存取存储器、短期存储设备和长期存档存储器。在可能方便的情况下，存储器系统120可包含电、磁和/或光学存储设备。存储器系统120可包含数据库系统(未示出)。与本讨论有关的是，存储器系统120可包含媒体资产121～125，这些媒体资产可包含数字图像、视频和/或图形文件(在可能方便情况下，具有伴随的音频)。除了代表媒体资产121～125和相关的blob描述符的数据以外，存储器系统120可存储代表操作系统112、应用114以及媒体分析和处理构架116的程序指令。存储器系统120可以是内部存储器或诸如存储器芯片的可拆装类型的存储器。存储器系统120可存储关于终端100的信息。输入/输出系统130可包含接收来自终端操作员的命令并且向其输出数据的输入/输出设备。常用的输入设备包括用于捕获视频和/或静止图像的照相机系统132、用于与照相机输出相结合地或无关地捕获环境音频的麦克风系统134。其它的输入设备可包括用于接受用户命令的按钮、键盘、鼠标和/或触摸屏。它们还可包含用于确定终端100的位置和/或取向的加速度计和陀螺仪等。常用的输出设备(未示出)包括向操作员呈现视频输出的显示设备和用于向操作员输出音频的扬声器。操作系统112可包含限定媒体分析和处理构架116的指令。媒体分析和处理构架116可以是由处理器110执行的软件单元，该软件单元可在终端100内提供用于计算由终端100存储的媒体资产121～125的二进制大对象描述符(简写为“blob描述符”)的工具套件。Blob可以是用于存储在数据库中存储的二进制数据的并且作为单个实体被传送的大文件。例如，作为字符串和数字存储和传送效率低下的大量数据可使用类似于blob的大数据类型。Blob可被用于存储和传送诸如图像、视频和音频等的大文件。Blob也可以是多个类型的文件的混合。在一个方面，存储于blob中的数据可以半结构化或者非结构化。例如，XML文件可使用半结构化数据，并且，多媒体文件可使用非结构化数据。由于blob可存储较大的文件类型的数据，因此它们可能需要大量的存储和处理能力。在终端100处可用的处理资源常常基于将应用这里讨论的实施例的终端的类型改变。也可跨着多个终端和/或设备分配Blob的处理。可根据哪些资源可用来执行不同版本的给定分析。例如，硬件辅助可在可用时被使用。在另一方面，较高优先级资产可被赋予更多的资源并且/或者在较低优先级资产之前被处理，该较低优先级资产可能由于低优先级和/或受限的资源而被调节。此外，输入/输出设备的类型也可基于正使用的终端100的类型改变。对于本讨论，除非这里指出，否则终端之间的差异是无关紧要的。如上所述，媒体分析和处理构架116可在终端100内提供用于计算由终端100存储的媒体资产的blob描述符的工具套件。具体而言，媒体分析和处理构架116可提供如下服务，即对于一组媒体资产计算各种blob类(blobClass)(描述符、元数据、经处理的输出等)并且在数据库中存储blob。服务可分层(tier)，使得根据由请求的应用(客户端)识别的处理预算依次产生blob。类似于blobClass的类也可代表可对于资产或资产的子集执行的一组分析。对于诸如暂停/恢复功能的回放功能，blob的使用也可能是有用的。即使blob还没有完成或者至少部分地被列入黑名单，blob的部分呈现也可能是可用的。图2示出媒体分析和处理构架210与客户端220之间的交互作用200。客户端220可识别要处理的一组资产(msg.230)、每个资产的处理预算(msg.235)和要对于资产产生的一组blobClass(msg.240)。资产可以是视频、音频或图像等，并且，资产中的每一个的blobClass可包含资产的相关二进制数据。每个资产的处理预算可依赖于终端100上的处理器110的特性或终端100和/或无线网络的其它特性。媒体分析和处理构架210可响应来自应用114的调用基于处理预算配置层级(tier)的调度(框245)。媒体分析和处理构架210可确定是否存在可用于根据调度在逐个层级的基础上依次执行各层级的足够资源(框250)。如果不是，那么处理可等待直到存在足够的资源以执行层级的调度，或者可等待直到检测到所需要的或可用的资源的变化(框252)。如果资源的变化是所需要的或被检测到，那么处理可调整层级的调度。当足够的资源可用时，由于资源在终端中可用，因此处理可根据调度依次执行层级(框255)。资源可用性可基于设备用途而改变。例如，执行视频blob可需要足够的资源，因为层级的调度需要被调整以执行其它层级。作为替代方案，媒体资产可改变和需要不同的资源量，这也可影响层级的调度和执行资产的次序。该处理也可确定是否出现超时(框257)。如果是，那么层级的调度可被调整。如果不是，那么处理可继续。blob结果可在回叫中返回到客户端(msg.260)。例如，如果处理预算对于与视频数据对应的blob来本文档来自技高网...
【技术保护点】
一种用于资源受限设备上的媒体的处理的系统，该系统包括：存储器，所述存储器存储代表媒体资产和相关联的描述符的数据以及代表应用和媒体处理系统的程序指令；和处理器，所述处理器响应来自限定要对于资产执行的多个服务的应用的调用在所述程序指令代表所述媒体处理系统的情况下执行所述程序指令：基于与资产相关联的处理预算确定要对于资产执行的处理操作的分层调度；和除非中断，否则，在逐个层级的基础上迭代地执行所述处理操作。
【技术特征摘要】
2015.06.05 US 62/171,9571.一种用于资源受限设备上的媒体的处理的系统，该系统包括：存储器，所述存储器存储代表媒体资产和相关联的描述符的数据以及代表应用和媒体处理系统的程序指令；和处理器，所述处理器响应来自限定要对于资产执行的多个服务的应用的调用在所述程序指令代表所述媒体处理系统的情况下执行所述程序指令：基于与资产相关联的处理预算确定要对于资产执行的处理操作的分层调度；和除非中断，否则，在逐个层级的基础上迭代地执行所述处理操作。2.根据权利要求1所述的系统，其中，媒体处理系统进一步导致处理器基于描述符的优先级确定处理预算。3.根据权利要求2所述的系统，其中，媒体处理系统进一步导致处理器基于时间延迟确定处理预算，所述描述符应在所述时间延迟之后被产生。4.根据权利要求1所述的系统，其中，媒体处理系统进一步导致处理器基于资产类型从媒体处理系统支持的类的列表中识别计算的一组类。5.根据权利要求1所述的系统，其中，媒体处理系统进一步导致处理器基于描述符的优先级以及基于时间延迟组织分层调度。6.根据权利要求5所述的系统，其中，媒体处理系统进一步导致处理器基于资源受限设备的条件调整分层调度。7.根据权利要求1所述的系统，其中，媒体处理系统进一步导致处理器跨网络向另一资源受限设备分发分层调度。8.根据权利要求1所述的系统，其中，媒体处理系统进一步导致处理器对处理资产的尝试的次数进行计数，并且，如果尝试的次数达到预定数量，那么将资产列入黑名单。9.一种用于资源受限设备上的媒...
【专利技术属性】
技术研发人员：A·凯纳斯，张科，郑云飞，刘舒洁，翟杰夫，C·Y·昌，周小松，HJ·吴，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。