对数据流进行处理的方法和设备技术

本公开提供一种对数据流进行处理的方法，该方法可以实现在计算装置中，其中计算装置可以包括在组合处理装置中，该组合处理装置还可以包括通用互联接口和其他处理装置。所述计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与计算装置和其他处理装置连接，用于计算装置和其他处理装置的数据。用于计算装置和其他处理装置的数据。用于计算装置和其他处理装置的数据。

【技术实现步骤摘要】
对数据流进行处理的方法和设备


[0001]本公开涉及计算机领域，更具体地，涉及对数据流进行处理的领域。

技术介绍

[0002]目前视频结构化系统应用广泛，可用在各种场景中，比如智能视频分析、智慧交通、智慧城市、自动驾驶等。视频结构化通常包括目标检测、目标追踪、结构化信息分析等环节，目标检测会从视频帧中得到的行人、车辆等目标的类别、位置等信息，结构化分析是对目标检测后得到的目标进一步分析，获取行人属性、车辆属性、车牌等信息。
[0003]但是，视频经过目标检测器后会得到大量待分析的目标，对这些目标全部进行结构化属性分析会导致算力浪费，影响结构化系统的整体性能。此外，目标检测后得到的目标质量参差不齐，目标质量的好坏会影响结构化属性分析的准确率，若不进行筛选全部对其进行分析则得不到很好的效果。

技术实现思路

[0004]本公开的至少一个目的在于解决视频和音频结构化时结构化系统的性能受到影响的缺陷。
[0005]根据本公开的一个方面，提供一种对数据流进行处理的方法，包括：接收经过一级处理的中间数据流，所述中间数据流包括多个中间数据单元；从所述多个中间数据单元中选择至少一个中间数据单元，以与二级处理的要求相匹配。
[0006]根据本公开的第二个方面，提供一种电子设备，包括：一个或多个处理器；以及存储器，所述存储器中存储有计算机可执行指令，当所述计算机可执行指令由所述一个或多个处理器运行时，使得所述电子设备执行如上所述的方法。
[0007]根据本公开的第三方面，提供一种计算机可读存储介质，包括计算机可执行指令，当所述计算机可执行指令由一个或多个处理器运行时，执行如上所述的方法。
附图说明
[0008]通过参考附图阅读下文的详细描述，本披露示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本披露的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
[0009]图1示出了一种对数据流进行结构化处理的系统的示意性框图；
[0010]图2示出了根据本公开的一个实施方式的对数据流进行处理的方法；
[0011]图3示出了根据本公开一个实施方式的从所述多个中间数据单元中选择至少一个中间数据单元的流程图；
[0012]图4a至图4c以视频帧为例示出了根据本公开一个实施方式的对视频帧进行选择和丢弃的示意图；
[0013]图5a和图5b示出了根据本公开另一个实施方式的对视频帧进行选择和丢弃的方
法流程图；
[0014]图6a和图6b示出了根据本公开的一个实施方式的选择数据单元队列中的一个数据单元队列的方法流程图；
[0015]图7a示出了根据本公开一个实施方式的数据单元的序列；图7b示出了根据本公开一个实施方式的更新最优数据单元池的情形；图7c示出了根据本公开一个实施方式的更新最优数据单元池的情形；
[0016]图8a至图8b示出了根据本公开一个实施方式的对出现于视频帧中特定区域的特定目标进行检测的示意图；
[0017]图9示出了一种组合处理装置；
[0018]图10提供了一种示例性板卡。
具体实施方式
[0019]下面将结合本披露实施例中的附图，对本披露实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本披露一部分实施例，而不是全部的实施例。基于本披露中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本披露保护的范围。
[0020]应当理解，本披露的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本披露的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0021]还应当理解，在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本披露。如在本披露说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本披露说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0022]以上对本披露实施例进行了详细介绍，本文中应用了具体个例对本披露的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本披露的方法及其核心思想。同时，本领域技术人员依据本披露的思想，基于本披露的具体实施方式及应用范围上做出的改变或变形之处，都属于本披露保护的范围。综上所述，本说明书内容不应理解为对本披露的限制。
[0023]图1示出了一种对数据流进行结构化处理的系统的示意性框图。
[0024]如图1所示，该系统包括一级处理装置和二级处理装置，该系统的输入数据可以是视频流、音频流、视频和音频混合的数据流等，一级处理装置通常是将该数据流中的目标对象选择或标识出来，对于视频而言，这些目标例如可以包括车辆、路标、车道线、行人、障碍等等。在这些目标被标识出来之后，可以通过二级处理装置对这些被标识的目标进行进一步的处理，例如识别车辆的颜色、型号、车牌、车轴、行人携带的物品、走向等等。通过这样的结构化处理，能够较为准确地对整个视频流进行处理，以得到期望的信息，并为后续的进一步应用(例如自动驾驶)提供数据支持。另外，对于音频而言，例如对于一个交响乐的音频流，一级处理装置例如可以首先标识出特定频率范围内的音频流，而二级处理装置则可以
进一步分析所标识的该音频流所对应的乐器类别、响度、是否合拍等，从而为提供更详实和准确的数据以便于对交响乐的质量进行分析或者便于进行音乐教学管理。
[0025]在上面的图1中，将一级处理装置的输出称为中间数据流，本公开的方案主要涉及对中间数据流进行处理。此外，在本公开的上下文中，中间数据流包括视频流和/或音频流；每个中间数据流包括多个数据单元，数据单元可以是视频帧和/或音频帧，多个视频帧和/或组合在一起构成中间数据流。
[0026]本公开目的在于挑选出适合的数据单元，例如视频帧或音频帧以进行二级处理。
[0027]图2示出了根据本公开的一个实施方式的对数据流进行处理的方法，包括：在操作S210，接收经过一级处理的中间数据流，所述中间数据流包括多个中间数据单元；在操作S230，从所述多个中间数据单元中选择至少一个中间数据单元，以与二级处理的要求相匹配。
[0028]更具体而言，在本公开中，每个数据单元中可以包括多个目标内容。具体而言，每个视频帧可以包括多个对象，例如车辆、行人、路标、信号灯、行车线等等。而对于一个音频帧而言，例如一个交响乐团的音频帧，其中可能包括了大号、小号、小提琴、大提琴甚至和歌唱的声音。对于视频而言，目标内容即视频帧中存在的一个或多个对象，而对于音频而言，目标内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对数据流进行处理的方法，包括：接收经过一级处理的中间数据流，所述中间数据流包括多个中间数据单元；从所述多个中间数据单元中选择至少一个中间数据单元，以与二级处理的要求相匹配。2.根据权利要求1所述的方法，其中，从所述多个中间数据单元中选择至少一个中间数据单元以与二级处理的要求相匹配包括：接收当前中间数据单元；响应于所述当前中间数据单元具有优于预设数据单元中预设目标内容的目标内容，选择所述当前中间数据单元以与二级处理的要求相匹配；以及响应于所述当前中间数据单元不具有优于预设数据单元中预设目标内容的目标内容，丢弃所述当前数据单元。3.根据权利要求2所述的方法，其中，响应于所述当前中间数据单元具有优于预设数据单元中预设目标内容的目标内容，所述方法还包括：将预设数据单元更新为当前数据单元。4.根据权利要求2所述的方法，进一步包括：根据预设数据单元中包含的预设目标内容的数量，将所述预设数据单元复制为多个预设数据单元副本，每个副本与一个预设目标内容相绑定。5.根据权利要求4所述的方法，其中，响应于所述当前中间数据单元具有优于预设数据单元中预设目标内容的目标内容，所述方法还包括：基于绑定的预设目标内容来将预设数据单元的副本更新为当前数据单元。6.根据权利要求1所述的方法，其中，从所述多个中间数据单元中选择至少一个中间数据单元以与二级处理的要求相匹配包括：形成数据单元队列，所述数据单元队列包括至少一个中间数据单元；形成最优数据单元池，所述最优数据单元池包括具有局部最优目标内容的局部最优数据单元；接收当前中间数据单元，并确定所述中间数据单元是否包含优于所述局部最优数据单元的目标内容，如果是，则将所述当前中间数据单元加入所述数据单元队列的队尾；将局部最优数据单元更新为处于队尾的中间数据单元，并预选所述该处于队尾的中间数据单元；如果否，则丢弃所述当前中间数据单元。7.根据权利要求1所述的方法，其中，从所述多个中间数据单元中选择至少一个中间数据单元以与二级处理的要求相匹配包括：形成数据单元队列，所述数据单元队列包括至少一个中间数据单元；形成最优数据单元池，所述最优数据单元池包括具有局部最优目标内容的局部最优数据单元；接收当前中间数据单元，并将所述当前中间数据单元加入所述数据单元队列的队尾；循环地确定处于队尾的中间数据单元是否包含优于所述局部最优数据单元的目标内容，
如果是，则将局部最优数据单元更新为处于队尾的中间数据单元，并预选该处于队尾的中间数据单元。8.根据权利要求6或7所述的方法，其中，将局部最优数据单元更新为处于队尾的中间数据单元还包括：根据局部最优数据单元中包含的局部最优目标内容的数量，将所述局部最优数据单元复制为多个局部最优数据单元副本，每个副本与一个局部最优目标内容相绑定；并且，将局部最优数据单元更新为处于队尾的中间数据单元包括：基于绑定的局部最优目标内容来将局部最优数据单元的副本更新为当前数据单元。9.根据权利要求6
‑
8中任意一项所述的方法，进一步包括：循环地确定所述数据单元队列队首的中间数据单元是否存在于所述最优...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海寒武纪信息科技有限公司，
类型：发明
国别省市：