一种流数据处理方法、装置及电子设备制造方法及图纸

本申请公开了一种流数据处理方法、装置及电子设备，该方法包括：接收源端传输来的流数据，所述流数据中包括至少一个数据块，其中，所述数据块具有传输的批次；将所述流数据中的数据块进行合并，得到目标文件；将所述目标文件写入到目标端，其中，所述目标文件在写入到目标端时所产生的附属信息量小于将目标文件对应的数据块直接写入到目标端时所产生的附属信息量，所述附属信息为描述对应数据的至少一个属性的信息。将数据块进行合并后，以目标文件的形式写入到目标端，减少了写入目标端的操作次数，因此可以减少产生的附属信息的量，进一步减小了对目标端内存的占用。

A Flow Data Processing Method, Device and Electronic Equipment

【技术实现步骤摘要】
一种流数据处理方法、装置及电子设备
本申请涉及流数据
，尤其涉及一种流数据处理方法、装置及电子设备。
技术介绍
在流数据从源端传输到目标端时，通常将流数据按照微批的方式进行处理。例如，对流数据进行分块，将分块的数据按照多批次并行的方式依次向目标端进行传输，每个批次上的每个数据块到达目标端时，以小文件的形式写入到目标端的硬盘中。由此，多批次并行传输的流数据通常会因为流数据的特性在目标端上产生大量的小文件，导致这些小文件的文件描述符在目标端占用大量的存储空间。因此，亟需一种能够节省目标端存储空间的流数据传输方案。
技术实现思路
有鉴于此，本申请提供一种流数据处理方法，以实现能够节省目标端存储空间的流数据传输方案。本申请提供的方案如下：一种流数据处理方法，包括：接收源端传输来的流数据，所述流数据中包括至少一个数据块，其中，所述数据块具有传输的批次；将所述流数据中的数据块进行合并，得到目标文件；将所述目标文件写入到目标端，其中，所述目标文件在写入到目标端时所产生的附属信息量小于将目标文件对应的数据块直接写入到目标端时所产生的附属信息量，所述附属信息为描述对应数据的至少一个属性的信息。优选的，所述流数据中包括至少一个批次的数据块；其中，将所述流数据中的数据块进行合并，得到目标文件，包括：对所述流数据中属于同一所述批次的数据块进行合并，得到单批次文件；在所述单批次文件满足第一缓存规则的情况下，对所述单批次文件进行合并，得到多批次文件；在所述多批次文件满足第二缓存规则的情况下，基于所述多批次文件，获得目标文件。优选的，将所述流数据中的数据块进行合并，得到目标文件，包括：在所述目标端的缓存区域中，将所述流数据中的数据块进行合并，得到目标文件。优选的，所述第一缓存规则包括：所述单批次文件的数据量大于预设的第一阈值；所述第二缓存规则包括：所述多批次文件的数据量大于预设的第二阈值。优选的，所述第一缓存规则包括：所述单批次文件的数量大于预设的第三阈值；所述第二缓存规则包括：所述多批次文件的数量大于预设的第四阈值。优选的，将所述目标文件写入到目标端，包括：将所述目标文件中的多批次文件按照文件属性写入到目标端；其中，所述文件属性至少包括：数据块批次。优选的，基于所述多批次文件，获得目标文件，包括：读取所述多批次文件中合并时间排序在前的文件，以得到目标文件。优选的，将所述目标文件写入到目标端之后，所述方法还包括：将所述缓存区域中的所述目标文件进行删除。一种流数据处理装置，包括：接收单元，接收源端传输来的流数据，所述流数据中包括至少一个数据块，其中，所述数据块具有传输的批次；合并单元，用于将所述流数据中的数据块进行合并，得到目标文件；写入单元，用于将所述目标文件写入到目标端，其中，所述目标文件在写入到目标端时所产生的附属信息量小于将目标文件对应的数据块直接写入到目标端时所产生的附属信息量，所述附属信息为描述对应数据的至少一个属性的信息。一种电子设备，包括：存储器，用于存储应用程序及所述应用程序运行所产生的数据；处理器，用于执行所述应用程序，以实现功能：接收源端传输来的流数据，所述流数据中包括至少一个数据块，其中，所述数据块具有传输的批次；将所述流数据中的数据块进行合并，得到目标文件；将所述目标文件写入到目标端，其中，所述目标文件在写入到目标端时所产生的附属信息量小于将目标文件对应的数据块直接写入到目标端时所产生的附属信息量，所述附属信息为描述对应数据的至少一个属性的信息。从上述技术方案可以看出，本申请公开的一种流数据处理方法，将数据块进行合并后，以目标文件的形式写入到目标端，减少了写入目标端的操作次数，因此可以减少产生的附属信息的量，进一步减小了对目标端内存的占用。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请公开的一种流数据处理方法的流程图；图2为本申请实施例公开的又一流数据处理方法的流程图；图3为本申请实施例公开的又一流数据处理方法的流程图；图4为本申请实施例公开的又一流数据处理方法的原理示意图；图5为本申请实施例公开的一种流数据处理装置的示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。如图1所示，为本申请公开的一种流数据处理方法的流程，包括：步骤S101：接收源端传输来的流数据。流数据是一组顺序、大量并且连续到达的数据序列，其中包括至少一个数据块，而数据块具有传输的批次，也就是说，每个数据块都具有标记其属于哪一个批次的属性信息，流数据中的数据块可能是分不同的批次传输的，也可能是同一个批次传输的。本实施例中的数据块可以是文件、文件夹或者数据表等数据类型。其可以是文本文件，也可以是音频文件或者视频文件等。步骤S102：将所述流数据中的数据块进行合并，得到目标文件。在本实施例中，将流数据中的数据块进行合并可以看做将流数据中的至少一个数据块进行合并，例如，将流数据中的数据块A、数据块B和数据块C合并为一个目标文件。具体可以基于数据块的批次对数据块进行合并，得到目标文件。步骤S103：将所述目标文件写入到目标端。在本实施例中，执行该流数据处理方法流程的可以是目标端，也可以是独立于目标端之外的一个处理器，则写入目标端可以理解为，目标端将目标文件写入其自身的存储空间内，或者，某个执行该流数据处理方法流程的处理器将目标文件发送给目标端，再由目标端将其写入自身的存储空间内。其中，目标文件在写入到目标端的存储空间时所产生的附属信息量小于将目标文件对应的数据块直接写入到目标端的存储空间时所产生的附属信息量。需要说明的是，目标文件对应的数据块是指，用于合并该目标文件时所用到的数据块。在将多个数据块写入目标端的存储空间时，会针对每个数据块生成其对应的附属信息，而将多个数据块合并得到的目标文件写入到目标端的存储空间时，只需生成针对该目标文件的附属信息即可，所以写入目标文件时的附属信息量，相应的要比将用于合并目标文件时所用到的数据块直接写入产生的数据量小。所述附属信息为描述对应数据的至少一个属性的信息，这里所指的数据可以是数据块也可以是由数据块合并后得到的目标文件。其中，属性通常包括：数据的大小、生成时间、数据类型等，附属信息则是描述上述一个或多个的属性的信息。本申请实施例公开的流数据处理方法中，将数据块进行合并后，以目标文件的形式写入到目标端，减少了写入目标端的操作次数，因此可以减少产生的附属信息的量，进一步减小了对目标端内存的占用。在本申请公开的又一流数据处理方法中，在将流数据中的数据块进行合并得到目标文件时的流程如图2所示，包括：步骤S201：对所述流数据中属于同一所述批次的数据块进行合并，得到单批次文件。在本实施例中，首先将流数据中属于同一批次的数据块进行合并，得到同一批次数据块的合并结果。在本步骤本文档来自技高网...

【技术保护点】
1.一种流数据处理方法，包括：接收源端传输来的流数据，所述流数据中包括至少一个数据块，其中，所述数据块具有传输的批次；将所述流数据中的数据块进行合并，得到目标文件；将所述目标文件写入到目标端，其中，所述目标文件在写入到目标端时所产生的附属信息量小于将目标文件对应的数据块直接写入到目标端时所产生的附属信息量，所述附属信息为描述对应数据的至少一个属性的信息。

【技术特征摘要】
1.一种流数据处理方法，包括：接收源端传输来的流数据，所述流数据中包括至少一个数据块，其中，所述数据块具有传输的批次；将所述流数据中的数据块进行合并，得到目标文件；将所述目标文件写入到目标端，其中，所述目标文件在写入到目标端时所产生的附属信息量小于将目标文件对应的数据块直接写入到目标端时所产生的附属信息量，所述附属信息为描述对应数据的至少一个属性的信息。2.根据权利要求1所述的方法，所述流数据中包括至少一个批次的数据块；其中，将所述流数据中的数据块进行合并，得到目标文件，包括：对所述流数据中属于同一所述批次的数据块进行合并，得到单批次文件；在所述单批次文件满足第一缓存规则的情况下，对所述单批次文件进行合并，得到多批次文件；在所述多批次文件满足第二缓存规则的情况下，基于所述多批次文件，获得目标文件。3.根据权利要求1或2所述的方法，将所述流数据中的数据块进行合并，得到目标文件，包括：在所述目标端的缓存区域中，将所述流数据中的数据块进行合并，得到目标文件。4.根据权利要求2所述的方法，所述第一缓存规则包括：所述单批次文件的数据量大于预设的第一阈值；所述第二缓存规则包括：所述多批次文件的数据量大于预设的第二阈值。5.根据权利要求2所述的方法，所述第一缓存规则包括：所述单批次文件的数量大于预设的第三阈值；所述第二缓存规则包括：所述多批次文件的数量大于预设的第四阈值。6.根据权利要求2所述的方法，将所述...

【专利技术属性】
技术研发人员：高鹏，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：北京,11