数据写入方法及设备技术

本申请提供了一种数据写入方案，该方案在接收到待写入的数据之后，对所述数据进行归类，确定归类结果，然后根据所述数据的归类结果，确定所述数据对应的数据块，最终将所述数据写入至对应的数据块中。由于在将数据写入至数据块之前，对数据进行了归类，因此预设的数据块(例如某个或者某组数据块)中都会存储属于某一归类结果的数据，而归类的策略可以根据实际使用的场景进行设定，使得归类结果与用户查询数据的需求相适应，由此在读取数据时，需要的数据集中会分布在数量较少的数据块中，从而提高效率，节约资源。

Data Writing Method and Equipment

【技术实现步骤摘要】
数据写入方法及设备
本申请涉及信息
，尤其涉及一种数据写入方法及设备。
技术介绍
在分布式存储的场景中，数据在达到数据库时会被随机写入到各个数据块中。例如，有1万个传感器，每个传感器每秒上传1条数据，因为每秒都有1万条数据写入数据库，每条数据在达到数据库时会被随机写入到各个数据块中，由于数据写入是乱序的，因此每秒的1万条数据会散落到各个不同的数据块中。在读取数据时的处理过程如图1所示，若需要读取的n条数据100分布在数据块1～n中，那么需要将这所有的n个数据块读取至共享内存区，然后从共享内存区的数据块中需要的n条数据。在此过程中，需要将这n个数据块中的所有内容读入共享内存区，然后检索出其中需要的n条数据。例如，若需要查询某一秒内10个传感器的数据，很有可能这10条数据会写入到10个不同数据块中，因此读取这10条数据时，需要将这10个数据块的所有内容读入共享内存区，然后在其中检索需要的1条数据。由于每个数据块中还包含其它无关的数据，因此目前的数据写入方式会导致读取数据时效率较低，浪费资源。申请内容本申请的一个目的是提供一种数据写入的方案，用以解决现有技术中的数据写入方式会导致读取数据时效率较低，浪费资源的问题。为实现上述目的，本申请提供了一种数据写入方法，该设备包括：接收待写入的数据，基于所述数据的内容对所述数据进行归类，确定归类结果；根据所述数据的归类结果，确定所述数据对应的数据块；将所述数据写入至对应的数据块。进一步地，接收待写入的数据，对所述数据进行归类，确定归类结果，包括：接收待写入的数据，将所述数据写入缓冲存储区；在满足触发条件时，读取所述缓冲存储区的数据，并对所述数据进行归类，确定归类结果。进一步地，对所述数据进行归类，确定归类结果，包括：基于所述数据的内容对所述数据进行归类，确定归类结果。进一步地，基于所述数据的内容对所述数据进行归类，确定归类结果，包括：基于所述数据的至少一个字段的内容对所述数据进行归类，确定归类结果。进一步地，基于所述数据的至少一个字段的内容对所述数据进行归类，确定归类结果，包括：基于所述数据的至少一个字段的内容计算所述数据的归类值；根据所述归类值和数据的归类数量，确定归类结果。进一步地，根据所述数据的归类结果，确定所述数据对应的数据块，包括：根据所述数据的归类结果，选取该数据的归类结果对应的一个待写入数据块；判断所述待写入数据块的数据量是否达到阈值，若为是，重新选取所述归类结果对应的另一待写入数据块；若为否，将选取的待写入数据块确定为所述数据对应的数据块。进一步地，将所述数据写入至对应的数据块，包括：将需要写入同一数据块的多条数据根据写入顺序写入该数据块，其中，所述写入顺序基于所述多条数据中的至少一个字段的内容进行排序确定。基于本申请的另一方面，还包括一种数据写入设备，该设备包括：传输装置，用于接收待写入的数据；归类处理装置，用于对所述数据进行归类，确定归类结果，并根据所述数据的归类结果，确定所述数据对应的数据块；数据写入装置，用于将所述数据写入至对应的数据块。进一步地，所述数据写入装置，还用于在接收到待写入的数据时，将所述数据写入缓冲存储区；所述归类处理装置，用于在满足触发条件时，读取所述缓冲存储区的数据，并对所述数据进行归类，确定归类结果。进一步地，所述归类处理装置，基于所述数据的内容对所述数据进行归类，确定归类结果。进一步地，所述归类处理装置，用于基于所述数据的至少一个字段的内容对所述数据进行归类，确定归类结果。进一步地，所述归类处理装置，用于基于所述数据的至少一个字段的内容计算所述数据的归类值，根据所述归类值和数据的归类数量，确定归类结果。进一步地，所述归类处理装置，用于根据所述数据的归类结果，选取该数据的归类结果对应的一个待写入数据块；以及判断所述待写入数据块的数据量是否达到阈值，若为是，重新选取所述归类结果对应的另一待写入数据块；若为否，将选取的待写入数据块确定为所述数据对应的数据块。进一步地，所述数据写入装置，用于将需要写入同一数据块的多条数据根据写入顺序写入该数据块，其中，所述写入顺序基于所述多条数据中的至少一个字段的内容进行排序确定。此外，本申请还提供一种数据写入设备，该设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述任一项的方法。本申请提供的方案中，在接收到待写入的数据后，对所述数据进行归类，确定归类结果，然后根据所述数据的归类结果，确定所述数据对应的数据块，最终将所述数据写入至对应的数据块中。由于在将数据写入至数据块之前，对数据进行了归类，因此预设的数据块(例如某个或者某组数据块)中都会存储属于某一归类结果的数据，而归类的策略可以根据实际使用的场景进行设定，使得归类结果与用户查询数据的需求相适应，由此在读取数据时，需要的数据集中会分布在数量较少的数据块中，从而提高效率，节约资源。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1为使用现有的方式写入数据后读取数据时的示意图；图2为本申请实施例提供的一种数据写入方法的处理流程图；图3为使用本申请实施例提供的方法在进行数据写入时的原理示意图；图4为使用本申请实施例提供的方法在进行数据写入时所使用的自定义规则的示意图；图5为使用现有的方式写入网页数据后读取数据时的示意图；图6为使用本申请实施例提供的方式写入网页数据后读取数据时的示意图；图7为本申请实施例提供的一种数据写入设备的结构示意图；图8为本申请实施例提供的另一种数据写入设备的结构示意图；附图中相同或相似的附图标记代表相同或相似的部件。具体实施方式下面结合附图对本申请作进一步详细描述。在本申请一个典型的配置中，终端、服务网络的设备均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何设备或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。在分布式存储的场景中，数据在达到数据库时会被随机写入到各个数据块中，由于数据写入是乱序的，因此容易造成用户在查询数据时，目标数据散落在各个不同的数据块中，使得读取数量较多的数据块，占用的内存过多，查询性能低。而在数据库中设置分区表可以在一定程度上应对上述问题。分区表的方式是指将一张数据表分成多个子集，每个子集即为一个分区，每一个分区中可以存放特定内容的数据。例如前述传感器数据的场景中，若使用本文档来自技高网...

【技术保护点】
1.一种数据写入方法，其中，该设备包括：接收待写入的数据，对所述数据进行归类，确定归类结果；根据所述数据的归类结果，确定所述数据对应的数据块；将所述数据写入至对应的数据块。

【技术特征摘要】
1.一种数据写入方法，其中，该设备包括：接收待写入的数据，对所述数据进行归类，确定归类结果；根据所述数据的归类结果，确定所述数据对应的数据块；将所述数据写入至对应的数据块。2.根据权利要求1所述的设备，其中，接收待写入的数据，对所述数据进行归类，确定归类结果，包括：在接收到待写入的数据时，将所述数据写入缓冲存储区；在满足触发条件时，读取所述缓冲存储区的数据，并对所述数据进行归类，确定归类结果。3.根据权利要求1或2所述的设备，其中，对所述数据进行归类，确定归类结果，包括：基于所述数据的内容对所述数据进行归类，确定归类结果。4.根据权利要求3所述的设备，其中，基于所述数据的内容对所述数据进行归类，确定归类结果，包括：基于所述数据的至少一个字段的内容对所述数据进行归类，确定归类结果。5.根据权利要求4所述的设备，其中，基于所述数据的至少一个字段的内容对所述数据进行归类，确定归类结果，包括：基于所述数据的至少一个字段的内容计算所述数据的归类值；根据所述归类值和数据的归类数量，确定归类结果。6.根据权利要求1所述的设备，其中，根据所述数据的归类结果，确定所述数据对应的数据块，包括：根据所述数据的归类结果，选取该数据的归类结果对应的一个待写入数据块；判断所述待写入数据块的数据量是否达到阈值，若为是，重新选取所述归类结果对应的另一待写入数据块；若为否，将选取的待写入数据块确定为所述数据对应的数据块。7.根据权利要求1所述的设备，其中，将所述数据写入至对应的数据块，包括：将需要写入同一数据块的多条数据根据写入顺序写入该数据块，其中，所述写入顺序基于所述多条数据中的至少一个字段的内容进行排序确定。8.一种数据写入设备，其中，该设备...

【专利技术属性】
技术研发人员：周正中，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY