用于数据传送的快速串行化制造技术

本公开描述了串行化数据以用于数据传送的方法、系统和计算机程序产品。一种计算机实现的方法包括：分析存储在第一数据库中的数据列以确定至少一个串行化参数，所述至少一个串行化参数包括重复计数器、复制计数器或变量类型；基于重复计数器或复制计数器中的至少一个确定与数据相关联的数据串行化方案，其中数据串行化方案包括重复方案或者复制方案中的至少一个；基于变量类型确定与数据相关联的变量串行化方案；对于存储在第一数据库中的每列数据，重复分析、确定数据串行化方案、和确定变量串行化方案；使用与数据相关联的数据串行化方案和与数据相关联的变量串行化方案，串行化存储在第一数据库中的数据；以及将串行化数据传送到第二数据库。

【技术实现步骤摘要】

本公开涉及数据处理。
技术介绍
一般情况下，当数据从源数据库传送到目标数据库时，所传送的数据在传送之前被串行化。源数据库和目标数据库可以位于计算机网络的不同节点、一个位置中的不同存储组件、或它们的组合。在串行化(serialization)处理期间，源系统可以顺次读出存储在源数据库中的数据。然后源系统可以将串行化的数据写入传送介质以便将数据传送到目标系统。目标系统可以从传送介质读出传送的数据并且可以将传送的数据解串行化。在解串行化(deserialization)的处理中，目标系统可以创建目标数据库，并且将传送的数据顺次地写入目标数据库。一般情况下，在解串行化处理期间使用的写入顺序对应于在串行化处理期间使用的读出顺序。
技术实现思路
本公开涉及用于数据传送操作中的串行化处理的计算机实现的方法、计算机可读介质和计算机系统。一种用于提高从第一数据库到第二数据库的数据传送效率的计算机实现的方法包括：分析存储在第一数据库中的数据列以确定至少一个串行化参数，所述至少一个串行化参数包括重复(repetition)计数器、复制(replication)计数器或变量类型；基于重复计数器或复制计数器中的至少一个确定与数据相关联的数据串行化方案，其中数据串行化方案包括重复方案或者复制方案中的至少一个；基于变量类型确定与数据相关联的变量串行化方案；对于存储在第一数据库中的每列数据，重复所述分析、所述确定数据串行化方案、和所述确定变量串行化方案；使用与数据相关联的数据串行化方案和与数据相关联的变量串行化方案，来串行化存储在第一数据库中的数据；以及将串行化的数据传送到第二数据库。这个方面的其他实现包括相应计算机系统、装置、和记录在一种或多种计算机存储设备上的计算机程序，每一个都配置成执行所述方法的动作。一个或多个计算机的系统可以配置成通过将在操作时使系统执行特定动作的软件、固件、硬件或软件、固件、硬件的组合安装在系统上来执行特定操作或动作。一个或多个计算机程序可以配置成通过包括指令来执行特定操作或动作，其中当所述指令被数据处理设备执行时使该数据处理设备执行所述动作。上述和其他实现中的每一个可以可选地单独或组合地包括如下特征中的一个或多个：第一方面，可与一般实现结合，还包括：在分析之前，确定第一数据库是否是基于行的数据库；以及如果第一数据库是基于行的数据库，则将第一数据库传送到基于列的数据库。第二方面，可与任何一个前述方面结合，还包括：压缩串行化数据；以及传送压缩的串行化数据。第三方面，可与任何一个前述方面结合，其中，确定数据串行化方案还包括：如果重复计数器小于预定限制，则确定数据串行化方案包括重复方案；以及如果重复计数器大于或等于预定限制而且复制计数器大于预定阈值时，则确定数据串行化方案包括复制方案。第四方面，可与任何一个前述方面结合，其中，确定变量串行化方案还包括：如果变量类型是整数，则确定变量串行化包括整数方案；以及如果变量类型是字符，则确定变量串行化包括字符方案。第五方面，可与任何一个前述方面结合，其中，重复方案包括：将重复计数器写入传送介质；将值集合中的至少一个值串行化到传送介质；确定与数据值相对应的索引；以及将索引写入传送介质。第六方面，可与任何一个前述方面结合，其中，复制方案包括：将附加值计数器设置为零；将数据值写入传送介质；读出下一个数据值；响应于下一个数据值等于该数据值的确定，将附加值计数器增加一；以及将附加值计数器写入传送介质。在本说明书中描述的主题可以在特定实现中实现，以便实现如下优点中的一个或多个。例如，数据量在串行化/解串行化处理期间被减少。因此，数据传送的速度增加。当对所存储的数据的访问速度很慢时，例如，当数据被存储在硬盘上或计算机网络的远程位置中时，或当传送的数据被存储在大型表中时，性能改善会是显著的。此外，在快速网络中，可以评估压缩时间和数据量减少之间的折衷，以提高数据传送的整体性能。本说明书的主题的一种或多种实现的细节展示在附图和下面的描述中。该主题的其他特征、方面和优点将从该描述、附图和权利要求书中明显看出。附图说明图1是示出根据实现的用于数据传送的串行化系统的高层次架构框图。图2是根据实现的在用于数据传送的串行化系统中使用的示例性计算机的框图。图3A到图3B是示出根据实现的分析处理的方法的流程图。图4是示出根据实现的用于确定串行化方案的处理的方法的流程图。图5是示出根据实现的串行化处理的方法的流程图。图6是示出根据实现的解串行化处理的方法的流程图。图7是示出根据实现的基于复制方案的串行化处理的方法的流程图。图8是示出根据实现的基于复制方案的解串行化处理的方法的流程图。图9是示出根据实现的基于重复方案的串行化处理的方法的流程图。图10是示出根据实现的基于重复方案的解串行化处理的方法的流程图。图11是示出根据实现的基于字符方案的串行化处理的方法的流程图。在各图中，相同的参考标记和标号指示相同元件。具体实施方式给出如下详细描述以使本领域的普通技术人员能够做出、使用和/或实践所公开的主题，而且如下描述是在一个或多个特定实现的背景下提供的。对本领域技术人员来说，对公开的实现的各种修改将是非常明显的，并且本文定义的一般原理可以应用于其他实现和应用而不脱离本公开的范围。因此，本公开不打算限制描述和/或示出的实施例，而是符合与本文公开的原理和特征一致的最宽的范围。在一些情况下，压缩方案，例如，ZIP或GZIP，可以在数据传送中使用以减少传送的数据量。这些压缩方案可能使用大量的处理器时间。当传送介质的传送速度很快时，由于减少的数据量所节省的传输时间可能被用于压缩数据的时间抵消。另一方面，使用快速串行化方案来串行化数据可以在串行化/解串行化处理期间减少数据量，并且因此增加了数据传送速度，而需要很少或不需要额外的处理器时间。有时，可以根据传送介质的速度选择性地使用快速串行化方案和压缩方案。例如，在连接较慢的广域网(WAN)上，因为压缩率可以更高，所以可以使用压缩方案而没有快速串行化。相反，在快速传送介质例如直接局域网(LAN)连接上，可以使用快速串行化方案。在一些情况下，快速串行化方案可以与压缩方案，诸如GZIP/ZIP，组合使用，因为快速串行化可以减少用于压缩快速串行化的数据的时间。在一些情况下，快速串行化方案可以使用关于数据格式、数据内容或其组合的知识。数据格式的知识可以包括字符、整数或其他格式。数据内容的知识可以包括最本文档来自技高网...

【技术保护点】
一种用于改进从第一数据库到第二数据库的数据传送效率的计算机实现的方法，该方法包括：分析存储在第一数据库中的数据列以确定至少一个串行化参数，所述至少一个串行化参数包括重复计数器、复制计数器或变量类型；基于重复计数器或复制计数器中的至少一个确定与数据相关联的数据串行化方案，其中数据串行化方案包括重复方案或者复制方案中的至少一个；基于变量类型确定与数据相关联的变量串行化方案；对于存储在第一数据库中的每列数据，重复所述分析、所述确定数据串行化方案、和所述确定变量串行化方案；使用与数据相关联的数据串行化方案和与数据相关联的变量串行化方案，串行化存储在第一数据库中的数据；以及将串行化数据传送到第二数据库。

【技术特征摘要】
2014.12.12 US 14/568,8641.一种用于改进从第一数据库到第二数据库的数据传送效率的计算机实现的方法，该
方法包括：
分析存储在第一数据库中的数据列以确定至少一个串行化参数，所述至少一个串行化
参数包括重复计数器、复制计数器或变量类型；
基于重复计数器或复制计数器中的至少一个确定与数据相关联的数据串行化方案，其
中数据串行化方案包括重复方案或者复制方案中的至少一个；
基于变量类型确定与数据相关联的变量串行化方案；
对于存储在第一数据库中的每列数据，重复所述分析、所述确定数据串行化方案、和所
述确定变量串行化方案；
使用与数据相关联的数据串行化方案和与数据相关联的变量串行化方案，串行化存储
在第一数据库中的数据；以及
将串行化数据传送到第二数据库。
2.如权利要求1所述的方法，还包括：
在所述分析之前，确定第一数据库是否是基于行的数据库；以及
如果第一数据库是基于行的数据库，则将第一数据库传送为基于列的数据库。
3.如权利要求1所述的方法，其中，传送还包括：
压缩串行化数据；以及
传送压缩的串行化数据。
4.如权利要求1所述的方法，其中，确定数据串行化方案还包括：
如果重复计数器小于预定限制，则确定数据串行化方案包括重复方案；以及
如果重复计数器大于或等于所述预定限制而且复制计数器大于预定阈值时，则确定数
据串行化方案包括复制方案。
5.如权利要求1所述的方法，其中，确定变量串行化方案还包括：
如果变量类型是整数，则确定变量串行化包括整数方案；以及
如果变量类型是字符，则确定变量串行化包括字符方案。
6.如权利要求1所述的方法，其中，所述重复方案包括：
将重复计数器写入传送介质；
将值集合中的至少一个值串行化到传送介质；
确定与数据值相对应的索引；以及
将索引写入传送介质。
7.如权利要求1所述的方法，其中，复制方案包括：
将附加值计数器设置为零；
将数据值写入传送介质；
读出下一个数据值；
响应于下一个数据值等于该数据值的确定，将附加值计数器增加一；以及
将附加值计数器写入传送介质。
8.一种用于改进从第一数据库到第二数据库的数据传送效率的系统，该系统包括：
存储器；以及
至少一个硬件处理器，其与存储器互操作地耦合并且被配置为：
分析存储在第一数据库中的数据列以确定至少一个串行化参数，所述至少一个串行化
参数包括重复计数器、复制计数器或变量类型；
基于重复计数器或复制计数器中的至少一个确定与数据相关联的数据串行化方案，其
中数据串行化方案包括重复方案或者复制方案中的至少一个；
基于变量类型确定与数据相关联的变量串行化方案；
对于存储在第一数据库中的每列数据，重复所述分析、所述确定数据串行化方案、和所
述确定变量串行化方案；
使用与数据相关联的数据串行化方案和与数据相关联的变量串行化方案，串行化存储
在第一数据库中的数据；以及
将串行化数据传送到第二数据库。
9.如权利要求8所述的系统，其中，所述至少一个硬件处理器还被配置为：
在所述分析之前，确定第一数据库是否是基于行的数据库；以及
如果第一数据库是基于行的数...

【专利技术属性】
技术研发人员：M阿克，
申请(专利权)人：SAP欧洲公司，
类型：发明
国别省市：德国;DE