【技术实现步骤摘要】
本专利技术实施例涉及数据传输，尤其涉及一种数据传输方法、装置、计算机设备及存储介质。
技术介绍
1、在对数据进行迁移或者同步的背景下(例如，数据库间或从数据库间进行传输)，数据传输中会占用宝贵的网络带宽和磁盘空间，而数据写到下游需要更高的性能，需要在保证数据幂等准确的情况下提高执行的并发度以满足更高吞吐量的要求。
2、现有技术中通常需要依次对数据进行传输和串行执行。或，按照一定的规则进行并行并保持原有顺序，如对于连续的数据按表或者类似的粒度进行拆分。上述两种方式的传输效率、网络成本、磁盘成本均比较高而性能一般较低，同步过程中存在很大的同步时延，无法满足高传输速度、高执行速度、低同步时延的要求。因此，如何在数据传输时对数据进行压缩以提高吞吐量成为现在亟待解决的问题。
技术实现思路
1、鉴于此，为解决上述技术问题或部分技术问题，本专利技术实施例提供一种数据传输方法、装置、计算机设备及存储介质。
2、第一方面，本专利技术实施例提供一种数据传输方法，包括：
3、获取待传输数据中每条数据的唯一性约束值，以及获取对每条数据进行写入操作的操作类型；
4、根据所述唯一性约束值和所述操作类型对所述待传输数据进行合并处理；
5、对合并处理后的所述待传输数据进行传输。
6、在一个可能的实施方式中，所述根据所述唯一性约束值和所述操作类型对所述待传输数据进行合并处理，包括：
7、按照数据的产生顺序从待传输数据中确定唯一性约束
8、确定所述第一数据对应的第一操作类型，确定所述第二数据对应的第二操作类型；
9、根据所述第一操作类型和所述第二操作类型对所述第一数据和所述第二数据进行合并处理。
10、在一个可能的实施方式中，所述根据所述第一操作类型和所述第二操作类型对所述第一数据和所述第二数据进行合并处理，包括：
11、对所述第一数据和所述第二数据合并处理后，得到第三数据；
12、当所述第一操作类型和所述第二操作类型均为插入操作时，确定所述第三数据的第三操作类型为插入操作；
13、或，当所述第一操作类型为插入操作，所述第二操作类型为修改操作时，确定所述第三数据的第三操作类型为插入操作；
14、或，当所述第一操作类型为插入操作，所述第二操作类型为删除操作时，确定所述第三数据的第三操作类型为空。
15、在一个可能的实施方式中，所述根据所述第一操作类型和所述第二操作类型对所述第一数据和所述第二数据进行合并处理，包括：
16、当所述第一操作类型和所述第二操作类型均为修改操作时，确定所述第三数据的第三操作类型为修改操作；
17、或，当所述第一操作类型为修改操作，所述第二操作类型为删除操作时，确定所述第三数据的第三操作类型为删除操作；
18、或，当所述第一操作类型为修改操作，所述第二操作类型为插入操作时，确定所述第三数据的第三操作类型为修改操作。
19、在一个可能的实施方式中，所述根据所述第一操作类型和所述第二操作类型对所述第一数据和所述第二数据进行合并处理，包括：
20、当所述第一操作类型和所述第二操作类型均为删除操作时，确定所述第三数据的第三操作类型为删除操作；
21、或，当所述第一操作类型为删除操作，所述第二操作类型为修改操作时，确定所述第三数据的第三操作类型为删除操作；
22、或，当所述第一操作类型为删除操作，所述第二操作类型为插入操作时，确定所述第三数据的第三操作类型为修改操作。
23、在一个可能的实施方式中，所述方法还包括：
24、按照数据的产生顺序依次遍历所述待传输数据中每个数据的唯一性约束值；
25、当确定所述待传输数据中的第四数据不存在唯一性约束值相同的数据时，对所述第四数据进行传输。
26、在一个可能的实施方式中，所述对合并处理后的所述待传输数据进行传输，包括：
27、确定用于接收数据的目标存储位置；
28、将合并处理后的所述待传输数据按照产生顺序并行传输到所述目标存储位置中。
29、第二方面，本专利技术实施例提供一种数据传输装置，包括：
30、获取模块，用于获取待传输数据中每条数据的唯一性约束值，以及获取对每条数据进行写入操作的操作类型；
31、处理模块，用于根据所述唯一性约束值和所述操作类型对所述待传输数据进行合并处理；
32、传输模块，用于对合并处理后的所述待传输数据进行传输。
33、第三方面，本专利技术实施例提供一种计算机设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的数据传输程序，以实现上述第一方面中任一项所述数据传输方法。
34、第四方面，本专利技术实施例提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面中任一项所述数据传输方法。
35、本专利技术实施例提供的数据传输方案，通过获取待传输数据中每条数据的唯一性约束值，以及获取对每条数据进行写入操作的操作类型；根据所述唯一性约束值和所述操作类型对所述待传输数据进行合并处理；对合并处理后的所述待传输数据进行传输。由此，可以实现在数据传输过程中在保证数据结果幂等的情况下根据数据的唯一性约束值和写入操作类型进行合并，通过合并降低了数据量而产生了压缩的效果；在压缩的基础上因数据间没有冲突而可按需并行执行到下游，从而提升执行的性能和系统吞吐量，以及数据传输效率。
本文档来自技高网...【技术保护点】
1.一种数据传输方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述唯一性约束值和所述操作类型对所述待传输数据进行合并处理，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一操作类型和所述第二操作类型对所述第一数据和所述第二数据进行合并处理，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一操作类型和所述第二操作类型对所述第一数据和所述第二数据进行合并处理，包括：
5.根据权利要求3所述的方法，其特征在于，所述根据所述第一操作类型和所述第二操作类型对所述第一数据和所述第二数据进行合并处理，包括：
6.根据权利要求2所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述对合并处理后的所述待传输数据进行传输，包括：
8.一种数据传输装置，其特征在于，包括：
9.一种计算机设备，其特征在于，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的数据传输程序，以实现权利要求1～7中任一项所述数据传
10.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1～7中任一项所述数据传输方法。
...【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述唯一性约束值和所述操作类型对所述待传输数据进行合并处理，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一操作类型和所述第二操作类型对所述第一数据和所述第二数据进行合并处理，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一操作类型和所述第二操作类型对所述第一数据和所述第二数据进行合并处理，包括：
5.根据权利要求3所述的方法，其特征在于，所述根据所述第一操作类型和所述第二操作类型对所述第一数据和所述第二数据进...
【专利技术属性】
技术研发人员：殷晓飞，
申请(专利权)人：金篆信科有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。