数据传输及校验的方法、系统、计算机设备及存储介质技术方案

本发明专利技术公开了一种数据传输及校验的方法、系统、计算机设备及存储介质，所述方法包括：业务接收接口接收由用户端发送的业务数据，将业务数据存储到第一数据表中并将业务数据通过接口传输协议实时发送至业务处理平台；业务处理平台将通过接口传输协议实时发送来的业务数据存储到第二数据表中；业务接收接口将包含在第一数据表中的多个业务数据形成批次文件，并将批次文件通过文件传输协议发送至业务处理平台；业务处理平台利用通过文件传输协议发送来的批次文件对第二数据表中的业务数据进行校验，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据；本发明专利技术能够校验数据传输过程中是否出现丢失的业务数据，并对业务数据进行修正。务数据进行修正。务数据进行修正。

【技术实现步骤摘要】
数据传输及校验的方法、系统、计算机设备及存储介质


[0001]本专利技术涉及传输协议
，特别涉及一种数据传输及校验的方法、系统、计算机设备及存储介质。

技术介绍

[0002]在现有的数据传输的过程中，通常使用超文本传输协议HTTP进行实时的数据传输，但该传输方式可以会受到网络抖动的影响而造成数据丢失；此外，如果使用安全文件传送协议SFTP进行文件传输，会导致数据无法实时发送至业务处理平台，从而影响数据的处理时效，同时，对一些需要在较短时间内做出及时反馈的数据，无法及时将处理结果反馈给用户，影响用户体验。
[0003]有鉴于此，有必要对目前数据的传输方式进行进一步的改进。

技术实现思路

[0004]本专利技术的目的在于提供一种数据传输及校验的方法、系统、计算机设备及存储介质，能够校验数据传输过程中是否出现丢失的业务数据，并对业务数据进行修正。
[0005]根据本专利技术的一个方面，提供了一种数据传输及校验的方法，应用于业务系统，其中，所述业务系统包括：业务接收接口和业务处理平台，该方法包括如下步骤：
[0006]所述业务接收接口接收由用户端发送的业务数据，将所述业务数据存储到第一数据表中并将所述业务数据通过接口传输协议实时发送至所述业务处理平台；
[0007]所述业务处理平台将通过接口传输协议实时发送来的业务数据存储到第二数据表中，并对所述第二数据表中的业务数据进行业务处理；
[0008]所述业务接收接口将包含在所述第一数据表中的多个业务数据形成批次文件，并将所述批次文件通过文件传输协议发送至所述业务处理平台；
[0009]所述业务处理平台利用通过文件传输协议发送来的批次文件对所述第二数据表中的业务数据进行校验，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据。
[0010]可选的，所述业务接收接口将包含在所述第一数据表中的多个业务数据形成批次文件，具体包括：
[0011]所述业务接收接口按照预设时间间隔定期从所述第一数据表中获取在所述预设时间间隔内新增的业务数据，并将在所述预设时间间隔内新增的业务数据形成一个批次文件；或者，
[0012]所述业务接收接口每当在所述第一数据表中新增设定数量的业务数据时，将新增的设定数量的业务数据形成一个批次文件；或者，
[0013]所述业务接收接口在一个时间周期内，判断在所述第一数据表中新增的业务数据是否达到设定数量，若是，则将所述设定数量的业务数据形成一个批次文件并结束当前时间周期进入下一时间周期，若否，则当所述时间周期结束时将在所述时间周期内产生的业
务数据形成一个批次文件。
[0014]可选的，所述将所述批次文件通过文件传输协议发送至所述业务处理平台，具体包括：
[0015]所述业务接收接口将所述批次文件中各个业务数据中的指定指标的指标值进行累加得到指标参考值；
[0016]所述业务接收接口利用哈希算法根据所述批次文件中所有业务数据生成第一校验值；
[0017]所述业务接收接口将所述批次文件、所述指标参考值和所述第一校验值通过文件传输协议发送至所述业务处理平台。
[0018]可选的，所述业务处理平台利用通过文件传输协议发送来的批次文件对所述第二数据表中的业务数据进行校验，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据，具体包括：
[0019]当所述业务处理平台接收到通过文件传输协议发送来的批次文件时，从所述第二数据库中获取与所述批次文件对应的业务数据，并将获取到的业务数据作为校验业务数据；
[0020]所述业务处理平台将各个校验业务数据中的指定指标的指标值进行累加得到指标校验值；
[0021]所述业务处理平台判断所述指标校验值与所述指标参考值是否一致，若是，则判定通过接口传输协议实时发送来的业务数据完整；若否，则通过所述批次文件对所述校验业务数据进行核查，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据。
[0022]可选的，所述当所述业务处理平台接收到通过文件传输协议发送来的批次文件时，从所述第二数据库中获取与所述批次文件对应的业务数据，并将获取到的业务数据作为校验业务数据，具体包括：
[0023]所述业务处理平台利用哈希算法根据接收到的所述批次文件中所有业务数据生成第二校验值；
[0024]所述业务处理平台判断所述第一校验值和所述第二校验值是否一致，若是，则从所述第二数据表中获取与所述批次文件对应的业务数据，并将获取到的业务数据作为校验业务数据。
[0025]可选的，所述通过所述批次文件对所述校验业务数据进行核查，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据，具体包括：
[0026]所述业务处理平台为接收到的所述批次文件中的每个业务数据均添加未匹配的匹配标识符；其中，所述匹配标识符包括：未匹配和已匹配；
[0027]所述业务处理平台将所述批次文件中的业务数据与所述校验业务数据进行匹配，并将与所述校验业务数据完成匹配的所述批次文件中的业务数据的匹配标识符修改为已匹配；
[0028]所述业务处理平台将所述批次文件中匹配标识符为未匹配的业务数据作为丢失的业务数据添加到所述第二数据表中。
[0029]可选的，所述接口传输协议为超文本传输协议HTTP，所述文件传输协议为安全文件传送协议SFTP。
[0030]为了实现上述目的，本专利技术还提供一种数据传输及校验的方法的系统，该系统具体包括以下组成部分：业务接收接口和业务处理平台；
[0031]其中，所述业务接收接口，用于接收由用户端发送的业务数据，将所述业务数据存储到第一数据表中并将所述业务数据通过接口传输协议实时发送至所述业务处理平台；将包含在所述第一数据表中的多个业务数据形成批次文件，并将所述批次文件通过文件传输协议发送至所述业务处理平台；
[0032]所述业务处理平台，用于将通过接口传输协议实时发送来的业务数据存储到第二数据表中，并对所述第二数据表中的业务数据进行业务处理；利用通过文件传输协议发送来的批次文件对所述第二数据表中的业务数据进行校验，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据。
[0033]为了实现上述目的，本专利技术还提供一种计算机设备，该计算机设备具体包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述介绍的数据传输及校验的方法的步骤。
[0034]为了实现上述目的，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述介绍的数据传输及校验的方法的步骤。
[0035]本专利技术提供的数据传输及校验的方法、系统、计算机设备及存储介质，业务接收接口通过接口传输协议业务处理平台发送业务数据以及通过文件传输协议向业务处理平台发送批次文件，并在业务处理平台使用哈希算法校验批次文件，并通过业务数据的指标校验值校验指标参考值，可以有效的检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输及校验的方法，其特征在于，应用于业务系统，其中，所述业务系统包括：业务接收接口和业务处理平台，所述方法包括：所述业务接收接口接收由用户端发送的业务数据，将所述业务数据存储到第一数据表中并将所述业务数据通过接口传输协议实时发送至所述业务处理平台；所述业务处理平台将通过接口传输协议实时发送来的业务数据存储到第二数据表中，并对所述第二数据表中的业务数据进行业务处理；所述业务接收接口将包含在所述第一数据表中的多个业务数据形成批次文件，并将所述批次文件通过文件传输协议发送至所述业务处理平台；所述业务处理平台利用通过文件传输协议发送来的批次文件对所述第二数据表中的业务数据进行校验，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据。2.根据权利要求1所述的数据传输及校验的方法，其特征在于，所述业务接收接口将包含在所述第一数据表中的多个业务数据形成批次文件，具体包括：所述业务接收接口按照预设时间间隔定期从所述第一数据表中获取在所述预设时间间隔内新增的业务数据，并将在所述预设时间间隔内新增的业务数据形成一个批次文件；或者，所述业务接收接口每当在所述第一数据表中新增设定数量的业务数据时，将新增的设定数量的业务数据形成一个批次文件；或者，所述业务接收接口在一个时间周期内，判断在所述第一数据表中新增的业务数据是否达到设定数量，若是，则将所述设定数量的业务数据形成一个批次文件并结束当前时间周期进入下一时间周期，若否，则当所述时间周期结束时将在所述时间周期内产生的业务数据形成一个批次文件。3.根据权利要求1所述的数据传输及校验的方法，其特征在于，所述将所述批次文件通过文件传输协议发送至所述业务处理平台，具体包括：所述业务接收接口将所述批次文件中各个业务数据中的指定指标的指标值进行累加得到指标参考值；所述业务接收接口利用哈希算法根据所述批次文件中所有业务数据生成第一校验值；所述业务接收接口将所述批次文件、所述指标参考值和所述第一校验值通过文件传输协议发送至所述业务处理平台。4.根据权利要求3所述的数据传输及校验的方法，其特征在于，所述业务处理平台利用通过文件传输协议发送来的批次文件对所述第二数据表中的业务数据进行校验，以确定出在通过接口传输协议进行数据传输过程中丢失的业务数据，具体包括：当所述业务处理平台接收到通过文件传输协议发送来的批次文件时，从所述第二数据库中获取与所述批次文件对应的业务数据，并将获取到的业务数据作为校验业务数据；所述业务处理平台将各个校验业务数据中的指定指标的指标值进行累加得到指标校验值；所述业务处理平台判断所述指标校验值与所述指标参考值是否一致，若是，则判定通过接口传输协议实时发送来的业务...

【专利技术属性】
技术研发人员：徐从洋，
申请(专利权)人：未鲲上海科技服务有限公司，
类型：发明
国别省市：