数据传输方法、数据存储方法、装置、服务器及存储介质制造方法及图纸

本发明专利技术实施例提供了一种数据传输方法、数据存储方法、装置、服务器及存储介质，其中传输方法包括：获取待传输数据如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识；发送数据传输请求。其中存储方法包括：接收数据传输请求；判断本地是否存在批次标识的已存储标记；当存在批次标识的已存储标记时，确定批次数据已被存储，数据传输请求为重复传输请求；当不存在批次标识的已存储标记时，确定批次数据未被存储；存储批次数据，为批次标识增加已存储标记。本发明专利技术实施例能够提高大数据量传输时的数据传输准确性。

【技术实现步骤摘要】
数据传输方法、数据存储方法、装置、服务器及存储介质
本专利技术涉及大数据通信
，特别是涉及一种数据传输方法、数据存储方法、装置、服务器及存储介质。
技术介绍
大型互联网服务提供商的服务节点通常分布于全国各地，用于提供业务服务。为了优化、保障或辅助于业务服务，分布于全国各地的服务节点需要与后端节点进行通信，向后端节点发送业务相关数据，以便后端节点能够针对业务相关数据进行运算处理，从而实现实时或者离线的分析统计、业务计费等。具体的，各服务节点中部署的代理服务Agent(代理端服务器)通过网络与后端节点的服务Server(服务端服务器)建立连接，实现代理端服务器与服务端服务器之间的数据传输。例如，位于不同地域的代理端服务器将大量日志数据发送至服务端服务器，服务端服务器接收日志数据后，对大量的日志数据进行统计分析。服务端服务器通常会接收来自不同地域的代理端服务器的数据，以基于接收到的数据进行运算处理。当分布于不同地域的数个代理端服务器与服务端服务器进行数据传输时，其数据传输规模可能高达5Gbps甚至50Gbps，可以认为是一种大数据传输过程，大数据传输的准确性，对于后续的数据运算是至关重要的。而现有的数据传输方法，代理端服务器通常是逐条发送数据，服务端服务器也是逐条接收数据，在进行数据传输时，尤其是大数据量数据传输时，在网络状况异常时，很容易出现数据的丢失和数据的重复传输，非常影响数据传输准确性。
技术实现思路
本专利技术实施例的目的在于提供一种数据传输方法、数据存储方法、装置、服务器及存储介质，以提高数据传输过程中数据的准确性。具体技术方案如下：第一方面，本专利技术实施例提供了一种数据传输方法，应用于代理端服务器，所述方法包括：获取待传输数据；如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识，所述批次标识用于标示所述批次数据的批次；发送数据传输请求，所述数据传输请求中携带有所述批次标识及所述批次数据；其中，所述发送条件包括：所述待传输数据的条数达到预设条数，或者，发送时间间隔达到预设时间间隔。可选地，在所述发送数据传输请求前，所述方法还包括：对所述数据传输请求进行第一处理；所述发送数据传输请求包括：发送所述第一处理后的数据传输请求；其中，所述第一处理包括压缩处理和/或加密处理。可选地，所述加密处理包括AK/SK加密处理。可选地，所述发送数据传输请求之前，所述方法还包括：基于所述代理端服务器的网络运营商，确定用于进行数据传输的路由信息；所述发送数据传输请求的步骤，包括：通过所确定的路由信息确定数据的传输链路后，向服务端服务器发送所述数据传输请求。可选地，述基于所述代理端服务器的网络运营商，确定用于进行数据传输的路由信息的步骤包括：确定所述代理端服务器的网络运营商；根据所确定的网络运营商，在预设的多个目标IP地址中选择与该网络运营商对应的目标IP地址，其中，所述目标IP地址为所述服务端服务器的IP地址，不同的目标IP地址分配有不同的传输链路，且所述多个目标IP地址对应同一域名。可选地，当所选择的目标IP地址分配的传输链路出现异常时，所述方法还包括：将当前选择的目标IP地址切换至所述预设的多个目标IP地址中的其它目标IP地址；通过切换后的目标IP地址分配的传输链路，发送所述数据传输请求。可选地，所述方法还包括：判断当前已发送的数据总量是否达到第一预设阈值；如果已发送的数据总量达到第一预设阈值，停止获取预设的低优先级的待传输数据，和/或，延长数据传输请求的发送时间间隔。第二方面，本专利技术实施例提供了一种数据存储方法，应用于服务端服务器，所述方法包括：接收代理端服务器的数据传输请求，所述数据传输请求中携带有批次标识及批次数据，所述批次标识用于标示所述批次数据的批次；判断本地是否存在所述批次标识的已存储标记；当不存在所述批次标识的已存储标记时，确定所述批次数据未被存储；存储所述批次数据，并为所述批次标识增加已存储标记。可选地，所述代理端服务器对所述数据传输请求进行了第一处理；在接收代理端服务器的数据传输请求后，所述方法还包括：对所述数据传输请求进行与所述第一处理对应的第二处理；其中，所述第一处理包括压缩和/或加密处理，所述第二处理相应包括解压缩和/或解密处理。可选地，所述加密处理为AK/SK加密处理；所述对所述数据传输请求进行与所述第一处理对应的第二处理包括：对所述数据传输请求进行AK/SK解密处理，以确定所述数据传输请求中的批次数据没有恶意数据灌入。可选地，在所述接收代理端服务器的数据传输请求后，所述方法还包括：判断所述代理端服务器是否属于预设白名单中的服务器；当判断为所述代理端服务器属于预设白名单中的服务器时，确定所述服务器为安全服务器。可选地，所述方法还包括：判断当前所接收的数据总量是否达到第二预设阈值；如果当前所接收的数据总量达到第二预设阈值时，停止接收预设的低优先级批次数据，并继续接收预设的高优先级批次数据。第三方面，本专利技术实施例提供了一种数据传输装置，应用于代理端服务器，所述装置包括：应用于代理端服务器，所述装置包括：获取模块，用于获取待传输数据；批次确定模块，用于如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识，所述批次标识用于标示所述批次数据的批次；发送模块，用于发送数据传输请求，所述数据传输请求中携带有所述批次标识及所述批次数据；其中，所述发送条件包括：所述待传输数据的条数达到预设条数，或者，发送时间间隔达到预设时间间隔。可选地，所述装置还包括：第一处理模块，用于对所述数据传输请求进行第一处理；所述发送模块，具体用于：发送所述第一处理后的数据传输请求；其中，所述第一处理包括压缩处理和/或加密处理。可选地，所述加密处理包括AK/SK加密处理。可选地，所述装置还包括：第一确定模块，用于基于所述代理端服务器的网络运营商，确定用于进行数据传输的路由信息。所述发送模块，具体用于：通过所确定的路由信息，向服务端服务器发送所述数据传输请求。可选地，所述第一确定模块，包括：确定子模块，用于确定所述代理端服务器的网络运营商；选择子模块，用于根据所确定的网络运营商，在预设的多个目标IP地址中选择与该网络运营商对应的目标IP地址，其中，所述目标IP地址为所述服务端服务器的IP地址，不同的目标IP地址分配有不同的传输链路，且所述多个目标IP地址对应同一域名。可选地，所述装置还包括：切换模块，用于当所选择的目标IP地址分配的传输链路出现异常时，将当前选择的目标IP地址切换至所述预设的多个目标IP地址中的其它目标IP地址；所述发送模块，具体用于：通过切换后的目标IP地址分配的传输链路，发送所述数据传输请求。可选地，所述装置还包括：第一判断模块，用于判断当前已发送的数据总量是否达到第一预设阈值；停止模块，用于如果已发送的数据总量达到第一预设阈值，停止获取预设的低优先级的待传输数据，和/或，延长数据传输请求的发送时间间隔。第四方面，专利技术实施例提供了一种数据存储装置，应用于服务端服务器，所述装置包括：接收模块，用于接收代理端服务器的数据传输请求，所述数据传输请求中携带有批次标识及批次数据，所述批次标识用于标示所述批次数据的本文档来自技高网...

【技术保护点】
1.一种数据传输方法，其特征在于，应用于代理端服务器，所述方法包括：获取待传输数据；如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识，所述批次标识用于标示所述批次数据的批次；发送数据传输请求，所述数据传输请求中携带有所述批次标识及所述批次数据；其中，所述发送条件包括：所述待传输数据的条数达到预设条数，或者，发送时间间隔达到预设时间间隔。

【技术特征摘要】
1.一种数据传输方法，其特征在于，应用于代理端服务器，所述方法包括：获取待传输数据；如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识，所述批次标识用于标示所述批次数据的批次；发送数据传输请求，所述数据传输请求中携带有所述批次标识及所述批次数据；其中，所述发送条件包括：所述待传输数据的条数达到预设条数，或者，发送时间间隔达到预设时间间隔。2.根据权利要求1所述的方法，其特征在于，在所述发送数据传输请求前，所述方法还包括：对所述数据传输请求进行第一处理；所述发送数据传输请求包括：发送所述第一处理后的数据传输请求；其中，所述第一处理包括压缩处理和/或加密处理。3.根据权利要求2所述的方法，其特征在于，所述加密处理包括AK/SK加密处理。4.根据权利要求1至3任一项所述的方法，其特征在于，所述发送数据传输请求之前，所述方法还包括：基于所述代理端服务器的网络运营商，确定用于进行数据传输的路由信息；所述发送数据传输请求的步骤，包括：通过所确定的路由信息确定数据的传输链路后，向服务端服务器发送所述数据传输请求。5.根据权利要求4所述的方法，其特征在于，所述基于所述代理端服务器的网络运营商，确定用于进行数据传输的路由信息的步骤包括：确定所述代理端服务器的网络运营商；根据所确定的网络运营商，在预设的多个目标IP地址中选择与该网络运营商对应的目标IP地址，其中，所述目标IP地址为所述服务端服务器的IP地址，不同的目标IP地址分配有不同的传输链路，且所述多个目标IP地址对应同一域名。6.根据权利要求5所述的方法，其特征在于，当所选择的目标IP地址分配的传输链路出现异常时，所述方法还包括：将当前选择的目标IP地址切换至所述预设的多个目标IP地址中的其它目标IP地址；通过切换后的目标IP地址分配的传输链路，发送所述数据传输请求。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：判断当前已发送的数据总量是否达到第一预设阈值；如果已发送的数据总量达到第一预设阈值，停止获取预设的低优先级的待传输数据，和/或，延长数据传输请求的发送时间间隔。8.一种数据存储方法，其特征在于，应用于服务端服务器，所述方法包括：接收代理端服务器的数据传输请求，所述数据传输请求中携带有批次标识及批次数据，所述批次标识用于标示所述批次数据的批次；判断本地是否存在所述批次标识的已存储标记；当不存在所述批次标识的已存储标记时，确定所述批次数据未被存储；存储所述批次数据，并为所述批次标识增加已存储标记。9.根据权利要求8所述的方法，其特征在于，所述代理端服务器对所述数据传输请求进行了第一处理；在接收代理端服务器的数据传输请求后，所述方法还包括：对所述数据传输请求进行与所述第一处理对应的第二处理；其中，所述第一处理包括压缩和/或加密处理，所述第二处理相应包括解压缩和/或解密处理。10.根据权利要求9所述的方法，其特征在于，所述加密处理为AK/SK加密处理；所述对所述数据传输请求进行与所述第一处理对应的第二处理包括：对所述数据传输请求进行AK/SK解密处理，以确定所述数据传输请求中的批次数据没有恶意数据灌入。11.根据权利要求10所述的方法，其特征在于，在所述接收代理端服务器的数据传输请求后，所述方法还包括：判断所述代理端服务器是否属于预设白名单中的服务器；当判断为所述代理端服务器属于预设白名单中的服务器时，确定所述服务器为安全服务器。12.根据权利要求8或9所述的方法，其特征在于，所述方法还包括：判断当前所接收的数据总量是否达到第二预设阈值；如果当前所接收的数据总量达到第二预设阈值时，停止接收预设的低优先级批次数据，并继续接收预设的高优先级批次数据。13.一种数据传输装置，其特征在于，应用于代理端服务器，所述装置包括：获取模块，用于获取待传输数据；批次确定模块，用于如果满足所述待传输数据的发送条件，将所获取的待传输数据确定为批次数据，并为所述批次数据设置唯一的批次标识，所述批次标识用于标示所述批次数据的批次；发送模块，用于发送数据传输请求，所述数据传输请求中携带有所述批次标识及所述批次数据；其中，所述发送条件包括：所述待传输数据的条数达到预设条数，或者，发送时间间隔达到预设时间间隔。14.根据权利要求13所述的装置，其特征在于，所述装置还包括：第一处理模块，用于对所述数据传输请求进行第一处理；所述发送模块，具体用于：发送所述第一处理后的数据传输请求；其中，所述第一处理包括压缩处理和/或加密处理。15.根据权利要求14所述的装置，其特征在于，所述加密处理包括AK/SK加密处理。16.根据权利要求13-15任一项所述的装置，其特征在于，所述装置还包括：第一确...

【专利技术属性】
技术研发人员：关海南，邹静，
申请(专利权)人：北京金山云网络技术有限公司，北京金山云科技有限公司，
类型：发明
国别省市：北京,11