一种数据处理方法及系统技术方案

本申请提供一种数据处理方法及系统，该方法包括：预先分配共享内存；其中，共享内存用于缓存客户端与服务端之间的交换数据；当需要与服务端进行数据交换时，获取待发送数据；根据预设的数据格式，对待发送数据进行转换处理，得到目标数据；将目标数据写入共享内存，以使服务端从共享内存中读取目标数据。可见，该方法能够快速准确地实现客户端与服务端的数据交换，从而减小CPU负担，降低内存消耗，更有利于提升数据处理效率。于提升数据处理效率。于提升数据处理效率。

【技术实现步骤摘要】
一种数据处理方法及系统


[0001]本申请涉及数据处理
，具体而言，涉及一种数据处理方法及系统。

技术介绍

[0002]大数据是指所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。现有的大数据处理框架中，客户端生产的日志数据需要先通过网络发送给服务器，由服务器进行数据处理和存储。在实践中发现，现有方法中，客户端需要将数据转换为json数据，然后再由服务器将json数据进行转换过后再处理入库，字符串和其他数据类型之间的转换容易加重CPU负担，同时也增加了内存消耗，同时使用JSON类型的数据，会导致某些数据类型(浮点数)的精度丢失。可见，现有方法CPU负担大，内存消耗大，数据精度低，从而降低了数据处理效率。

技术实现思路

[0003]本申请实施例的目的在于提供一种数据处理方法及系统，能够快速准确地实现客户端与服务端的数据交换，从而减小CPU负担，降低内存消耗，更有利于提升数据处理效率。
[0004]本申请实施例第一方面提供了一种数据处理方法，应用于客户端，包括：
[0005]预先分配共享内存；其中，所述共享内存用于缓存客户端与服务端之间的交换数据；
[0006]当需要与所述服务端进行数据交换时，获取待发送数据；
[0007]根据预设的数据格式，对所述待发送数据进行转换处理，得到目标数据；
[0008]将所述目标数据写入所述共享内存，以使所述服务端从所述共享内存中读取所述目标数据。r/>[0009]在上述实现过程中，该方法可以优先预先分配共享内存；并在需要与服务端进行数据交换时，获取待发送数据。然后，该方法再根据预设的数据格式，对待发送数据进行转换处理，得到目标数据。最后，该方法再将目标数据写入共享内存，以使服务端从共享内存中读取目标数据。可见，该方法能够快速准确地实现客户端与服务端的数据交换，从而减小CPU负担，降低内存消耗，更有利于提升数据处理效率。
[0010]进一步地，在所述预先分配共享内存之后，所述方法还包括：
[0011]与所述服务端约定预设的数据格式；其中，所述数据格式包括在所述共享内存中表示tabular data的数据格式。
[0012]进一步地，所述数据格式在所述共享内存中表示数据的基本单元是数组，所述数组由数据类型部分、缓冲区部分、数组长度部分、null值的数量、字典编码中的一个或多个部分组成。
[0013]进一步地，所述根据预设的数据格式，对所述待发送数据进行转换处理，得到目标数据，包括：
[0014]根据预设的数据格式，将所述待发送数据转换为数组数据；
[0015]对所述数组数据进行序列化汇总，得到有序批量集合；
[0016]对所述有序批量集合进行二进制字节流转化处理，得到目标数据；其中，所述目标数据为序列化二进制流数据。
[0017]本申请实施例第二方面提供了一种数据处理方法，应用于服务端，包括：
[0018]当需要与客户端进行数据交换时，确定与所述客户端之间预设的共享内存；
[0019]根据预设的数据格式，从所述共享内存中读取所述客户端写入的目标数据；
[0020]对所述目标数据进行相应的业务处理。
[0021]在上述实现过程中，该方法可以优先当需要与客户端进行数据交换时，确定与客户端之间预设的共享内存；再根据预设的数据格式，从共享内存中读取客户端写入的目标数据；最后，再对目标数据进行相应的业务处理。可见，该方法能够快速准确地实现客户端与服务端的数据交换，从而减小CPU负担，降低内存消耗，更有利于提升数据处理效率。
[0022]进一步地，所述方法还包括：
[0023]对存储所述目标数据的内存进行释放处理。
[0024]本申请实施例第三方面提供了一种数据处理系统，所述数据处理系统包括客户端和服务端，其中，
[0025]所述客户端，用于预先分配共享内存；其中，所述共享内存用于缓存客户端与服务端之间的交换数据；
[0026]所述客户端，还用于当需要与所述服务端进行数据交换时，获取待发送数据；
[0027]所述客户端，还用于根据预设的数据格式，对所述待发送数据进行转换处理，得到目标数据；
[0028]所述客户端，还用于将所述目标数据写入所述共享内存，以使所述服务端从所述共享内存中读取所述目标数据；
[0029]所述服务端，用于当需要与客户端进行数据交换时，确定与所述客户端之间预设的共享内存；
[0030]所述服务端，还用于根据预设的数据格式，从所述共享内存中读取所述客户端写入的目标数据；
[0031]所述服务端，还用于对所述目标数据进行相应的业务处理。
[0032]在上述实现过程中，该系统能够快速准确地实现客户端与服务端的数据交换，从而减小CPU负担，降低内存消耗，更有利于提升数据处理效率。
[0033]进一步地，所述客户端，还用于在所述预先分配共享内存之后，与所述服务端约定预设的数据格式；其中，所述数据格式包括在所述共享内存中表示tabular data的数据格式。
[0034]进一步地，所述数据格式在所述共享内存中表示数据的基本单元是数组，所述数组由数据类型部分、缓冲区部分、数组长度部分、null值的数量、字典编码中的一个或多个部分组成。
[0035]进一步地，所述客户端，具体用于根据预设的数据格式，将所述待发送数据转换为数组数据；
[0036]所述客户端，具体还用于对所述数组数据进行序列化汇总，得到有序批量集合；
[0037]所述客户端，具体还用于对所述有序批量集合进行二进制字节流转化处理，得到
目标数据；其中，所述目标数据为序列化二进制流数据。
[0038]进一步地，所述服务端，具体还用于对存储所述目标数据的内存进行释放处理。
[0039]本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的数据处理方法。
[0040]本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中任一项所述的数据处理方法。
附图说明
[0041]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0042]图1为本申请实施例提供的一种数据处理方法的流程示意图；
[0043]图2为本申请实施例提供的另一种数据处理方法的流程示意图；
[0044]图3为本申请实施例提供的又一种数据处理方法的流程示意图；...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于客户端，包括：预先分配共享内存；其中，所述共享内存用于缓存客户端与服务端之间的交换数据；当需要与所述服务端进行数据交换时，获取待发送数据；根据预设的数据格式，对所述待发送数据进行转换处理，得到目标数据；将所述目标数据写入所述共享内存，以使所述服务端从所述共享内存中读取所述目标数据。2.根据权利要求1所述的数据处理方法，其特征在于，在所述预先分配共享内存之后，所述方法还包括：与所述服务端约定预设的数据格式；其中，所述数据格式包括在所述共享内存中表示tabular data的数据格式。3.根据权利要求2所述的数据处理方法，其特征在于，所述数据格式在所述共享内存中表示数据的基本单元是数组，所述数组由数据类型部分、缓冲区部分、数组长度部分、null值的数量、字典编码中的一个或多个部分组成。4.根据权利要求1所述的数据处理方法，其特征在于，所述根据预设的数据格式，对所述待发送数据进行转换处理，得到目标数据，包括：根据预设的数据格式，将所述待发送数据转换为数组数据；对所述数组数据进行序列化汇总，得到有序批量集合；对所述有序批量集合进行二进制字节流转化处理，得到目标数据；其中，所述目标数据为序列化二进制流数据。5.一种数据处理方法，其特征在于，应用于服务端，包括：当需要与客户端进行数据交换时，确定与所述客户端之间预设的共享内存；根据预设的数据格式，从所述共享内存中读取所述客户端写入的目标数据；对所述目标数据进行相应的业务处理。6.根据权利要求5所述...

【专利技术属性】
技术研发人员：熊自新，徐钟豪，
申请(专利权)人：上海斗象信息科技有限公司，
类型：发明
国别省市：