数据加工方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种数据加工方法、装置、设备及计算机可读存储介质，本发明专利技术通过获取自定义加工规则；根据所述自定义加工规则生成嵌入式数据库文件；根据所述嵌入式数据库文件，生成计算逻辑，并根据所述计算逻辑对原始数据进行加工，本发明专利技术可提高数据加工方法的扩展性。本发明专利技术可提高数据加工方法的扩展性。本发明专利技术可提高数据加工方法的扩展性。

【技术实现步骤摘要】
数据加工方法、装置、设备及计算机可读存储介质


[0001]本专利技术涉及数据分析
，尤其涉及一种数据加工方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]随着数字化时代的迅速发展，对数据的加工分析在各行各业的应用越来越普遍，目前通常是利用大数据流式计算技术，实时的对日志数据进行加工。但是在实际应用场景中，为实现使用自定义规则对日志数据进行加工，通常采取的手段为在专注处理实时计算的中间件中不断添加定制化的规则，而定制的规则通常仅适用于当前特定的场景，数据加工的扩展性较差。
[0003]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0004]本专利技术的主要目的在于提供一种数据加工方法、装置、设备及计算机可读存储介质，旨在解决现有技术中数据加工的扩展性较差的技术问题。
[0005]为实现上述目的，本专利技术提供一种数据加工方法，所述数据加工方法包括：获取自定义加工规则；根据所述自定义加工规则生成嵌入式数据库文件；根据所述嵌入式数据库文件生成计算逻辑，并根据所述计算逻辑对原始数据进行加工。
[0006]可选地，所述根据所述自定义加工规则生成嵌入式数据库文件的步骤包括：获取自定义加工规则中的自定义函数和自定义规则；对所述自定义函数和自定义规则进行预处理，生成嵌入式数据库文件。
[0007]可选地，所述对所述自定义函数和自定义规则进行预处理，生成嵌入式数据库文件的步骤包括：对所述自定义函数进行解析，得到所述自定义函数的函数名称、函数返回值类型、参数和参数类型；将所述自定义规则和所述函数名称、函数返回值类型、参数、参数类型存储至嵌入式数据库文件中，生成嵌入式数据库文件。
[0008]可选地，所述根据所述自定义加工规则生成嵌入式数据库文件的步骤包括：获取自定义加工规则中的自定义外部扩展数据；对所述自定义外部扩展数据进行结构化处理，生成嵌入式数据库文件。
[0009]可选地，所述根据所述嵌入式数据库文件生成计算逻辑的步骤包括：通过中间件挂载所述嵌入式数据库文件，获得所述嵌入式数据库文件中的自定义函数、自定义规则和自定义外部扩展数据；
根据所述自定义函数和所述自定义外部扩展数据对所述自定义规则进行调整，得到计算逻辑。
[0010]可选地，根据所述自定义加工规则生成嵌入式数据库文件的步骤包括：若监听到所述自定义加工规则存在更新，则获取更新后的自定义加工规则；根据所述更新后的自定义加工规则，同步更新嵌入式数据库文件。
[0011]可选地，所述根据所述计算逻辑对原始数据进行加工的步骤包括：若检测到原始数据传输，且检测到存在自定义加工规则，则在基础加工流程上追加所述自定义规则对所述原始数据进行数据加工。
[0012]此外，为实现上述目的，本专利技术还提供一种数据加工装置，所述数据加工装置包括：规则获取单元，用于获取自定义加工规则；规则处理单元，用于根据所述自定义加工规则生成嵌入式数据库文件；数据加工单元，用于根据所述嵌入式数据库文件，生成计算逻辑，并根据所述计算逻辑对原始数据进行加工。
[0013]此外，为实现上述目的，本专利技术还提供一种数据加工设备，所述数据加工设备包括存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的数据加工程序，所述数据加工程序被处理器执行时实现如上述的数据加工方法的步骤。
[0014]此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据加工程序，所述数据加工程序被处理器执行时实现如上述的数据加工方法的步骤。
[0015]本专利技术提供一种数据加工方法、装置、设备及计算机可读存储介质，首先获取自定义的加工规则，然后根据自定义的加工规则生成嵌入式数据库文件，进而根据嵌入式数据库文件生成计算逻辑，并根据计算逻辑对原始数据进行加工，将自定义加工规则生成嵌入式数据库文件，将所有的自定义加工规则存储到嵌入式数据库文件中，以文件的形式存储仅需要进行一次传输操作，有效减少了流式计算中的网络调用，且根据嵌入式数据库文件中的自定义函数、自定义规则动态生成计算逻辑，根据计算逻辑对原始数据进行加工，用户可根据不同的场景配置多种自定义加工规则，增强了数据加工的扩展性。
附图说明
[0016]图1是本专利技术实施例方案涉及的硬件运行环境的设备的结构示意图；图2为本专利技术数据加工方法第一实施例的流程示意图；图3为本专利技术数据加工方法涉及的一应用场景的流程示意图；图4为本专利技术数据加工方法涉及的另一应用场景的流程示意图；图5为本专利技术数据加工装置的装置结构示意图。
[0017]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0018]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基
于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0019]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0020]参照图1，图1为本专利技术实施例方案涉及的硬件运行环境的设备结构示意图。
[0021]本专利技术实施例设备可以为PC（personal computer，个人计算机）、便携计算机、服务器等终端设备。
[0022]如图1所示，该数据加工设备可以包括：处理器1001，例如CPU（Central Processing Unit，中央处理器），通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless
‑
FIdelity，WI
‑
FI）。存储器1005可以是高速的随机存取存储器（Random Access Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non
‑
Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
[0023]本领域技术人员可以理解，图1中示出的结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0024]如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据加工程序。
[0025]在图1所示的设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端（用户端），与客户端进行数据通信；而处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据加工方法，其特征在于，所述数据加工方法包括步骤：获取自定义加工规则；根据所述自定义加工规则生成嵌入式数据库文件；根据所述嵌入式数据库文件生成计算逻辑，并根据所述计算逻辑对原始数据进行加工。2.如权利要求1所述的数据加工方法，其特征在于，所述根据所述自定义加工规则生成嵌入式数据库文件的步骤包括：获取自定义加工规则中的自定义函数和自定义规则；对所述自定义函数和自定义规则进行预处理，生成嵌入式数据库文件。3.如权利要求2所述的数据加工方法，其特征在于，所述对所述自定义函数和自定义规则进行预处理，生成嵌入式数据库文件的步骤包括：对所述自定义函数进行解析，得到所述自定义函数的函数名称、函数返回值类型、参数和参数类型；将所述自定义规则和所述函数名称、函数返回值类型、参数、参数类型存储至嵌入式数据库文件中，生成嵌入式数据库文件。4.如权利要求1所述的数据加工方法，其特征在于，所述根据所述自定义加工规则生成嵌入式数据库文件的步骤包括：获取自定义加工规则中的自定义外部扩展数据；对所述自定义外部扩展数据进行结构化处理，生成嵌入式数据库文件。5.如权利要求1所述的数据加工方法，其特征在于，所述根据所述嵌入式数据库文件生成计算逻辑的步骤包括：通过中间件挂载所述嵌入式数据库文件，获得所述嵌入式数据库文件中的自定义函数、自定义规则和自定义外部扩展数据；根据所述自...

【专利技术属性】
技术研发人员：许筱欢，
申请(专利权)人：深圳市明源云科技有限公司，
类型：发明
国别省市：