【技术实现步骤摘要】
面向业务流式数据处理的领域特定语言组件及其运作方法
本专利技术涉及一种数据处理技术，具体涉及一种面向金融业务流式数据处理的领域特定语言组件及其运作方法，尤其是应用于以金融期货为主的金融衍生品业务中。
技术介绍
随着大数据时代的飞速发展，业界对数据处理系统的容量要求日益提升。2003年Google提出的Map/Reduce技术，从框架层面解决了平台伸缩困难、海量计算容错困难等问题，通过集中大量的廉价物理机，进行海量的数据处理。彼时的大数据处理依赖于底层HDFS对全量数据的预先处理存储，并且Map/Reduce框架本身要求数据处理人员有一定的Java编码能力，能够熟练的基于其框架规则编码实现数据的处理逻辑。但该框架虽然解决了对大量历史数据的快速分析，却并不能够处理实时的流式数据，进行针对实时的流式数据分析。随着用户对数据处理性能要求的进一步提升，近年来数据处理平台也日益成熟，以HadoopMap/Reduce为基础的生态圈进一步完善。Spark的出现标志着以内存为主要计算数据存储介质的计算框架的诞生，目标数据从传统磁盘到...
【技术保护点】
1.一种面向业务流式数据处理的领域特定语言组件，其特征在于，包括外部接口模块、全局事件观察引擎，其中全局事件观察引擎包括编译期模块和执行期模块，其中：/n外部接口模块，用于为接入的宿主程序提供外部接口注入的功能；/n编译期模块，用于读取用户自定义的符合设定的语法规范的领域特定语言文件，经过词法分析、语法分析和语义规则检查后生成EQL/SQL的逻辑执行计划或者基于LLVM的中间层IR，其中中间层IR的中间结果以树结构维护，遍历中间结果树可生成最终执行期所需的EQL/SQL物理执行计划和基于LLVM的执行期代码段，其中LLVM是构架编译器，EQL是基于流事件驱动的类SQL语句，...
【技术特征摘要】
1.一种面向业务流式数据处理的领域特定语言组件，其特征在于，包括外部接口模块、全局事件观察引擎，其中全局事件观察引擎包括编译期模块和执行期模块，其中：
外部接口模块，用于为接入的宿主程序提供外部接口注入的功能；
编译期模块，用于读取用户自定义的符合设定的语法规范的领域特定语言文件，经过词法分析、语法分析和语义规则检查后生成EQL/SQL的逻辑执行计划或者基于LLVM的中间层IR，其中中间层IR的中间结果以树结构维护，遍历中间结果树可生成最终执行期所需的EQL/SQL物理执行计划和基于LLVM的执行期代码段，其中LLVM是构架编译器，EQL是基于流事件驱动的类SQL语句，SQL是普通批处理SQL语句；
执行期模块，用于针对经过词法分析、语法分析、语义规则检查后生成的EQL/SQL逻辑执行计划，将逻辑执行计划编译为可执行的二进制机器码，生成针对不同事件流监听及处理的规则句柄，同时将生成的所有规则句柄按照用户指定的先后次序注册至全局事件观察引擎中。
2.根据权利要求1所述的面向业务流式数据处理的领域特定语言组件，其特征在于，编译期模块的词法分析和语法分析均是基于ANTLR的处理，其中ANTLR是根据输入自动生成语法树并可视化显示的开源语法分析器，编译期模块的词法分析配置为包括语句及表达式、模式管理器、命名空间管理器，编译期模块的语法分析配置为包块类型、类型转换管理器和基于LLMV的FFI机制处理模块，编译期模块的语义规则检查包括模式注册、模式检查、类型推导。
3.根据权利要求2所述的面向业务流式数据处理的领域特定语言组件，其特征在于，编译期模块进一步配置为针对自定义类C语法及SQL语法的解析、语义分析，识别其中涉及的变量、表、流模型结构，并分命名空间进行注册管理，进行相应的模式匹配检查，通过遍历ANTLR生成的抽象语法树结构，挖掘其中所有的检查规则，生成对应的EQL/SQL的逻辑执行计划，对所有的检查规则进行描述。
4.一种基于如权利要求1至3中任一项的面向业务流式数据处理的领域特定语言组件的运作方法，其特...
【专利技术属性】
技术研发人员：胡嘉伟，余峰，张备战，李雯，董绍婵，王桢，
申请(专利权)人：上海金融期货信息技术有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。