本发明专利技术公开了一种金融数据处理方法、装置、设备及存储介质，涉及金融科技领域，该方法包括：接收到业务处理指令后，获取预设周期时间内的联机业务数据；将所述联机业务数据转换为非关系型数据；对所述非关系型数据进行业务重构，启动预设分布式处理节点处理重构后的非关系型数据，得到所述预设周期时间内的小结数据。本发明专利技术通过对联机业务数据进行数据交换、业务重构和分布式并行计算，提高了大数据量金融数据的处理效率。融数据的处理效率。融数据的处理效率。
【技术实现步骤摘要】
金融数据处理方法、装置、设备及存储介质
[0001]本专利技术涉及金融科技领域，尤其涉及一种金融数据处理方法、装置、设备及存储介质。
技术介绍
[0002]近年来，互联网正在革命性地改变着传统金融的面貌。互联网“开放、平等、协作、分享”的精神正在对传统金融业态渗透，互联网与金融两个行业都感受到了巨大变化。一方面金融机构主动利用互联网平台改造传统业务模式，另一方面互联网公司依赖技术和平台开始渗透到金融领域。金融参与者通过互联网有了更有效的直接接触，使得传统金融业务的透明度更高，中间成本更低，方式上更为便捷。
[0003]在传统的金融业务系统中，采用集中式处理方式进行周期性的批处理，由于数据量巨大，其耗费的跑批时间长，处理效率低。
技术实现思路
[0004]本专利技术的主要目的在于提供一种金融数据处理方法、装置、设备及存储介质，旨在解决金融业务系统中大数据量数据处理效率低的问题。
[0005]为实现上述目的，本专利技术提供一种金融数据处理方法，该方法包括：
[0006]接收到业务处理指令后，获取预设周期时间内的联机业务数据；
[0007]将所述联机业务数据转换为非关系型数据；
[0008]对所述非关系型数据进行业务重构，启动预设分布式处理节点处理重构后的非关系型数据，得到所述预设周期时间内的小结数据。
[0009]可选地，所述获取预设周期时间内的联机业务数据的步骤包括：
[0010]检测分布式缓存中的联机业务数据是否有效；
[0011]若所述分布式缓存中的联机业务数据有效，则从所述分布式缓存中获取所述预设周期时间内的联机业务数据；
[0012]若所述分布式缓存中的联机业务数据无效，则从预设关系型数据库中获取所述预设周期时间内的联机业务数据，将所述预设周期时间内的联机业务数据更新至所述分布式缓存中。
[0013]可选地，所述将所述联机业务数据转换为非关系型数据的步骤包括：
[0014]调用预设数据交换组件将所述业务处理指令转换为映射任务；
[0015]根据所述映射任务将所述联机业务数据迁移至预设分布式存储系统中，将所述预设分布式存储系统中的联机业务数据作为所述非关系型数据。
[0016]可选地，所述对所述非关系型数据进行业务重构，启动预设分布式处理节点处理重构后的非关系型数据的步骤包括：
[0017]根据所述业务处理指令中的业务类型信息，对所述非关系型数据进行分类，得到各个类别的非关系型数据；
[0018]分别为所述各个类别的非关系型数据分配对应的预设分布式处理节点，通过启动各所述预设分布式处理节点分别处理对应类别的非关系型数据。
[0019]可选地，在所述启动预设分布式处理节点处理重构后的非关系型数据，得到所述预设周期时间内的小结数据的步骤之后，还包括：
[0020]判断所述小结数据是否为预设缓存类型数据；
[0021]若所述小结数据不为预设缓存类型数据，则将所述小结数据存储至预设联机数据库；
[0022]若所述小结数据为预设缓存类型数据，则将所述小结数据存储至所述预设分布式存储系统。
[0023]可选地，在所述若所述小结数据为预设缓存类型数据，则将所述小结数据存储至所述预设分布式存储系统的步骤之后，还包括：
[0024]在接收到联机业务处理系统的数据调用请求后，通过预设数据接口向所述联机业务处理系统发送所述小结数据，其中，所述预设数据接口基于所述预设分布式存储系统设置。
[0025]可选地，在所述启动预设分布式处理节点处理重构后的非关系型数据的步骤之后，还包括：
[0026]若检测到所述预设分布式处理节点在预设时间段内未返回所述小结数据，则确定与所述预设分布式处理节点的处理任务的业务关联度最高的空闲分布式处理节点；
[0027]调用所述空闲分布式处理节点处理所述重构后的非关系型数据。
[0028]此外，为实现上述目的，本专利技术还提供一种金融数据处理装置，所述金融数据处理装置包括：
[0029]获取模块，用于接收到业务处理指令后，获取预设周期时间内的联机业务数据；
[0030]转换模块，用于将所述联机业务数据转换为非关系型数据；
[0031]处理模块，用于对所述非关系型数据进行业务重构，启动预设分布式处理节点处理重构后的非关系型数据，得到所述预设周期时间内的小结数据。
[0032]获取模块，还用于：
[0033]检测分布式缓存中的联机业务数据是否有效；
[0034]若所述分布式缓存中的联机业务数据有效，则从所述分布式缓存中获取所述预设周期时间内的联机业务数据；
[0035]若所述分布式缓存中的联机业务数据无效，则从预设关系型数据库中获取所述预设周期时间内的联机业务数据，将所述预设周期时间内的联机业务数据更新至所述分布式缓存中。
[0036]转换模块，还用于：
[0037]调用预设数据交换组件将所述业务处理指令转换为映射任务；
[0038]根据所述映射任务将所述联机业务数据迁移至预设分布式存储系统中，将所述预设分布式存储系统中的联机业务数据作为所述非关系型数据。
[0039]处理模块，还用于：
[0040]根据所述业务处理指令中的业务类型信息，对所述非关系型数据进行分类，得到各个类别的非关系型数据；
[0041]分别为所述各个类别的非关系型数据分配对应的预设分布式处理节点，通过启动各所述预设分布式处理节点分别处理对应类别的非关系型数据。
[0042]分布式数据处理装置还可以包括第二存储模块，用于：
[0043]判断所述小结数据是否为预设缓存类型数据；
[0044]若所述小结数据不为预设缓存类型数据，则将所述小结数据存储至预设联机数据库；
[0045]若所述小结数据为预设缓存类型数据，则将所述小结数据存储至所述预设分布式存储系统。
[0046]第二存储模块，还用于：
[0047]在接收到联机业务处理系统的数据调用请求后，通过预设数据接口向所述联机业务处理系统发送所述小结数据，其中，所述预设数据接口基于所述预设分布式存储系统设置。
[0048]处理模块，还用于：
[0049]若检测到所述预设分布式处理节点在预设时间段内未返回所述小结数据，则确定与所述预设分布式处理节点的处理任务的业务关联度最高的空闲分布式处理节点；
[0050]调用所述空闲分布式处理节点处理所述重构后的非关系型数据。
[0051]此外，为实现上述目的，本专利技术还提供一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的金融数据处理程序，所述金融数据处理程序配置为实现如上文所述的金融数据处理方法的步骤。
[0052]此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有金融数据处理程序，所述金融数据处理程序被处理器执行时实现如上文所述的金融本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种金融数据处理方法，其特征在于，所述金融数据处理方法包括以下步骤：接收到业务处理指令后，获取预设周期时间内的联机业务数据；将所述联机业务数据转换为非关系型数据；对所述非关系型数据进行业务重构，启动预设分布式处理节点处理重构后的非关系型数据，得到所述预设周期时间内的小结数据。2.如权利要求1所述的金融数据处理方法，其特征在于，所述获取预设周期时间内的联机业务数据的步骤包括：检测分布式缓存中的联机业务数据是否有效；若所述分布式缓存中的联机业务数据有效，则从所述分布式缓存中获取所述预设周期时间内的联机业务数据；若所述分布式缓存中的联机业务数据无效，则从预设关系型数据库中获取所述预设周期时间内的联机业务数据，将所述预设周期时间内的联机业务数据更新至所述分布式缓存中。3.如权利要求2所述的金融数据处理方法，其特征在于，所述将所述联机业务数据转换为非关系型数据的步骤包括：调用预设数据交换组件将所述业务处理指令转换为映射任务；根据所述映射任务将所述联机业务数据迁移至预设分布式存储系统中，将所述预设分布式存储系统中的联机业务数据作为所述非关系型数据。4.如权利要求3所述的金融数据处理方法，其特征在于，所述对所述非关系型数据进行业务重构，启动预设分布式处理节点处理重构后的非关系型数据的步骤包括：根据所述业务处理指令中的业务类型信息，对所述非关系型数据进行分类，得到各个类别的非关系型数据；分别为所述各个类别的非关系型数据分配对应的预设分布式处理节点，通过启动各所述预设分布式处理节点分别处理对应类别的非关系型数据。5.如权利要求3所述的金融数据处理方法，其特征在于，在所述启动预设分布式处理节点处理重构后的非关系型数据，得到所述预设周期时间内的小结数据的步骤之后，还包括：判断所述小结数据是否为预设缓存类型数据；若所述小结数据不为...
【专利技术属性】
技术研发人员：张延峰，李秀金，王晖，
申请(专利权)人：北京信大融金教育科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。