一种数据处理系统及其方法技术方案

本申请涉及一种数据处理系统及其方法，系统包括：根随机数生成器，用于根据计算参数确定根随机数种子；随机数种子生成器，用于根据根随机数种子生成第一随机数序列；分布式并行环境运行器，用于将各初始随机数种子在分布式并行环境下进行蒙特卡洛模拟计算；单机串行环境运行器，用于将各初始随机数种子在单机串行环境下进行蒙特卡洛模拟计算；模拟结果聚合器，用于将分布式并行环境下和单机串行环境下的各计算路径的结果进行聚合，获得整体计算结果并输出。基于本发明专利技术，能够在单机串行环境复现复杂事件在分布式并行环境的模拟过程，并通过聚合多个计算路径使得模拟结果更为精确，便于单机调试、复现模拟场景，可提高模型工程化效率，缩小校准模型准确度所需工作量。缩小校准模型准确度所需工作量。缩小校准模型准确度所需工作量。

【技术实现步骤摘要】
一种数据处理系统及其方法


[0001]本申请涉及数据处理
，具体涉及一种数据处理系统及其方法。

技术介绍

[0002]蒙特卡洛方法(Monte Carlo method)，也称统计模拟方法，是一种以概率统计理论为指导的一类非常重要的数值计算方法，其原理是使用随机数(或更常见的伪随机数)，利用计算机实现统计模拟和抽样，来获得问题近似解。
[0003]蒙特卡洛方法可以应用于现实生活中的多种预测场景，现有技术中利用分布式蒙特卡洛方法进行预测存在以下特点：一是由于蒙特卡洛方法的随机性特点，针对同样的计算参数产生的随机数种子不同，导致进行多次模拟的结果不同；二是由于分布式环境上的随机数序列与单机串行环境的不同，导致分布式环境的模拟结果与单机串行环境的模拟结果不同；三是由于蒙特卡洛方法往往需要进行多次模拟，涉及大量计算，存在重复计算的问题。
[0004]上述三个特点，导致分布式蒙特卡洛方法在多领域的计算模拟难以复现精确的模拟结果，且因为可能存在重复计算，造成不必要的算力浪费，影响计算效率。

技术实现思路

[0005]为至少在一定程度上克服相关技术中存在的问题，本申请提供一种数据处理方法和系统。
[0006]根据本申请实施例的第一方面，提供一种数据处理系统，所述系统包括：
[0007]根随机数生成器，用于根据所述计算参数确定根随机数种子；
[0008]随机数种子生成器，用于根据所述根随机数种子生成第一随机数序列；其中，所述第一随机数序列中的每一个随机数作为一个计算路径的初始随机数种子；
[0009]分布式并行环境运行器，用于将各初始随机数种子在分布式并行环境下进行蒙特卡洛模拟计算；
[0010]单机串行环境运行器，用于将各初始随机数种子在单机串行环境下进行蒙特卡洛模拟计算；
[0011]模拟结果聚合器，用于将所述分布式并行环境下和所述单机串行环境下的各计算路径的结果进行聚合，获得整体计算结果并输出。
[0012]可选地，所述系统还包括：
[0013]整体请求缓存器，用于缓存历史计算请求和计算结果；
[0014]单条路径计算缓存器，用于缓存单条路径的计算请求和计算结果；
[0015]单条路径随机数序列缓存器，用于缓存单条路径的随机数序列。
[0016]根据本申请实施例的第二方面，提供了一种基于本专利技术第一专利技术所述的数据处理系统的数据处理方法，所述方法包括：
[0017]获取计算请求，所述计算请求包括计算参数、运行方式；其中，所述计算参数包括：
目标事件的当前数值以及预期生成的数值序列条数；
[0018]利用根随机数生成器根据所述计算参数确定根随机数种子，再利用随机数种子生成器根据所述根随机数种子生成第一随机数序列；其中，第一随机数序列中的每一个随机数作为一个计算路径的初始随机数种子；
[0019]分别利用分布式并行环境运行器或单机串行环境运行器将各初始随机数种子按照设定的运行方式进行蒙特卡洛模拟计算，获得各初始随机数种子对应计算路径的结果；
[0020]利用模拟结果聚合器将各计算路径的结果进行聚合，获得整体计算结果并输出。
[0021]可选地，所述利用根随机数生成器根据所述计算参数确定根随机数种子之前，还包括以下步骤：
[0022]根据所述计算请求查询整体请求缓存器中是否已经存在相同的整体计算任务；
[0023]如果存在，则将该整体计算任务的结果作为整体计算结果输出；
[0024]如果不存在，则执行后续步骤。
[0025]可选地，所述利用模拟结果聚合器将各计算路径的结果进行聚合之后，还包括以下步骤：
[0026]将所述计算请求以及聚合后获得的整体计算结果更新到所述整体请求缓存器。
[0027]可选地，分别利用分布式并行环境运行器或单机串行环境运行器将各初始随机数种子按照设定的运行方式进行蒙特卡洛模拟计算之前，还包括以下步骤：
[0028]根据第一随机数序列和计算参数，查询单条路径计算缓存器中是否已经存在相同的计算路径；
[0029]如果存在，则将该计算路径的结果返回；如果不存在，则执行后续步骤。
[0030]可选地，分别利用分布式并行环境运行器或单机串行环境运行器将各初始随机数种子按照设定的运行方式进行蒙特卡洛模拟计算，具体包括以下步骤：
[0031]将未命中的初始随机数种子按照设定的运行方式进行蒙特卡洛模拟计算；
[0032]将初始随机数种子及其计算结果更新到所述单条路径计算缓存器中；
[0033]相应地，将各计算路径的结果进行聚合，具体包括以下步骤：
[0034]将从所述单条路径计算缓存器返回的结果和模拟计算获得的结果进行聚合；
[0035]其中，所述运行方式为：分布式并行环境运行或单机串行环境运行。
[0036]可选地，所述将未命中的初始随机数种子按照设定的运行方式进行蒙特卡洛模拟计算，具体包括以下步骤：
[0037]确定每个初始随机数种子对应的第二随机数序列；其中，所述第二随机数序列的长度等于预期生成的数值序列条数；
[0038]根据每一条第二随机数序列，结合所述计算参数中的当前数值，生成对应的数值序列；
[0039]对每一条数值序列设置至少一个预设映射函数，基于所述预设映射函数按照设定的运行方式计算目标事件的发展特征数据，作为单条计算路径的结果。
[0040]可选地，所述确定每个初始随机数种子对应的第二随机数序列，具体包括以下步骤：
[0041]按照设定的运行方式，用初始随机数种子查询单条路径随机数序列缓存器，判断是否存在备选随机数序列；
[0042]如果命中，且备选随机数序列的长度大于本次计算所需的随机数序列长度，则提取该备选随机数序列，将备选随机数序列作为本次计算所需的第二随机数序列；
[0043]否则按照设定的运行方式，为该初始随机数种子生成本次计算所需的第二随机数序列。
[0044]可选地，所述按照设定的运行方式，用初始随机数种子查询单条路径随机数序列缓存器，具体包括以下步骤：
[0045]如果设定的运行方式为分布式并行环境运行，则在分布式并行环境下分布式并行地用该初始随机数种子查询所述单条路径随机数序列缓存器；
[0046]如果设定的运行方式为单机串行环境运行，则在单机串行环境下串行地用该初始随机数种子查询所述单条路径随机数序列缓存器。
[0047]本申请的实施例提供的技术方案具备以下有益效果：
[0048]本专利技术通过设计一个可串行复现的分布式蒙特卡洛模拟系统，能够在单机串行环境复现复杂事件在分布式并行环境的模拟过程，并通过聚合多个计算路径使得模拟结果更为精确，便于单机调试、复现模拟场景，可提高模型工程化效率，缩小校准模型准确度所需工作量。
[0049]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，其特征在于，所述系统包括：根随机数生成器，用于根据所述计算参数确定根随机数种子；随机数种子生成器，用于根据所述根随机数种子生成第一随机数序列；其中，所述第一随机数序列中的每一个随机数作为一个计算路径的初始随机数种子；分布式并行环境运行器，用于将各初始随机数种子在分布式并行环境下进行蒙特卡洛模拟计算；单机串行环境运行器，用于将各初始随机数种子在单机串行环境下进行蒙特卡洛模拟计算；模拟结果聚合器，用于将所述分布式并行环境下和所述单机串行环境下的各计算路径的结果进行聚合，获得整体计算结果并输出。2.根据权利要求1所述的系统，其特征在于，所述系统还包括：整体请求缓存器，用于缓存历史计算请求和计算结果；单条路径计算缓存器，用于缓存单条路径的计算请求和计算结果；单条路径随机数序列缓存器，用于缓存单条路径的随机数序列。3.一种基于权利要求2所述的数据处理系统的数据处理方法，其特征在于，包括：获取计算请求，所述计算请求包括计算参数、运行方式；其中，所述计算参数包括：目标事件的当前数值以及预期生成的数值序列条数；利用根随机数生成器根据所述计算参数确定根随机数种子，再利用随机数种子生成器根据所述根随机数种子生成第一随机数序列；其中，第一随机数序列中的每一个随机数作为一个计算路径的初始随机数种子；分别利用分布式并行环境运行器或单机串行环境运行器将各初始随机数种子按照设定的运行方式进行蒙特卡洛模拟计算，获得各初始随机数种子对应计算路径的结果；利用模拟结果聚合器将各计算路径的结果进行聚合，获得整体计算结果并输出。4.根据权利要求3所述的方法，其特征在于，所述利用根随机数生成器根据所述计算参数确定根随机数种子之前，还包括以下步骤：根据所述计算请求查询整体请求缓存器中是否已经存在相同的整体计算任务；如果存在，则将该整体计算任务的结果作为整体计算结果输出；如果不存在，则执行后续步骤。5.根据权利要求4所述的方法，其特征在于，所述利用模拟结果聚合器将各计算路径的结果进行聚合之后，还包括以下步骤：将所述计算请求以及聚合后获得的整体计算结果更新到所述整体请求缓存器。6.根据权利要求3
‑
5任一项所述的方法，其特征在于，分别利用分布式并行环境运行器或单机串行环境运行器将各初始随机数种子按...

【专利技术属性】
技术研发人员：杨光，
申请(专利权)人：杨光，
类型：发明
国别省市：