【技术实现步骤摘要】
数据处理方法、系统与计算机可读存储介质
本专利技术涉及金融科技(Fintech)
，尤其涉及数据处理方法、系统与计算机可读存储介质。
技术介绍
近年来，随着金融科技(Fintech)，尤其是互联网金融的不断发展，数据处理技术被引入银行等金融机构的日常服务中。在银行等金融机构的日常服务过程中，由于自身业务需要，每天产生的数据多样且量大，并且这些数据往往都具备一定的价值，如通过研究这些数据确定用户的需求，从而调整业务方向等，因此，银行等金融机构需要对产生的数据进行处理，如分类，统计或者迁移等。现有技术中，银行等金融机构往往采用批处理的方式来对数据进行处理，而现有批处理的应用场景是单独使用SpringBatch(轻量级的、完善的批处理框架)，从数据库、文件或队列等数据源中读取大量数据，然后通过业务规则分批次处理数据，如根据时间顺序，对数据进行分批，再对分批的数据进行处理等。然而，在面对数据量达到大数据级别、数据维度多和计算复杂等情况时，SpringBatch明显存在耗时长等缺点。专利技...
【技术保护点】
1.一种数据处理方法，其特征在于，所述数据处理方法包括如下步骤：/n批量系统在检测到运行指令时，若确定所述运行指令对应的待处理数据为大数据，则确定所述运行指令对应的执行信息是否正确，其中，所述大数据为数据量不小于预设数据阈值的数据；/n所述批量系统在确定所述执行信息正确时，将所述执行信息发送至大数据平台，且在数据库中插入所述运行指令对应的任务记录，并监测所述任务记录的任务状态；/n所述大数据平台在接收到所述执行信息时，运行所述执行信息对应的处理任务，并在得到所述处理任务对应的第一处理结果时，将所述第一处理结果写入所述数据库，并在所述数据库中更新所述任务记录的任务状态；/n若...
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述数据处理方法包括如下步骤：
批量系统在检测到运行指令时，若确定所述运行指令对应的待处理数据为大数据，则确定所述运行指令对应的执行信息是否正确，其中，所述大数据为数据量不小于预设数据阈值的数据；
所述批量系统在确定所述执行信息正确时，将所述执行信息发送至大数据平台，且在数据库中插入所述运行指令对应的任务记录，并监测所述任务记录的任务状态；
所述大数据平台在接收到所述执行信息时，运行所述执行信息对应的处理任务，并在得到所述处理任务对应的第一处理结果时，将所述第一处理结果写入所述数据库，并在所述数据库中更新所述任务记录的任务状态；
若所述批量系统检测到所述任务记录的任务状态为处理完成，则从所述数据库中读取所述第一处理结果并输出。
2.如权利要求1所述的数据处理方法，其特征在于，所述批量系统在检测到运行指令时，所述数据处理方法还包括：
若确定所述待处理数据为非大数据，所述批量系统则读取所述待处理数据，并调用所述待处理数据对应的第一处理函数处理所述待处理数据，以得到对应的第二处理结果，并将所述第二处理结果输出。
3.如权利要求1所述的数据处理方法，其特征在于，所述确定所述运行指令对应的执行信息是否正确的步骤包括：
所述批量系统确定所述大数据平台中是否存在与所述执行信息对应的处理任务；
若存在，所述批量系统则确定所述执行信息正确。
4.如权利要求1所述的数据处理方法，其特征在于，所述大数据平台在接收到所述执行信息时，运行所述执行信息对应的处理任务的步骤包括：
所述大数据平台在接收到所述执行信息时，读取所述执行信息的任务信息和参数集合，并确定所述任务信息对应的处理任务；
所述大数据平台基于所述参数集合，运行所述处理任务，其中，运行所述处理任务包括根据所述参数集合，读取所述待处理数据，并调用所述待处理数据对应的第二处理函数处理所述待处理数据，以得到对应的第一处理结果。
5.如权利要求1所述的数据处理方法，其特征在于，所述在得到所述处理任务对应的第一处理结果时，将所述第一处理结果写入所述数据库，并在所述数据库中更新所述任务记录的任务状态的步骤之后，所述数据处理方法还包括：
若所述批量系统检测到所述任务记...
【专利技术属性】
技术研发人员：黄浩维，吴泽勇，王大飞，文海荣，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。