【技术实现步骤摘要】
一种数据处理的方法及相关装置
本申请涉及计算机
，尤其涉及一种数据处理的方法及相关装置。
技术介绍
在金融机构与业务系统的来往过程中，金融机构接收不同数据源的数据，并对数据进行处理，将处理后的数据发送给业务系统，对于不同的数据源，金融机构需要开发不同的数据处理系统进行对接，而且每个数据处理系统可能会对接多个业务系统，从而将处理后的数据发送给多个业务系统。目前，多个数据处理系统对接数据源后，都需要进行单独的数据处理过程，在数据量较大的情况下，多次进行单独处理会导致数据处理效率较低，并且，将处理后的数据直接发送给多个业务系统，无法针对不同业务系统进行不同方式的数据发布，导致无法满足不同业务系统的需求。
技术实现思路
本申请实施例提供一种数据处理的方法及相关装置，以提高数据处理系统的数据处理效率，满足不同业务系统对数据发布的需求。本申请第一方面提供一种数据处理的方法，所述方法应用于数据处理系统，所述数据处理系统包括数据接入模块、数据处理模块和数据发布模块，所述数据接入模块与至少一个数据源对...
【技术保护点】
1.一种数据处理的方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括数据接入模块、数据处理模块和数据发布模块，所述数据接入模块与至少一个数据源对接，所述数据发布模块与N个业务系统对接，其中，N为正整数，所述方法包括：/n获取来自所述至少一个数据源的M条原始数据，其中，M为正整数；/n从所述M条原始数据中选择满足预设条件的K条原始数据，其中，K为不大于M的正整数；/n对所述K条原始数据进行并行处理，以得到待发布数据；/n根据所述N个业务系统对数据接收的频率需求，将所述待发布数据发送给所述N个业务系统。/n
【技术特征摘要】
1.一种数据处理的方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括数据接入模块、数据处理模块和数据发布模块，所述数据接入模块与至少一个数据源对接，所述数据发布模块与N个业务系统对接，其中，N为正整数，所述方法包括：
获取来自所述至少一个数据源的M条原始数据，其中，M为正整数；
从所述M条原始数据中选择满足预设条件的K条原始数据，其中，K为不大于M的正整数；
对所述K条原始数据进行并行处理，以得到待发布数据；
根据所述N个业务系统对数据接收的频率需求，将所述待发布数据发送给所述N个业务系统。
2.根据权利要求1所述的方法，其特征在于，所述从所述M条原始数据中选择满足预设条件的K条原始数据包括：
获取所述M条原始数据的M个存活时长，其中，所述M条原始数据与所述M个存活时长一一对应，所述M个存活时长用于表示所述M条原始数据从生成到被接收的时间；
根据所述M个存活时长，从所述M条原始数据中选择存活时长不超过预设时长的所述K条原始数据。
3.根据权利要求2所述的方法，其特征在于，所述对所述K条原始数据进行并行处理包括：
获取所述K条原始数据的数据类型；
将所述K条原始数据按照数据类型分为Q组原始数据，其中，Q为不大于K的正整数，所述Q组原始数据的每组原始数据中数据的数据类型都相同，所述Q组原始数据有Q种数据类型；
将所述Q组原始数据按照数据类型的不同分别分到Q个线程进行并行处理，其中，所述Q组原始数据与所述Q个线程一一对应。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述K条原始数据进行并行处理，以得到待发布数据之后，所述根据所述N个业务系统对数据接收的频率需求，将所述待发布数据发给所述N个业务系统之前，还包括：
将所述待发布数据放入第一队列；
当所述N个业务系统中任意一个系统对数据接收的数据类型需求为原始数据类型时，确定所述任意一个系统为第一业务系统；
从所述第一队列中获取所述待发布数据，其中，所述原始数据类型为所述待发布数据中所有数据的数据类型。
5.根据权利要求4所述的方法，其特征在于，还包括：
当所述N个业务系统中任意一个系统对数据接收的数据类型需求为特定数据类型时，确定所述任意一个系统为第二业务系统；
从所述第一队列中获取所述待发布数据；
将所述待发布数据放入第二队列；
对所述第二队列中的所述待发布数据按照所述特定数据类型进行筛选，以使所述第二队列中的数据为所述特定数据类型...
【专利技术属性】
技术研发人员：李裕雄，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。