System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 业务数据处理方法、装置、电子设备和计算机可读介质制造方法及图纸_技高网

业务数据处理方法、装置、电子设备和计算机可读介质制造方法及图纸

技术编号:40350863 阅读:4 留言:0更新日期:2024-02-09 14:35
本公开的实施例公开了业务数据处理方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:接收待监控业务数据集合;对初始位图数组进行数组值更新,得到更新后位图数组;确定目标数量;生成更新后待监控业务数据序列;生成待监控业务数据特征集合;对更新后待监控业务数据序列进行异常检测,得到异常数据集合;对异常数据集合进行数据修复,得到修复后数据集合;根据修复后数据集合和更新后待监控业务数据序列,生成处理后待监控业务数据序列。该实施方式实现了对缺失业务数据的有效检测,避免了因直接对下属机构报送的业务数据进行存储所导致的业务数据不连续的问题,侧面降低了后续针对业务数据的数据检索成本。

【技术实现步骤摘要】

本公开的实施例涉及计算机,具体涉及业务数据处理方法、装置、电子设备和计算机可读介质


技术介绍

1、随着计算机相关技术的发展,数据电子化得以广泛的推广和应用。与此同时,随着下属机构和下属机构产生的实时业务数据的增加,如何实现针对海量业务数据高效利用变得尤为重要,目前,在对业务数据处理时,通常采用的方式为:直接对下属机构报送的业务数据进行存储。

2、然而,专利技术人发现,当采用上述方式时,经常会存在如下技术问题:

3、第一,针对时序性的业务数据往往依据时序性进行入库存储,而直接对下属机构报送的业务数据进行存储,难以对缺失的业务数据进行有效检测,从而可能导致业务数据不连续的问题,增加了后续针对业务数据的数据检索成本;

4、第二,大批量的业务数据往往包含噪声和异常值,这些噪声和异常值可能会干扰针对异常数据检测的检测性能,从而导致无法准确地对异常业务数据进行有效检测和数据修复;

5、第三,大批量的业务数据对应的全局特征可能受到整体数据分布的影响,同时大批量的业务数据对应的局部特征可能受到噪声或局部变化的干扰,因此单一的特征处理方式,可能导致难以准确地进行物品流转量预测,从而可能导致无法对异常业务数据进行有效且准确地数据修复。

6、该
技术介绍
部分中所公开的以上信息仅用于增强对本专利技术构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。


技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了业务数据处理方法、装置、电子设备和计算机可读介质,来解决以上
技术介绍
部分提到的技术问题中的一项或多项。

3、第一方面,本公开的一些实施例提供了一种业务数据处理的方法,该方法包括:接收待监控业务数据集合,其中,上述待监控业务数据集合中的待监控业务数据是由下属机构实时报送的、对应有标识信息的业务数据;根据上述待监控业务数据集合中待监控业务数据对应的标识信息,对初始位图数组进行数组值更新,得到更新后位图数组;根据上述更新后位图数组,确定目标数量,其中,上述目标数量表征上述更新后位图数组中满足第一筛选条件的数组值的个数;响应于确定上述目标数量小于目标待监控业务数据对应的标识信息,根据上述待监控业务数据集合,生成更新后待监控业务数据序列,其中,上述目标待监控业务数据是上述待监控业务数据集合中对应的标识信息满足第二筛选条件的待监控业务数据;根据预先训练的数据特征提取模型和上述更新后待监控业务数据序列,生成待监控业务数据特征集合;通过预先训练的异常数据检测模型,对上述更新后待监控业务数据序列中的每个更新后待监控业务数据进行异常检测,以生成异常数据,得到异常数据集合;基于上述待监控业务数据特征集合,对上述异常数据集合中的各个异常数据进行数据修复,得到修复后数据集合;根据上述修复后数据集合和上述更新后待监控业务数据序列,生成处理后待监控业务数据序列。

4、第二方面,本公开的一些实施例提供了一种业务数据处理装置,装置包括:接收单元,被配置成接收待监控业务数据集合,其中,上述待监控业务数据集合中的待监控业务数据是由下属机构实时报送的、对应有标识信息的业务数据;更新单元,被配置成根据上述待监控业务数据集合中的待监控业务数据对应的标识信息,对初始位图数组进行数组值更新,得到更新后位图数组;确定单元,被配置成根据上述更新后位图数组,确定目标数量,其中,上述目标数量表征上述更新后位图数组中满足第一筛选条件的数组值的个数;第一生成单元,被配置成响应于确定上述目标数量小于目标待监控业务数据对应的标识信息,根据上述待监控业务数据集合,生成更新后待监控业务数据序列,其中,上述目标待监控业务数据是上述待监控业务数据集合中对应的标识信息满足第二筛选条件的待监控业务数据;第二生成单元,被配置成根据预先训练的数据特征提取模型和上述更新后待监控业务数据序列,生成待监控业务数据特征集合;异常检测单元,被配置成通过预先训练的异常数据检测模型,对上述更新后待监控业务数据序列中的每个更新后待监控业务数据进行异常检测,以生成异常数据,得到异常数据集合;数据修复单元,被配置成基于上述待监控业务数据特征集合,对上述异常数据集合中的各个异常数据进行数据修复,得到修复后数据集合;第三生成单元,被配置成根据上述修复后数据集合和上述更新后待监控业务数据序列,生成处理后待监控业务数据序列。

5、第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。

6、第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。

7、本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的业务数据处理方法,实现了对缺失的业务数据的有效检测,避免了因直接对下属机构报送的业务数据进行存储所导致的业务数据不连续的问题,侧面降低了后续针对业务数据的数据检索成本。具体来说,增加后续针对业务数据的数据检索成本的原因在于:针对时序性的业务数据往往依据时序性进行入库存储,而直接对下属机构报送的业务数据进行存储,难以对缺失的业务数据进行有效检测,从而可能导致业务数据不连续的问题,增加了后续针对业务数据的数据检索成本。基于此,本公开的一些实施例的业务数据处理方法,首先,接收待监控业务数据集合,其中,上述待监控业务数据集合中的待监控业务数据是由下属机构实时报送的、对应有标识信息的业务数据。其次,根据上述待监控业务数据集合中待监控业务数据对应的标识信息,对初始位图数组进行数组值更新,得到更新后位图数组。针对大批量的业务数据,本公开通过将业务数据转化为二进制数组以供后续判断业务数据是否连续,相较于遍历的方式,有效地提高了运算效率,大大减少了计算资源的消耗。例如,采用整型(int)存储遍历标识的方式,针对上亿级别的业务数据,往往需要消耗近百兆的内存资源,同时遍历过程中产生的中间数据也会消耗大量的存储资源(如,内存或外存等)。接着,根据上述更新后位图数组,确定目标数量,其中,上述目标数量表征上述更新后位图数组中满足第一筛选条件的数组值的个数,从得到的目标数量进行判断,数据是否连续。然后,响应于确定上述目标数量小于目标待监控业务数据对应的标识信息,根据上述待监控业务数据集合,生成更新后待监控业务数据序列,其中,上述目标待监控业务数据是上述待监控业务数据集合中对应的标识信息满足第二筛选条件的待监控业务数据,由于时序性的业务数据往往依据时序性进行入库存储,因此当数据不连续时,会影响后续数据处理。例如,业务数据主键不连续时,需要额外设计相应的数据查找语句,侧面增加数本文档来自技高网...

【技术保护点】

1.一种业务数据处理方法,包括:

2.根据权利要求1所述的方法,其中,所述根据所述待监控业务数据集合中各个待监控业务数据对应的标识信息,对初始位图数组进行数组值更新,得到更新后位图数组,包括:

3.根据权利要求2所述的方法,其中,所述根据所述待监控业务数据集合,生成更新后待监控业务数据序列,包括:

4.根据权利要求3所述的方法,其中,所述更新后待监控业务数据序列中的更新后待监控业务数据包括:历史虚拟物品价值和历史虚拟物品流转量,所述数据特征提取模型包括:历史虚拟物品价值特征提取模型、历史虚拟物品流转量数特征提取模型和特征融合模型;以及

5.根据权利要求4所述的方法,其中,所述异常数据检测模型包括:数值型数据异常检测模型和离散性数据异常检测模型,所述异常数据集合中的异常数据包括:异常历史虚拟物品价值和异常历史虚拟物品流转量;以及

6.一种业务数据处理装置,包括:

7.一种电子设备,包括:

8.一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至5中任一所述的方法。

...

【技术特征摘要】

1.一种业务数据处理方法,包括:

2.根据权利要求1所述的方法,其中,所述根据所述待监控业务数据集合中各个待监控业务数据对应的标识信息,对初始位图数组进行数组值更新,得到更新后位图数组,包括:

3.根据权利要求2所述的方法,其中,所述根据所述待监控业务数据集合,生成更新后待监控业务数据序列,包括:

4.根据权利要求3所述的方法,其中,所述更新后待监控业务数据序列中的更新后待监控业务数据包括:历史虚拟物品价值和历史虚拟物品流转量,所述数据特征提取模型包括:历史虚...

【专利技术属性】
技术研发人员:胡江南
申请(专利权)人:华青融天北京软件股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1