【技术实现步骤摘要】
本申请涉及人工智能领域，具体而言，涉及一种交易数据异常信息的检测方法、装置及电子设备。
技术介绍
1、在支付业务中，异常检测算法被广泛应用，通过用来识别异常值，业务人员可以根据异常值发现欺诈交易、系统异常等问题，有助于做出更好的数据决策。然而，由于支付数据的规模庞大，传统的异常检测方法在全量数据上的运行速度较慢，且消耗大量资源。而且，在实际的支付业务中存在的异常行为多种多样，需要使用高维度的视角去探查，这也会导致模型训练时产生维度灾难问题。
2、而且，在使用集成学习时，会存在多个异质的基模型的运行开销差距很大。并行训练时在调度上会存在不平衡问题，使得整个集成学习系统运行效率低下。
3、针对相关技术中检测交易数据中的异常值时，采用传统的异常检测方法对海量交易数据进行检测时运行较慢的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请的主要目的在于提供一种交易数据异常信息的检测方法、装置及电子设备，以解决相关技术中检测交易数据中的异常值时，采用传统的异常检测方法对海量交易数据进行检测时运行较慢的问题。
2、为了实现上述目的，根据本申请的一个方面，提供了一种交易数据异常信息的检测方法，该方法包括：获取待检测异常信息的交易数据，得到交易数据集合；对所述交易数据集合中的数据进行内存优化和降维处理，得到目标数据表；将所述目标数据表输入模型序列中的每个模型中，并按照目标训练计划进行训练，得到所述模型序列中每个训练后的模型，其中，所述模型序列中包含n个未
3、进一步地，对所述交易数据集合中的数据进行内存优化和降维处理，得到目标数据表包括：采用表格表征所述交易数据集合中的数据，得到交易数据表集合；对所述交易数据表集合中的数据进行数据清洗和数据预处理操作，得到处理后的交易数据表集合；对所述处理后的交易数据表集合中的数据表进行拼接，得到第一数据表；对所述第一数据表中的数据进行内存优化和降维处理，得到所述目标数据表。
4、进一步地，在对所述处理后的交易数据表集合中的数据表进行拼接，得到第一数据表之前，所述方法还包括：依据业务需求确定交易数据的统计信息；依据所述统计信息扩展所述处理后的交易数据表集合中数据表的字段，得到统计字段；依据预设规则确定所述统计字段的计算规则，其中，所述计算规则至少包括以下规则之一：第一规则、第二规则、第三规则和第四规则，所述第一规则用于对单向交易中字段值进行直接计算，所述第二规则用于对单向交易中字段值进行逻辑计算，所述第三规则用于对单向交易中字段值进行间接计算，所述第四规则用于对单向交易中字段值集合进行计算；依据所述计算规则和所述处理后的交易数据表集合计算所述统计字段的字段值，并依据所述统计字段的字段值更新所述处理后的交易数据表集合。
5、进一步地，对所述第一数据表中的数据进行内存优化和降维处理，得到所述目标数据表包括：采用预设数据处理工具遍历所述第一数据表，检测所述第一数据表中是否存在第一字段，其中，所述第一字段是指字段值属于预设数据类型的字段；在检测到存在所述第一字段的情况下，确定所述第一字段对应的字段值的数值范围；依据所述数值范围和所述预设数据类型调整所述字段值的数据类型，得到调整后的第一数据表；从所述调整后的第一数据表中包含的字段中删除主键字段，得到第二数据表；基于约翰逊林登斯特劳斯引理构建维度转换矩阵，并采用所述维度转换矩阵对所述第二数据表中的数据进行降维，得到所述目标数据表。
6、进一步地，在将所述目标数据表输入模型序列中的每个模型中，并按照目标训练计划进行训练，得到所述模型序列中每个训练后的模型之前，所述方法还包括：在预设模型集合中确定n个基础模型，得到所述模型序列，其中，所述基础模型是指需要对交易数据中的异常信息进行无监督学习的模型；采用目标模型预测所述模型序列中每个模型的训练时长，得到训练时长序列，其中，所述目标模型是采用所述预设模型集合中每个模型的训练数据对随机森林回归模型进行训练后得到的模型；依据所述训练时长序列确定所述模型序列的训练计划，得到所述目标训练计划。
7、进一步地，所述目标模型由以下步骤得到：采集金融机构中的历史交易数据，并对所述历史交易数据进行表格表征、数据清洗、数据预处理、数据表拼接、内存优化和降维处理，得到历史数据表；在所述历史数据表中随机采集预设比例的数据，得到训练集；采用所述训练集对所述预设模型集合中的每个模型进行训练，得到模型性能数据集；对所述模型性能数据集中的数据进行编码转化，得到向量集合；
8、将所述向量集合输入随机森林回归模型中，并采用k折交叉验证方法进行训练，得到训练后的模型；采用预设指标评估所述训练后的模型，得到评估结果，并采用所述评估结果优化所述训练后的模型，得到所述目标模型。
9、进一步地，依据所述训练时长序列确定所述模型序列的训练计划，得到所述目标训练计划包括：确定运行每个模型的目标设备信息；依据所述目标设备信息和所述训练时长序列计算平均训练时长；计算所述平均训练时长与所述训练时长序列中每个训练时长的差值；依据所述平均训练时长与每个训练时长的差值确定所述目标训练计划。
10、进一步地，采用所述模型序列中每个训练后的模型检测所述目标数据表中的异常信息，得到检测结果包括：将所述目标数据表分别输入每个训练后的模型进行检测，得到每个训练后的模型输出的异常信息；采用线性加权法对每个训练后的模型输出的异常信息进行计算，得到所述检测结果。
11、为了实现上述目的，根据本申请的另一方面，提供了一种交易数据异常信息的检测装置，该装置包括：获取单元，用于获取待检测异常信息的交易数据，得到交易数据集合；处理单元，用于对所述交易数据集合中的数据进行内存优化和降维处理，得到目标数据表；训练单元，用于将所述目标数据表输入模型序列中的每个模型中，并按照目标训练计划进行训练，得到所述模型序列中每个训练后的模型，其中，所述模型序列中包含n个未训练的模型，所述目标训练计划是指所述模型序列中每个模型的训练计划；检测单元，用于采用所述模型序列中每个训练后的模型检测所述目标数据表中的异常信息，得到检测结果。
12、进一步地，所述处理单元包括：表征子单元，用于采用表格表征所述交易数据集合中的数据，得到交易数据表集合；第一处理子单元，用于对所述交易数据表集合中的数据进行数据清洗和数据预处理操作，得到处理后的交易数据表集合；拼接子单元，用于对所述处理后的交易数据表集合中的数据表进行拼接，得到第一数据表；第二处理子单元，用于对所述第一数据表中的数据进行内存优化和降维处理，得到所述目标数据表。
13、进一步地，所述装置还包括：第一确定单元，用于在对所述处理后的交易数据表集合中的数据表进行拼接，得到第一数据表之前，依据业务需求确定交易数据的统计信息；扩展单元，用于依据所述统计信息扩展所本文档来自技高网...
【技术保护点】
1.一种交易数据异常信息的检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，对所述交易数据集合中的数据进行内存优化和降维处理，得到目标数据表包括：
3.根据权利要求2所述的方法，其特征在于，在对所述处理后的交易数据表集合中的数据表进行拼接，得到第一数据表之前，所述方法还包括：
4.根据权利要求2所述的方法，其特征在于，对所述第一数据表中的数据进行内存优化和降维处理，得到所述目标数据表包括：
5.根据权利要求1所述的方法，其特征在于，在将所述目标数据表输入模型序列中的每个模型中，并按照目标训练计划进行训练，得到所述模型序列中每个训练后的模型之前，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述目标模型由以下步骤得到：
7.根据权利要求5所述的方法，其特征在于，依据所述训练时长序列确定所述模型序列的训练计划，得到所述目标训练计划包括：
8.根据权利要求1所述的方法，其特征在于，采用所述模型序列中每个训练后的模型检测所述目标数据表中的异常信息，得到检测结果包括：p>
9.一种交易数据异常信息的检测装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至8中任意一项所述的交易数据异常信息的检测方法。
...【技术特征摘要】
1.一种交易数据异常信息的检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，对所述交易数据集合中的数据进行内存优化和降维处理，得到目标数据表包括：
3.根据权利要求2所述的方法，其特征在于，在对所述处理后的交易数据表集合中的数据表进行拼接，得到第一数据表之前，所述方法还包括：
4.根据权利要求2所述的方法，其特征在于，对所述第一数据表中的数据进行内存优化和降维处理，得到所述目标数据表包括：
5.根据权利要求1所述的方法，其特征在于，在将所述目标数据表输入模型序列中的每个模型中，并按照目标训练计划进行训练，得到所述模型序列中每个训练后的模型之前，所述方法还包括：
6.根...
【专利技术属性】
技术研发人员：肖添，
申请(专利权)人：天翼电子商务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。