一种接口返回数据异常检测方法及其相关设备技术

本申请实施例属于人工智能及金融科技技术领域，应用于金融业务中通过接口进行数据调用的过程中，涉及一种接口返回数据异常检测方法及其相关设备，包括基于预设的异常检测组件对格式化的返回数据进行检测，获取检测结果，并根据所述检测结果，识别接口返回数据是否存在数据异常。通过对接口返回数据以整体性进行空值检测和返回字段错位，然后再根据不同返回字段对应的数据类型，进行分支性检测，充分保证了对接口返回数据检测的合理性和科学性，从整体检测到分支检测，提高了检测方式的完善性。尤其是在金融业务数据繁杂的数据仓库返回数据检测上，通过提高检测方式的完善性，进一步的保证了对数据仓库调用接口返回数据检测的合理性和准确性。的合理性和准确性。的合理性和准确性。

【技术实现步骤摘要】
一种接口返回数据异常检测方法及其相关设备


[0001]本申请涉及人工智能及金融科技
，应用于金融业务中通过接口进行数据调用的过程中，尤其涉及一种接口返回数据异常检测方法及其相关设备。

技术介绍

[0002]随着计算机行业的发展，传统的金融行业业务也逐步向金融科技业务转型，特别是金融业务中通过接口进行数据调用的过程中，由于金融业务数据仓库中数据量的繁杂和庞大性，导致通过接口调用时，接口返回数据极易出现返回异常。目前大数据会提供很多数据给到业务，其中有一种应用就是通过API接口，将大数据加工的标签数据输出，方便金融业务领域，例如保险行业和银行行业做相应的数据调用操作。正常的流程下，数据流转后，用户如果满足业务的条件，就能顺利地参加活动。
[0003]但是，通常情况下，接口数据输出存在不稳定的情况，比如网络延迟，系统繁忙等。这种情况很容易被监控捕捉到并产生告警，提醒开发人员及运维人员查看并解决。但是，有一种情况，就是接口能够正常返回数据，但是返回的数据不正常，开发及运维人员很难采用上述方式检测到，因此，现有技术在对接口返回数据的异常检测上还存在检测方式不够完善的问题。

技术实现思路

[0004]本申请实施例的目的在于提出一种接口返回数据异常检测方法及其相关设备，以解决现有技术在对接口返回数据的异常检测上还存在检测方式不够完善的问题。
[0005]为了解决上述技术问题，本申请实施例提供一种接口返回数据异常检测方法，采用了如下所述的技术方案：
[0006]一种接口返回数据异常检测方法，包括下述步骤：
[0007]获取目标参数，将所述目标参数传入预设的接口，其中，所述预设的接口为从预设的数据仓库进行返回字段获取的接口；
[0008]调用并执行所述接口，获取接口返回数据，其中，所述接口返回数据指由目标接口根据预设的字段属性顺序所输出的序列化数据；
[0009]根据预设的解析模板对所述接口返回数据进行解析，获取格式化的返回数据，其中，所述格式化的返回数据为由字段属性信息和字段数据按照一一对应关系构成的数据；
[0010]基于预设的异常检测组件对所述格式化的返回数据进行检测，获取检测结果，并根据所述检测结果，识别所述接口返回数据是否存在数据异常。
[0011]进一步的，在执行所述获取接口返回数据的步骤之后，所述方法还包括：
[0012]通过预设的流式传输组件将所述序列化数据传输到目标缓存文件中；
[0013]根据预设的定时组件识别是否达到当前检测时间点；
[0014]若未达到当前检测时间点，则持续获取接口返回数据，并通过所述流式传输组件将新获取的序列化数据传输到所述目标缓存文件中；
[0015]若达到当前检测时间点，则获取所述目标缓存文件中的所有序列化数据作为当前待解析的序列化数据；
[0016]在执行所述若达到当前检测时间点，则获取所述目标缓存文件中的所有序列化数据作为当前待解析的序列化数据的步骤之后，所述方法还包括：
[0017]清空所述目标缓存文件中的所有序列化数据，并重置所述定时组件的计时值；
[0018]重新计时，持续获取接口返回数据，并通过所述流式传输组件将新获取的序列化数据传输到已处于空数据状态的所述目标缓存文件中。
[0019]进一步的，所述根据预设的解析模板对所述接口返回数据进行解析，获取格式化的返回数据的步骤，具体包括：
[0020]获取预设的解析模板，其中，所述解析模板根据所述接口返回数据中的字段属性顺序而创建；
[0021]通过所述解析模板、接口被调用次数和所述接口返回数据中返回的字段属性个数，对所述当前待解析的序列化数据进行切分解析，获取切分解析之后的序列化数据片段；
[0022]根据所述接口返回数据中的字段属性顺序和所述接口被调用次数，依次将所述切分解析之后的序列化数据片段赋值给对应的字段属性，生成格式化的返回数据。
[0023]进一步的，所述预设的异常检测组件包括整体性检测组件和分支性检测组件，所述基于预设的异常检测组件对所述格式化的返回数据进行检测，获取检测结果，并根据所述检测结果，识别所述接口返回数据是否存在数据异常的步骤，具体包括：
[0024]基于所述整体性检测组件，对所述格式化的返回数据进行空值检测和返回内容错位检测，获取整体性检测结果；
[0025]根据预设的配置文件，识别所述格式化的返回数据中每个返回字段对应的字段数据类型，其中，所述返回字段对应的字段数据类型包括常规类型、枚举类型、数值类型和日期类型；
[0026]通过不同字段数据类型分别对应的分支性检测组件，对所述格式化的返回数据中的目标字段数据进行分支性检测，获取分支性检测结果，其中，所述通过不同字段数据类型分别对应的分支性检测组件，对所述格式化的返回数据中的目标字段数据进行分支性检测，获取分支性检测结果的步骤，具体包括：对枚举类型的返回字段所对应的字段数据进行枚举值分布检测，获取枚举值分布检测结果；对数值类型、日期类型和常规类型的返回字段所对应的字段数据进行数据类型检测，获取数据类型检测结果；根据所述枚举值分布检测结果和所述数据类型检测结果，确定所述分支性检测结果；
[0027]基于所述整体性检测结果和所述分支性检测结果，识别所述接口返回数据是否存在数据异常。
[0028]进一步的，所述基于所述整体性检测组件，对所述格式化的返回数据进行空值检测和返回内容错位检测，获取整体性检测结果的步骤，具体包括：
[0029]以所述格式化的返回数据为整体，检测每个字段属性分别所对应的字段数据是否为空值；
[0030]若存在字段属性所对应的字段数据为空值，则筛选出所述字段属性，以所述字段属性为参数从所述数据仓库查询相应的字段数据，确定所述空值是否为异常输出，若所述空值不是异常输出，则所述字段属性对应的返回数据无异常，否则，所述字段属性对应的返
回数据出现异常；
[0031]以所述格式化的返回数据为整体，获取每个返回字段所对应的字段数据类型，并识别每个返回字段所对应的字段数据类型是否按照固定的循环方式排列。
[0032]进一步的，所述对枚举类型的返回字段所对应的字段数据进行枚举值分布检测，获取枚举值分布检测结果的步骤，具体包括：
[0033]获取当前枚举类型的返回字段所对应的字段数据，并通过预设的概率分布算法计算所述返回字段对应的所有枚举值的概率分布结果，作为第一概率分布结果；
[0034]获取上一次检测结果为正常时所述返回字段对应的所有枚举值的概率分布结果，作为第二概率分布结果；
[0035]比较所述第一概率分布结果和所述第二概率分布结果；
[0036]若所述第一概率分布结果与所述第二概率分布结果的相似度达到预设的相似阈值，则所述当前枚举类型的返回字段未出现返回数据异常，否则，所述当前枚举类型的返回字段出现了返回数据异常。
[0037]进一步的，所述基于所述整体性检测结果和所述分支性检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种接口返回数据异常检测方法，其特征在于，包括下述步骤：获取目标参数，将所述目标参数传入预设的接口，其中，所述预设的接口为从预设的数据仓库进行返回字段获取的接口；调用并执行所述接口，获取接口返回数据，其中，所述接口返回数据指由目标接口根据预设的字段属性顺序所输出的序列化数据；根据预设的解析模板对所述接口返回数据进行解析，获取格式化的返回数据，其中，所述格式化的返回数据为由字段属性信息和字段数据按照一一对应关系构成的数据；基于预设的异常检测组件对所述格式化的返回数据进行检测，获取检测结果，并根据所述检测结果，识别所述接口返回数据是否存在数据异常。2.根据权利要求1所述的接口返回数据异常检测方法，其特征在于，在执行所述获取接口返回数据的步骤之后，所述方法还包括：通过预设的流式传输组件将所述序列化数据传输到目标缓存文件中；根据预设的定时组件识别是否达到当前检测时间点；若未达到当前检测时间点，则持续获取接口返回数据，并通过所述流式传输组件将新获取的序列化数据传输到所述目标缓存文件中；若达到当前检测时间点，则获取所述目标缓存文件中的所有序列化数据作为当前待解析的序列化数据；在执行所述若达到当前检测时间点，则获取所述目标缓存文件中的所有序列化数据作为当前待解析的序列化数据的步骤之后，所述方法还包括：清空所述目标缓存文件中的所有序列化数据，并重置所述定时组件的计时值；重新计时，持续获取接口返回数据，并通过所述流式传输组件将新获取的序列化数据传输到已处于空数据状态的所述目标缓存文件中。3.根据权利要求2所述的接口返回数据异常检测方法，其特征在于，所述根据预设的解析模板对所述接口返回数据进行解析，获取格式化的返回数据的步骤，具体包括：获取预设的解析模板，其中，所述解析模板根据所述接口返回数据中的字段属性顺序而创建；通过所述解析模板、接口被调用次数和所述接口返回数据中返回的字段属性个数，对所述当前待解析的序列化数据进行切分解析，获取切分解析之后的序列化数据片段；根据所述接口返回数据中的字段属性顺序和所述接口被调用次数，依次将所述切分解析之后的序列化数据片段赋值给对应的字段属性，生成格式化的返回数据。4.根据权利要求1或3所述的接口返回数据异常检测方法，其特征在于，所述预设的异常检测组件包括整体性检测组件和分支性检测组件，所述基于预设的异常检测组件对所述格式化的返回数据进行检测，获取检测结果，并根据所述检测结果，识别所述接口返回数据是否存在数据异常的步骤，具体包括：基于所述整体性检测组件，对所述格式化的返回数据进行空值检测和返回内容错位检测，获取整体性检测结果；根据预设的配置文件，识别所述格式化的返回数据中每个返回字段对应的字段数据类型，其中，所述返回字段对应的字段数据类型包括常规类型、枚举类型、数值类型和日期类型；
通过不同字段数据类型分别对应的分支性检测组件，对所述格式化的返回数据中的目标字段数据进行分支性检测，获取分支性检测结果，其中，所述通过不同字段数据类型分别对应的分支性检测组件，对所述格式化的返回数据中的目标字段数据进行分支性检测，获取分支性检测结果的步骤，具体包括：对枚举类型的返回字段所对应的字段数据进行枚举值分布检测，获取枚举值分布检测结果；对数值类型、日期类型和常规类型的返回字段所对应的字段数据进行数据类型检测，获取数据类型检测结果；根据所述枚举值分布检测结果和所述数据类型检测结果，确定所述分支性检测结果；基于所述整体性检测结果和所述分支性检测结果，识别所述接口返回数据是否存在数据异常。5.根据权利要求4所述的接口返回数据异常检测方法，其特征在于，所述基于所述整体性检测组件，对所述格式化的返回数据进行空值检测和返回内容错位...

【专利技术属性】
技术研发人员：钟才，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：