System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及人工智能,尤其涉及一种针对数据变化的监测方法及装置。
技术介绍
1、基于数据驱动的机器学习模型通过它的训练数据来观察世界。这意味着,随着训练数据所代表的信息离真实世界越来越远,模型将变得越来越“短视”。最直观的表现就是,模型的性能会随着数据质量下降(出现概念偏移现象)而降低。因此在实际生产和应用过程中通过监控和检测输入模型的数据来确保其质量是必要的。
2、相关技术可知,当前采用的数据监测方法的计算和时间成本相差极大,缺少一个集成多种检测方法的框架来供使用者快速选择相应的方法进行监测,从而匹配不同复杂程度和实时要求的现实应用场景。
技术实现思路
1、本专利技术提供一种针对数据变化的监测方法及装置,实现对图像数据场景变化现象进行质量监控和检测,可以快速匹配实际应用中各类简单或复杂检测场景。
2、本专利技术提供一种针对数据变化的监测方法,所述监测方法包括:响应于用户发起的监测指令,调用与监测指令对应的监测方法对待监测数据进行监测,得到待监测数据的误差;基于误差和预先设置的置信度,确定与误差对应的误差阈值;基于误差和误差阈值,得到待监测数据的监测结果。
3、根据本专利技术提供的一种针对数据变化的监测方法,监测指令包括对元数据进行监测的指令,监测方法包括元数据统计监测方法,待监测数据包括待监测元数据;响应于用户发起的监测指令,调用与监测指令对应的监测方法对待监测数据进行监测,包括:响应于用户发起的对元数据进行监测的指令,调用元数据统计监测方法
4、根据本专利技术提供的一种针对数据变化的监测方法,第一元数据标签包括第一标签类型的第一元数据标签和第二标签类型的第一元数据标签;第二元数据标签包括第一标签类型的第二元数据标签和第二标签类型的第二元数据标签;基于所述第一元数据标签和第二元数据标签得到新数据分布,包括:基于第一标签类型的第一元数据标签和第一标签类型的第二元数据标签,得到第一标签类型的新数据分布;基于第二标签类型的第一元数据标签和第二标签类型的第二元数据标签,得到第二标签类型的新数据分布;基于第一元数据标签得到原数据分布,包括:基于第一标签类型的第一元数据标签,得到第一标签类型的原数据分布;基于第二标签类型的第一元数据标签,得到第二标签类型的原数据分布;基于原数据分布和新数据分布,确定原数据分布和新数据分布的第一散度值,包括:基于第一标签类型的原数据分布和第一标签类型的新数据分布,确定第一标签类型的第一散度值;基于第二标签类型的原数据分布和第二标签类型的新数据分布,确定第二标签类型的第一散度值;基于第一标签类型的第一散度值和第二标签类型的第一散度值的平均值,确定原数据分布和新数据分布的第一散度值。
5、根据本专利技术提供的一种针对数据变化的监测方法,监测指令包括对原始特征进行监测的指令,监测方法包括原始特征统计监测方法,待监测数据包括待监测原始特征;响应于用户发起的监测指令,调用与监测指令对应的监测方法对待监测数据进行监测,包括:响应于用户发起的对原始特征进行监测的指令,调用原始特征统计监测方法对待监测原始特征进行监测,其中,原始特征统计监测方法采用以下方式对待监测原始特征进行监测得到待监测原始特征的误差:获取在先监测原始特征的第一特征标签;获取待监测原始特征的第二特征标签;基于第一特征标签和第二特征标签得到新数据分布;基于第一特征标签得到原数据分布;基于原数据分布和新数据分布,确定原数据分布和新数据分布的第二散度值,并将第二散度值作为待监测原始特征的误差;基于误差和预先设置的置信度,确定与误差对应的误差阈值,包括:基于第二散度值,按照伽马分布采用最大似然估计得到第三参数和第四参数;基于第三参数和第四参数,得到与第三参数和第四参数对应的第二目标伽马分布;基于第二目标伽马分布和置信度确定误差阈值;基于误差和误差阈值,得到待监测数据的监测结果,包括:在误差大于或等于误差阈值的情况下,得到待监测原始特征存在质量问题的监测结果;在误差小于误差阈值的情况下,得到待监测原始特征不存在质量问题的监测结果。
6、根据本专利技术提供的一种针对数据变化的监测方法,第一特征标签包括第一特征类型的第一特征标签和第二特征类型的第一特征标签;第二特征标签包括第一特征类型的第二特征标签和第二特征类型的第二特征标签;基于所述第一特征标签和第二特征标签得到新数据分布,包括:基于第一特征类型的第一特征标签和第一特征类型的第二特征标签,得到第一特征类型的新数据分布;基于第二特征类型的第一特征标签和第二特征类型的第二特征标签,得到第二特征类型的新数据分布;基于第一特征标得到原数据分布,包括:基于第一特征类型的第一特征标签,得到第一特征类型的原数据分布;基于第二特征类型的第一特征标签,得到第二特征类型的原数据分布;基于原数据分布和新数据分布,确定原数据分布和新数据分布的第二散度值,包括:基于第一特征类型的原数据分布和第一特征类型的新数据分布,确定第一特征类型的第二散度值;基于第二特征类型的原数据分布和第二特征类型的新数据分布,确定第二特征类型的第二散度值;基于第一特征类型的第二散度值和第二特征类型的第二散度值的平均值,确定原数据分布和新数据分布的第二散度值。
7、根据本专利技术提供的一种针对数据变化的监测方法,监测指令包括对聚类特征进行监测的指令,监测方法包括特征聚类监测方法,待监测数据包括待监测聚类特征;响应于用户发起的监测指令,调用与监测指令对应的监测方法对待监测数据进行监测,包括:响应于用户发起的对聚类特征进行监测的指令,调用特征聚类监测方法对待监测聚类特征进行监测,其中,特征聚类监测方法采用以下方式对待监测聚类特征进行监测得到所述待监测聚类特征的误差:对在先监测聚类特征进行分簇得到在先特征簇;计算在先特征簇的质心坐标,以及在先特征簇内各个在先监测聚类特征到质心的第一距离;对待监测聚类特征进行分簇得到待监测特征簇;计算待监测特征簇的质心坐标,以及待监测特征簇内各个待监测聚类特征到质心的第二距离;基于第一距离和第二距离得到新数据分布;基于第一距离得到原数据分布;基于原数据分布和新数据分布,确定原数据分本文档来自技高网...
【技术保护点】
1.一种针对数据变化的监测方法,其特征在于,所述监测方法包括:
2.根据权利要求1所述的一种针对数据变化的监测方法,其特征在于,所述监测指令包括对元数据进行监测的指令,所述监测方法包括元数据统计监测方法,所述待监测数据包括待监测元数据;
3.根据权利要求2所述的一种针对数据变化的监测方法,其特征在于,所述第一元数据标签包括第一标签类型的第一元数据标签和第二标签类型的第一元数据标签;所述第二元数据标签包括第一标签类型的第二元数据标签和第二标签类型的第二元数据标签;
4.根据权利要求1所述的一种针对数据变化的监测方法,其特征在于,所述监测指令包括对原始特征进行监测的指令,所述监测方法包括原始特征统计监测方法,所述待监测数据包括待监测原始特征;
5.根据权利要求4所述的一种针对数据变化的监测方法,其特征在于,所述第一特征标签包括第一特征类型的第一特征标签和第二特征类型的第一特征标签;所述第二特征标签包括第一特征类型的第二特征标签和第二特征类型的第二特征标签;
6.根据权利要求1所述的一种针对数据变化的监测方法,其特征在于,所述
7.根据权利要求1所述的一种针对数据变化的监测方法,其特征在于,所述监测指令包括对重构图像进行监测的指令,所述监测方法包括重构误差监测方法,所述待监测数据包括待监测重构图像;
8.根据权利要求1所述的一种针对数据变化的监测方法,其特征在于,在所述基于所述误差和所述误差阈值,得到所述待监测数据的监测结果之后,所述方法还包括:
9.根据权利要求7所述的一种针对数据变化的监测方法,其特征在于,所述计算所述目标待监测重构图像和所述待监测重构图像的重构误差,具体包括:
10.一种针对数据变化的监测装置,其特征在于,所述监测装置包括:
...【技术特征摘要】
1.一种针对数据变化的监测方法,其特征在于,所述监测方法包括:
2.根据权利要求1所述的一种针对数据变化的监测方法,其特征在于,所述监测指令包括对元数据进行监测的指令,所述监测方法包括元数据统计监测方法,所述待监测数据包括待监测元数据;
3.根据权利要求2所述的一种针对数据变化的监测方法,其特征在于,所述第一元数据标签包括第一标签类型的第一元数据标签和第二标签类型的第一元数据标签;所述第二元数据标签包括第一标签类型的第二元数据标签和第二标签类型的第二元数据标签;
4.根据权利要求1所述的一种针对数据变化的监测方法,其特征在于,所述监测指令包括对原始特征进行监测的指令,所述监测方法包括原始特征统计监测方法,所述待监测数据包括待监测原始特征;
5.根据权利要求4所述的一种针对数据变化的监测方法,其特征在于,所述第一特征标签包括第一特征类型的第一特征标签和第二特征类型的第一特征标签;所述...
【专利技术属性】
技术研发人员:张浩宇,黄强娟,何昌钦,王之元,寇广,
申请(专利权)人:中国人民解放军军事科学院国防科技创新研究院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。