【技术实现步骤摘要】
本专利技术涉及图像处理，具体为一种用于大数据清洗的人工智能图像处理方法及系统。
技术介绍
1、在大数据采集过程中，往往会有部分数据伴随着诸多噪声，这些噪声会影响人工智能图像的训练结果，因此在使用前需要进行大数据清洗。大数据清洗是指从大量数据中识别、更正或删除错误或不准确的记录的过程。传统的数据清洗方法通常侧重于文本数据，而对于含有大量图像数据的数据集，尤其是在医学、天文学、安防等领域，有效的图像数据清洗尤为关键。
2、现有的大数据清洗的人工智能图像处理系统，对于噪声特征的分析与策略制定不全面，导致处理的精准度不足；现有的大数据清洗的人工智能图像处理系统，采用的策略与处理后的数据结果单一，无法满足不同的训练要求。
技术实现思路
1、鉴于上述存在的问题，提出了本专利技术。
2、因此，本专利技术解决的技术问题是：现有的噪声图像处理系统，采用的策略与处理后的数据结果单一，无法满足不同情况下处理噪声数据的需求。
3、为解决上述技术问题，本专利技术提供如下技术方案：一种用于大数据清洗的人工智能图像处理方法，包括：
4、采集图像数据；
5、对采集到的图像数据进行分析，筛选出噪声图像数据，并对噪声特征进行分析；
6、根据噪声数据特征，制定相应的清洗策略；
7、对分类后的噪声图像数据，依次执行不同的清洗策略，根据反馈结果优化数据清洗方式。
8、作为本专利技术所述的用于大数据清洗的人工智能图像处理方法的一种
9、作为本专利技术所述的用于大数据清洗的人工智能图像处理方法的一种优选方案，其中：所述对采集到的图像数据进行分析包括，对采集的图像数据进行预处理工作，进行标准化和归一化；随机选取30％的训练集图像样本作为代表性图像样本，使用大数据服务处理平台计算噪声水平，对图像中的每个像素点，计算其邻域内像素值的方差，公式表示为；
10、
11、其中，σ2表示图像中像素点邻域内像素值的方差；n表示邻域内像素数量；xi表示邻域内的像素值；μ表示邻域内像素值的平均值；通过方差可以得到每张图像的噪声水平。
12、作为本专利技术所述的用于大数据清洗的人工智能图像处理方法的一种优选方案，其中：所述噪声图像数据包括，分析这些噪声水平的分布，选择噪声水平的平均值加上两倍标准差作为筛选的阈值，阈值表示为τ；将70％的测试集图像数据按照阈值进行筛选，得到噪声图像数据集；筛选步骤包括，噪声水平的平均值表示为：
13、
14、噪声水平的标准差表示为
15、
16、其中，m表示样本图像的数量；σj表示第j张图像的噪声水平；噪声阈值表示为：
17、τ＝μnoise+2σnoise
18、若测试集图像数据的噪声水平＜τ时，则分类为噪声图像数据。
19、作为本专利技术所述的用于大数据清洗的人工智能图像处理方法的一种优选方案，其中：所述噪声特征进行分析包括，对噪声图像数据进行特征分析，噪声特征分析公式表示为：
20、
21、其中，c(i,k)表示第i个图像的第k种噪声分类结果，值域为[0,1]，接近1则表示图像属于该类噪声；k表示噪声类型的总数，这里k＝6；βk表示第k类噪声的归一化参数，调整分类敏感度；d(i,k)表示信息过滤函数，用于计算第i个图像与第k类噪声之间的差异度，使用深度学习模型中的特征提取层输出；s(k)表示第k类噪声的清洗策略的效率，初始值默认为1；
22、所述噪声类型包括高斯噪声、椒盐噪声、泊松噪声、斑点噪声、条纹噪声、量化噪声。
23、作为本专利技术所述的用于大数据清洗的人工智能图像处理方法的一种优选方案，其中：所述相应的清洗策略包括，将图像的噪声类型进行分类，分类得到的c(i,k)若≥0.5，则说明图像的噪声类型属于k类；若c(i,k)＜0.5，则说明图像的噪声问题有多种，则选取其中c(i,k)值最大的两类噪声作为主要噪声类型；
24、针对不同噪声类别的图像进行清洗策略的制定，若为单一类型的噪声问题图像，则使用传统图像处理技术进行该噪声类型的清洗；若为多噪声类型的噪声问题图像，则使用主要噪声类型的两类噪声处理方法进行处理；处理后得到的清洗效率函数表示为：
25、s(k)＝e-αe(k)
26、其中，e(k)表示第k类噪声的清洗策略对应的平均效果指标；α表示一个正的缩放参数，用于调整指标函数的敏感度。
27、作为本专利技术所述的用于大数据清洗的人工智能图像处理方法的一种优选方案，其中：所述优化数据清洗方式包括，当完成噪声清洗工作，得到清洗效率函数s(k)，将清洗效率函数与噪声分类函数进行对比，在单一噪声类型图像时，若s(k)＞c(i,k)，则说明分类正确，且清洗效果显著，噪声图像清洗策略优秀；若s(k)＜c(i,k)，则说明分类正确，清洗效果不显著，噪声图像清洗策略需要修改；若s(k)＝c(i,k)，则说明分类正确，且清洗效果显著，噪声图像清洗策略一般；在噪声图像清洗策略一般和需要修改时，采用两种清洗策略混搭的方式，再次对原噪声图像进行清洗，优化清洗策略；
28、在多噪声类型图像时，若s(k1)＞c(i,k1)，s(k2)＞c(i,k2)，则说明分类正确，且清洗效果显著，噪声图像清洗策略优秀；若s(k1)＜c(i,k1)，s(k2)＞c(i,k2)，则说明k1分类错误，清洗效果不显著，重新对图像进行分类并更换k1的噪声清洗方式；s(k1)＞c(i,k1)，s(k2)＜c(i,k2)，则说明k2分类错误，清洗效果不显著，更换k2的噪声清洗方式；c(k1)＜c(i,k1)，s(k2)＜c(i,k2)，则说明分类错误，且清洗效果不显著，重新对图像进行分类，并且更换噪声清洗搭配方式，从而优化清洗策略。
29、一种采用本专利技术任一所述方法的用于大数据清洗的人工智能图像处理系统，其中：
30、大数据采集模块：采集图像数据，进行预处理；
31、噪声特征提取模块：使用数据分析单元，分理处异常数据，并由特征提取单元，提取噪声特征，并通过分类单元，对噪声特征进行分类；
32、清洗策略拟定模块：按照噪声分类结果，进行对应策略分析和选取；
33、模型优化模块，评估噪声清洗策略的效果并提供反馈用于优化，调换清洗策略的搭配和占比来优化噪声清洗模型。
34、一种计算机设备，包括：存储器和处理器；所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现本专利技术中任一项所述的方法的步骤。
35、一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现本专利技术中任一项所本文档来自技高网...
【技术保护点】
1.一种用于大数据清洗的人工智能图像处理方法，其特征在于，包括：
2.如权利要求1所述的用于大数据清洗的人工智能图像处理方法，其特征在于：所述采集图像数据包括，使用大数据采集模块采集图像数据；大数据采集模块包括数据源输入单元，大数据服务处理平台，数据存储单元；采集的数据包括网络摄像头数据，图像数据库数据，社交媒体图像数据。
3.如权利要求2所述的用于大数据清洗的人工智能图像处理方法，其特征在于：所述对采集到的图像数据进行分析包括，对采集的图像数据进行预处理工作，进行标准化和归一化；随机选取30％的训练集图像样本作为代表性图像样本，使用大数据服务处理平台计算噪声水平，对图像中的每个像素点，计算其邻域内像素值的方差，公式表示为；
4.如权利要求3所述的用于大数据清洗的人工智能图像处理方法，其特征在于：所述噪声图像数据包括，分析这些噪声水平的分布，选择噪声水平的平均值加上两倍标准差作为筛选的阈值，阈值表示为τ；将70％的测试集图像数据按照阈值进行筛选，得到噪声图像数据集；筛选步骤包括，噪声水平的平均值表示为：
5.如权利要求4所述的用于大
6.如权利要求5所述的用于大数据清洗的人工智能图像处理方法，其特征在于：所述相应的清洗策略包括，将图像的噪声类型进行分类，分类得到的C(i，k)，若≥0.5，则判定图像的噪声类型属于k类；若C(i，k)＜0.5，则判定图像的噪声问题为多种类型噪声，则选取其中C(i，k)值最大的两类噪声作为主要噪声类型；
7.如权利要求6所述的用于大数据清洗的人工智能图像处理方法，其特征在于：所述优化数据清洗方式包括，当完成噪声清洗工作，得到清洗效率函数S(k)，将清洗效率函数与噪声分类函数进行对比，在单一噪声类型图像时，若S(k)＞C(i，k)，则说明分类正确，且清洗效果显著，噪声图像清洗策略优秀；若S(k)＜C(i，k)，则说明分类正确，清洗效果不显著，噪声图像清洗策略需要修改；若S(k)＝C(i，k)，则说明分类正确，且清洗效果显著，噪声图像清洗策略一般；在噪声图像清洗策略一般和需要修改时，采用两种清洗策略混搭的方式，再次对原噪声图像进行清洗，优化清洗策略；
8.一种采用如权利要求1-7任一所述方法的用于大数据清洗的人工智能图像处理系统，其特征在于：
9.一种计算机设备，包括：存储器和处理器；所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现用于大数据清洗的人工智能图像处理方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现用于大数据清洗的人工智能图像处理方法的步骤。
...【技术特征摘要】
1.一种用于大数据清洗的人工智能图像处理方法，其特征在于，包括：
2.如权利要求1所述的用于大数据清洗的人工智能图像处理方法，其特征在于：所述采集图像数据包括，使用大数据采集模块采集图像数据；大数据采集模块包括数据源输入单元，大数据服务处理平台，数据存储单元；采集的数据包括网络摄像头数据，图像数据库数据，社交媒体图像数据。
3.如权利要求2所述的用于大数据清洗的人工智能图像处理方法，其特征在于：所述对采集到的图像数据进行分析包括，对采集的图像数据进行预处理工作，进行标准化和归一化；随机选取30％的训练集图像样本作为代表性图像样本，使用大数据服务处理平台计算噪声水平，对图像中的每个像素点，计算其邻域内像素值的方差，公式表示为；
4.如权利要求3所述的用于大数据清洗的人工智能图像处理方法，其特征在于：所述噪声图像数据包括，分析这些噪声水平的分布，选择噪声水平的平均值加上两倍标准差作为筛选的阈值，阈值表示为τ；将70％的测试集图像数据按照阈值进行筛选，得到噪声图像数据集；筛选步骤包括，噪声水平的平均值表示为：
5.如权利要求4所述的用于大数据清洗的人工智能图像处理方法，其特征在于：所述噪声特征进行分析包括，对噪声图像数据进行特征分析，噪声特征分析公式表示为：
6.如权利要求5所述的用于大数据清洗的人工智能图像处理方法，其特征在于：所述相应的清洗策...
【专利技术属性】
技术研发人员：汤力，杜洁，杨震乾，张航，
申请(专利权)人：云南电网有限责任公司信息中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。