一种基于变分自编码器的数据恢复和水质检测方法、装置制造方法及图纸

本发明专利技术公开了一种基于变分自编码器的数据恢复和水质检测方法、装置，方法包括：获取污水处理每一环节的传感器数据，构建训练数据集；建立变分自编码器网络模型；将训练数据集输入到所述变分自编码器网络模型中进行训练，得到数据恢复模型，将所述训练数据集输入到所述变分自编码器网络模型中进行训练的过程中，对输入层和第一隐藏层的每一数据节点进行失活处理；将丢失部分传感器数据的第一目标数据集输入到所述数据恢复模型中，得到所述第一目标数据集对应的恢复数据，可以将丢失传感器数据进行有效恢复，并依据恢复的数据，可指导各个环节的生产活动，提高水质检测的正确率。提高水质检测的正确率。提高水质检测的正确率。

【技术实现步骤摘要】
一种基于变分自编码器的数据恢复和水质检测方法、装置


[0001]本专利技术涉及污水处理
，具体涉及一种基于变分自编码器的数据恢复和水质检测方法、装置。

技术介绍

[0002]随着社会经济地快速发展，带来的是水资源严重污染问题。工业、农业污水排放量逐年增加，污水处理关乎基本民生，和每一个人息息相关。污水厂目前使用的水质检测技术，仅依靠在各个环节安装相关传感器，由数据采集器获取传感器数据后，直接发送给监测人员，监测人员有两个主要工作：一是依据各个环节的传感器判断该环节的处理是否达标，未达标需及时进行补偿措施；二是依据在最终出水环节安装的传感器数据，评估当前向外输出的水质。
[0003]但传感器灵敏度降低或损坏，部分传感器信号丢失是污水处理厂的常见问题，传感器数据的丢失将极大影响所处步骤的工作状态的监测评估，并影响最终的水质结果的正确率。

技术实现思路

[0004]因此，本专利技术要解决的技术问题在于克服现有传感器数据丢失影响水质检测结果的正确率的缺陷，从而提供一种基于变分自编码器的数据恢复和水质检测方法、装置。
[0005]根据第一方面，本专利技术实施例公开了一种基于变分自编码器的数据恢复方法，所述方法包括：获取污水处理每一环节的传感器数据，构建训练数据集；建立变分自编码器网络模型；将所述训练数据集输入到所述变分自编码器网络模型中进行训练，得到数据恢复模型，所述变分自编码器网络模型包括依次连接的输入层、第一隐藏层、第二隐藏层、第三隐藏层、第四隐藏层和输出层，所述将所述训练数据集输入到所述变分自编码器网络模型中进行训练的过程中，在所述数据集中任一批次数据训练过程中，对输入层和第一隐藏层的每一数据节点进行失活处理；将丢失部分传感器数据的第一目标数据集输入到所述数据恢复模型中，得到所述第一目标数据集对应的恢复数据，所述恢复数据中包含有所述丢失部分传感器数据。
[0006]可选地，所述将所述训练数据集输入到所述变分自编码器网络模型中进行训练之前，所述方法还包括：将所述训练数据集中的所有传感器数据进行归一化处理。
[0007]可选地，所述将所述训练数据集输入到所述变分自编码器网络模型中进行训练，包括：将所述训练数据集输入到所述变分自编码器网络模型，得到对应的预测恢复数据；根据所述预测恢复数据和训练数据集中进行失活处理对应的实际数据，计算所述变分自编码器网络模型对应的损失函数；判断所述损失函数是否小于预设阈值，若大于预设阈值，对所述变分自编码器网络模型进行参数调整，并重新利用训练数据集对所述变分自编码器网络模型进行训练，直至损失函数小于预设阈值。
[0008]根据第二方面，本专利技术实施例还公开了一种水质检测的方法，所述方法包括：获取
污水处理每一环节的水质对应的数据集，所述数据集包括污水处理后的水质对应的等级标签以及水质的各项参数；将所述数据集输入到预设分类模型中进行训练，得到水质分类模型；将恢复丢失传感器数据后的第二目标数据集输入到所述水质分类模型中，得到第二目标数据集对应的水质等级，所述恢复丢失传感器数据后的第二目标数据集由如第一方面或第一方面任一可选实施方式所述的基于变分自编码器的数据恢复方法得到的。
[0009]可选地，通过下述步骤确定污水处理后的水质对应的等级标签：获取水质的各项参数对应的得分，基于所述水质的各项参数对应的权重进行相加，得到所述水质的总得分；基于所述水质的总得分，确定所述水质的等级标签。
[0010]可选地，所述方法还包括：当所述第二目标数据集对应的水质等级低于预设等级阈值时，将不同时刻数据恢复模型输出的各个污水处理环节对应的传感器数据分别进行均值和方差计算；将计算得到的每个污水处理环节对应的均值和方差分别与预设合理区间进行比较，确定各个污水处理环节是否正常。
[0011]根据第三方面，本专利技术实施例还公开了一种基于变分自编码器的数据恢复装置，所述装置包括：数据获取模块，用于获取污水处理每一环节的传感器数据，构建训练数据集；模型建立模块，用于建立变分自编码器网络模型；模型训练模块，用于将所述训练数据集输入到所述变分自编码器网络模型中进行训练，得到数据恢复模型，所述变分自编码器网络模型包括依次连接的输入层、第一隐藏层、第二隐藏层、第三隐藏层、第四隐藏层和输出层，所述将所述训练数据集输入到所述变分自编码器网络模型中进行训练的过程中，在所述数据集中任一批次数据训练过程中，对输入层和第一隐藏层的每一数据节点进行失活处理；数据恢复模块，用于将丢失部分传感器数据的第一目标数据集输入到所述数据恢复模型中，得到所述第一目标数据集对应的恢复数据，所述恢复数据中包含有所述丢失部分传感器数据。
[0012]根据第四方面，本专利技术实施例还公开了一种水质检测装置，所述装置包括：水质数据获取模块，用于获取污水处理每一环节的水质对应的数据集，所述数据集包括污水处理后的水质对应的等级标签以及水质的各项参数；模型训练模块，用于将所述数据集输入到预设分类模型中进行训练，得到水质分类模型；水质检测模块，用于将恢复丢失传感器数据后的第二目标数据集输入到所述水质分类模型中，得到第二目标数据集对应的水质等级，所述恢复丢失传感器数据后的第二目标数据集由如第一方面或第一方面任一可选实施方式所述的基于变分自编码器的数据恢复方法得到的。
[0013]根据第五方面，本专利技术实施例还公开了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面或第一方面任一可选实施方式所述的基于变分自编码器的数据恢复方法，或如第二方面或第二方面任一可选实施方式所述的水质检测方法的步骤。
[0014]根据第六方面，本专利技术实施方式还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一可选实施方式所述的基于变分自编码器的数据恢复方法，或如第二方面或第二方面任一可选实施方式所述的水质检测方法的步骤。
[0015]本专利技术技术方案，具有如下优点：
[0016]本专利技术提供的基于变分自编码器的数据恢复方法，通过获取污水处理每一环节的传感器数据，构建训练数据集；建立变分自编码器网络模型；将训练数据集输入到所述变分自编码器网络模型中进行训练，得到数据恢复模型，将所述训练数据集输入到所述变分自编码器网络模型中进行训练的过程中，对输入层和第一隐藏层的每一数据节点进行失活处理；将丢失部分传感器数据的第一目标数据集输入到所述数据恢复模型中，得到所述第一目标数据集对应的恢复数据，可以将丢失传感器数据进行有效恢复，并依据恢复的数据，可指导各个环节的生产活动，提高水质检测的正确率。
附图说明
[0017]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于变分自编码器的数据恢复方法，其特征在于，所述方法包括：获取污水处理每一环节的传感器数据，构建训练数据集；建立变分自编码器网络模型；将所述训练数据集输入到所述变分自编码器网络模型中进行训练，得到数据恢复模型，所述变分自编码器网络模型包括依次连接的输入层、第一隐藏层、第二隐藏层、第三隐藏层、第四隐藏层和输出层，所述将所述训练数据集输入到所述变分自编码器网络模型中进行训练的过程中，在所述数据集中任一批次数据训练过程中，对输入层和第一隐藏层的每一数据节点进行失活处理；将丢失部分传感器数据的第一目标数据集输入到所述数据恢复模型中，得到所述第一目标数据集对应的恢复数据，所述恢复数据中包含有所述丢失部分传感器数据。2.根据权利要求1所述的方法，其特征在于，所述将所述训练数据集输入到所述变分自编码器网络模型中进行训练之前，所述方法还包括：将所述训练数据集中的所有传感器数据进行归一化处理。3.根据权利要求1所述的方法，其特征在于，所述将所述训练数据集输入到所述变分自编码器网络模型中进行训练，包括：将所述训练数据集输入到所述变分自编码器网络模型，得到对应的预测恢复数据；根据所述预测恢复数据和训练数据集中进行失活处理对应的实际数据，计算所述变分自编码器网络模型对应的损失函数；判断所述损失函数是否小于预设阈值，若大于预设阈值，对所述变分自编码器网络模型进行参数调整，并重新利用训练数据集对所述变分自编码器网络模型进行训练，直至损失函数小于预设阈值。4.一种水质检测方法，其特征在于，所述方法包括：获取污水处理每一环节的水质对应的数据集，所述数据集包括污水处理后的水质对应的等级标签以及水质的各项参数；将所述数据集输入到预设分类模型中进行训练，得到水质分类模型；将恢复丢失传感器数据后的第二目标数据集输入到所述水质分类模型中，得到第二目标数据集对应的水质等级，所述恢复丢失传感器数据后的第二目标数据集由如权利要求1
‑
3中任一项所述的基于变分自编码器的数据恢复方法得到的。5.根据权利要求4所述的方法，其特征在于，通过下述步骤确定污水处理后的水质对应的等级标签：获取水质的各项参数对应的得分，基于所述水质的各项参数对应的权重进行相加，得到所述水质的总得分；基于所述水质的总得分，确定所述水质的等级标签。6.根据权利要求4所述的方法，其特征在于，所述方法还包括：当所述第二目标数据集对应的水质等级低于预设等级阈值时，将不同时刻...

【专利技术属性】
技术研发人员：刘畅，任家朋，金和平，王宇庭，沈阳武，何立夫，张宸，邝家月，
申请(专利权)人：中国长江三峡集团有限公司，
类型：发明
国别省市：