一种用电负荷数据的离线脱敏方法和装置制造方法及图纸

本发明专利技术提供一种用电负荷数据的离线脱敏方法和装置，通过提取用电负荷数据、选择时频变换算法，并根据选择的时频变换算法对提取的用电负荷数据进行脱敏，最后将脱敏后的用电负荷数据进行存储，能够快速高效的完成用电负荷数据离线脱敏。本发明专利技术能够从文档、文件、数据库等多种途径选择用电负荷数据，以多种文件格式获取待脱敏的用电负荷数据，并根据数据特性以及提供者对数据敏感性的要求和使用者对数据可用性的要求选择用于脱敏的时频变换算法，确保能够顺利获取待脱敏的用电负荷数据，自由地选择适当的时频变换算法，达到最好的脱敏效果。

An off-line desensitization method and device using electrical load data

The invention provides an off-line desensitization method and device for power load data, which can be quickly and efficiently completed by extracting power load data, selecting time-frequency conversion algorithm, and desensitizing the extracted power load data according to the selected time-frequency conversion algorithm, and finally storing the desensitized power load data. Electrical load data are off-line desensitized. The invention can select power load data from documents, files, databases and other channels, obtain power load data to be desensitized in a variety of file formats, and select time-frequency conversion algorithms for desensitizing according to data characteristics, data sensitivity requirements of providers and data availability requirements of users to ensure that The load data to be desensitized can be obtained smoothly, and appropriate time-frequency conversion algorithm can be selected freely to achieve the best desensitizing effect.

【技术实现步骤摘要】
一种用电负荷数据的离线脱敏方法和装置
本专利技术涉及一种数据脱敏技术，具体涉及一种用电负荷数据的离线脱敏方法和装置。
技术介绍
大数据时代的到来，使得各界组织和企业都将数据作为未来发展的重要资源，并大力投入数据采集、传输、存储和分析应用的技术研发。在全球数据总量急剧增长的趋势下，电力行业信息化数据总量也呈现爆发式上升。电网企业利用长期积累的用电大数据，在公司各业务部门开展电能质量监测分析、窃电及违规用电分析、工商业发展分析、用电方案优化等工作，有力提升了电网内部的运营效率和客户服务水平；而且其数亿电力用户的用电信息采集数据已成为政府开展智慧城市建设，电信运营商、互联网企业和金融保险行业进行客户画像，以及零售娱乐企业辅助商业选址的重要数据来源。海量数据的不断积累，在为企业和社会不断创造价值的同时，也对企业保护数据的能力提出了更高的要求。由于电网企业信息化高速推进，越来越多的组织和企业希望从电网和用户数据中分析得到有效信息，更好的提高自身效益。也有越来越多的人士呼吁电网企业向社会开放自己的数据，为社会提供更好的信息服务。但电力用户的用电负荷数据直接关乎用户隐私，某些特殊电力客户的用电负荷数据甚至关系到社会发展和国家秘密，对用电负荷数据的开放和分析应用必须经过技术性去隐私化处理。通过完整的原始用电负荷数据，甚至能够分析出用户的作息规律、开关灯时间等不必要的信息，还可能给犯罪分子提供信息支持，这是大家不愿意看到的。因此，实现用电负荷数据脱敏已经成为电网大数据应用亟待解决的问题。
技术实现思路
为了克服上述现有技术的不足，本专利技术提供一种用电负荷数据的离线脱敏方法和装置，通过提取用电负荷数据、选择时频变换算法，并根据选择的时频变换算法对提取的用电负荷数据进行脱敏，最后将脱敏后的用电负荷数据进行存储，完成对用电负荷数据的离线脱敏。为了实现上述专利技术目的，本专利技术采取如下技术方案：本专利技术提供一种用电负荷数据的离线脱敏方法，包括：提取用电负荷数据，并选择时频变换算法；根据选择的时频变换算法对提取的用电负荷数据进行脱敏；将脱敏后的用电负荷数据进行存储。所述提取用电负荷数据包括：从本地、服务器、数据库、大数据平台或云端采用以下任一方式提取用电负荷数据：1)直接人工录入用电负荷数据；2)从txt文件、excel文件、csv文件中提取用电负荷数据；3)通过sql语句导入用电负荷数据；4)通过从数据库中导入用电负荷数据。所述选择时频变换算法包括：根据提取的用电负荷数据的数据特性，选择相应的时频变换算法，其中时频变换算法包括傅立叶变换、小波变换和希尔伯特黄变换。所述根据选择的时频变换算法对提取的用电负荷数据进行脱敏包括：根据提取的用电负荷数据和选择的时频变换算法，初始化脱敏参数；将待脱敏的长度为N的用电负荷数据通过时频变换算法变换为长度为N的频域数据；在频域对长度为N的频域数据的成分进行筛选、过滤、删除、修改处理，保留分析必要信息，去掉敏感信息；所述分析必要信息包括主要趋势，所述敏感信息包括明细特征；对处理后的频域数据进行时频逆变换，得到脱敏后的用电负荷数据。所述所述根据选择的时频变换算法对提取的用电负荷数据进行脱敏之后包括：对脱敏效果进行评估，具体如下：将脱敏前后的用电负荷数据进行对比，建立如下脱敏效果评估函数：其中，F(x,y)为脱敏效果评估值，x表示脱敏前的用电负荷数据集合，且x＝[x1,x2,...,xi,...,xN]，N为用电负荷数据长度，xi为x中第i个用电负荷数据；y表示脱敏后的用电负荷数据集合，且y＝[y1,y2,...,yi,...,yN]，yi表示y中第i个用电负荷数据；x表示x中所有用电负荷数据的算术平均值，y表示y中所有用电负荷数据的算数平均值，a,b,c,d均为线性组合的系数；如果脱敏效果评估值低于设定的脱敏效果评估下限，表明脱敏力度不足，需调节脱敏参数，以提高脱敏力度；如果脱敏效果评估值超过设定的脱敏效果评估上限，则表明脱敏力度过大，脱敏后的用电负荷数据不能满足提供者对数据敏感性的要求和使用者对数据可用性的要求，需调节脱敏参数，以降低脱敏力度。所述将脱敏后的用电负荷数据进行存储包括：将脱敏后的用电负荷数据以txt、excel或csv格式存储到目标地点，可以导出，也可以，或将脱敏后的用电负荷数据存入数据库或大数据平台。所述将脱敏后的用电负荷数据进行存储之后包括：将用电负荷数据脱敏过程中所使用的脱敏算法和脱敏参数进行保存。本专利技术还提供一种用电负荷数据的离线脱敏装置，包括：提取模块，用于提取用电负荷数据，并选择时频变换算法；脱敏模块，用于根据选择的时频变换算法对提取的用电负荷数据进行脱敏；存储模块，用于将脱敏后的用电负荷数据进行存储。所述提取模块具体用于：从本地、服务器、数据库、大数据平台或云端采用以下任一方式提取用电负荷数据：1)直接人工录入用电负荷数据；2)从txt文件、excel文件、csv文件中提取用电负荷数据；3)通过sql语句导入用电负荷数据；4)通过从数据库中导入用电负荷数据。所述提取模块具体用于：根据提取的用电负荷数据的数据特性，选择相应的时频变换算法，其中时频变换算法包括傅立叶变换、小波变换和希尔伯特黄变换。所述脱敏模块具体用于：根据提取的用电负荷数据和选择的时频变换算法，初始化脱敏参数；将待脱敏的长度为N的用电负荷数据通过时频变换算法变换为长度为N的频域数据；在频域对长度为N的频域数据的成分进行筛选、过滤、删除、修改处理，保留分析必要信息，去掉敏感信息；所述分析必要信息包括主要趋势，所述敏感信息包括明细特征；对处理后的频域数据进行时频逆变换，得到脱敏后的用电负荷数据。所述脱敏模块还包括评估模块，所述评估模块用于对脱敏效果进行评估。所述评估模块具体用于：将脱敏前后的用电负荷数据进行对比，建立如下脱敏效果评估函数：其中，F(x,y)为脱敏效果评估值，x表示脱敏前的用电负荷数据集合，且x＝[x1,x2,...,xi,...,xN]，N为用电负荷数据长度，xi为x中第i个用电负荷数据；y表示脱敏后的用电负荷数据集合，且y＝[y1,y2,...,yi,...,yN]，yi表示y中第i个用电负荷数据；x表示x中所有用电负荷数据的算术平均值，y表示y中所有用电负荷数据的算数平均值，a,b,c,d均为线性组合的系数；如果脱敏效果评估值低于设定的脱敏效果评估下限，表明脱敏力度不足，需调节脱敏参数，以提高脱敏力度；如果脱敏效果评估值超过设定的脱敏效果评估上限，则表明脱敏力度过大，脱敏后的用电负荷数据不能满足提供者对数据敏感性的要求和使用者对数据可用性的要求，需调节脱敏参数，以降低脱敏力度。所述存储模块具体用于：将脱敏后的用电负荷数据以txt、excel或csv格式存储到目标地点，可以导出，也可以，或将脱敏后的用电负荷数据存入数据库或大数据平台。所述存储模块具体用于：将用电负荷数据脱敏过程中所使用的脱敏算法和脱敏参数进行保存。与最接近的现有技术相比，本专利技术提供的技术方案具有以下有益效果：1)本专利技术提供的用电负荷数据的离线脱敏方法和装置通过提取用电负荷数据、选择时频变换算法，并根据选择的时频变换算法对提取的用电负荷数据进行脱敏，最后将脱敏后的用电负荷数据进行存储，能够快速高效的完成用电负荷数据离线脱敏；2)提本文档来自技高网...

【技术保护点】
1.一种用电负荷数据的离线脱敏方法，其特征在于，所述方法包括：提取用电负荷数据，并选择时频变换算法；根据选择的时频变换算法对提取的用电负荷数据进行脱敏；将脱敏后的用电负荷数据进行存储。

【技术特征摘要】
1.一种用电负荷数据的离线脱敏方法，其特征在于，所述方法包括：提取用电负荷数据，并选择时频变换算法；根据选择的时频变换算法对提取的用电负荷数据进行脱敏；将脱敏后的用电负荷数据进行存储。2.根据权利要求1所述的用电负荷数据的离线脱敏方法，其特征在于，所述提取用电负荷数据包括：从本地、服务器、数据库、大数据平台或云端采用以下任一方式提取用电负荷数据：1)直接人工录入用电负荷数据；2)从txt文件、excel文件、csv文件中提取用电负荷数据；3)通过sql语句导入用电负荷数据；4)通过从数据库中导入用电负荷数据。3.根据权利要求2所述的用电负荷数据的离线脱敏方法，其特征在于，所述选择时频变换算法包括：根据提取的用电负荷数据的数据特性，选择相应的时频变换算法，其中时频变换算法包括傅立叶变换、小波变换和希尔伯特黄变换。4.根据权利要求3所述的用电负荷数据的离线脱敏方法，其特征在于，所述根据选择的时频变换算法对提取的用电负荷数据进行脱敏包括：根据提取的用电负荷数据和选择的时频变换算法，初始化脱敏参数；将待脱敏的长度为N的用电负荷数据通过时频变换算法变换为长度为N的频域数据；在频域对长度为N的频域数据的成分进行筛选、过滤、删除、修改处理，保留分析必要信息，去掉敏感信息；所述分析必要信息包括主要趋势，所述敏感信息包括明细特征；对处理后的频域数据进行时频逆变换，得到脱敏后的用电负荷数据。5.根据权利要求4所述的用电负荷数据的离线脱敏方法，其特征在于，所述所述根据选择的时频变换算法对提取的用电负荷数据进行脱敏之后包括：对脱敏效果进行评估，具体如下：将脱敏前后的用电负荷数据进行对比，建立如下脱敏效果评估函数：其中，F(x,y)为脱敏效果评估值，x表示脱敏前的用电负荷数据集合，且x＝[x1,x2,…,xi,…,xN]，N为用电负荷数据长度，xi为x中第i个用电负荷数据；y表示脱敏后的用电负荷数据集合，且y＝[y1,y2,...,yi,...,yN]，yi表示y中第i个用电负荷数据；表示x中所有用电负荷数据的算术平均值，表示y中所有用电负荷数据的算数平均值，a,b,c,d均为线性组合的系数；如果脱敏效果评估值低于设定的脱敏效果评估下限，表明脱敏力度不足，需调节脱敏参数，以提高脱敏力度；如果脱敏效果评估值超过设定的脱敏效果评估上限，则表明脱敏力度过大，脱敏后的用电负荷数据不能满足提供者对数据敏感性的要求和使用者对数据可用性的要求，需调节脱敏参数，以降低脱敏力度。6.根据权利要求1所述的用电负荷数据的离线脱敏方法，其特征在于，所述将脱敏后的用电负荷数据进行存储包括：将脱敏后的用电负荷数据以txt、excel或csv格式存储到目标地点，可以导出，也可以，或将脱敏后的用电负荷数据存入数据库或大数据平台。7.根据权利要求6所述的用电负荷数据的离线脱敏方法，其特征在于，所述将脱敏后的用电负荷数据进行存储之后包括：将用电负荷数据脱敏过程中所使用的脱敏算法和脱敏参数进行保存。8.一种用电...

【专利技术属性】
技术研发人员：陈江琦，赵婷，高昆仑，张迪，杨訸，黄复鹏，崔心宇，
申请(专利权)人：全球能源互联网研究院，国网山东省电力公司青岛供电公司，国家电网公司，
类型：发明
国别省市：北京,11