【技术实现步骤摘要】
本专利技术涉及轻量化数据治理，具体为一种轻量化数据治理方法。
技术介绍
1、轻量化数据指的是通过压缩、精简或其他方式减小数据的体积和复杂性，轻量化数据在物联网、移动互联网和大数据分析等领域有着广泛的应用。通过轻量化数据的处理，可以更快速、高效地进行数据存储、传输和分析，提升系统的性能和用户体验。
2、根据申请号为cn202210237729.5的专利显示，该专利的方法包括：用户端向云端处理平台发送轻量化请求；云端处理平台收到所述轻量化请求后验证用户端身份信息，验证通过后向用户端发送受理通知；用户端收到所述受理通知后向云端处理平台发送待处理原始模型；云端处理平台对所述原始模型进行轻量化处理，并将处理完成后的轻量化模型发送给用户端。
3、轻量化数据虽然本身具有尺寸小的特性，但是不同轻量化数据之间存在一定的差异，具体的差异包括：读取速度不同、容量大小不同和格式不同等等，由于这种差异的存在导致了在对轻量化数据存储的过程中会造成不同的麻烦，同时轻量化数据在传输的过程中会出现数据不完整的情况，后续在使用不完整轻量化数据的时候会存在一定程度的影响。
技术实现思路
1、针对现有技术的不足，本专利技术提供了一种轻量化数据治理方法，解决了不同轻量化数据在存储的时候会由于自身存在的差异造成存储的麻烦的问题。
2、为实现以上目的，本专利技术通过以下技术方案予以实现：一种轻量化数据治理方法，该方法具体包括以下步骤：
3、步骤一：获取到传输的轻量化数据，并对轻量
4、在轻量化数据传输之前，对每个字节进行奇偶位的计算并将其传输到接收端，接收端获取到传输的轻量化数据，并根据接收到的轻量化数据计算奇偶位，然后与传输的奇偶位进行比对，从而判断数据是否完整，若两个奇偶位相同则表示传输的轻量化数据完整，若两个奇偶位不相同则表示传输的轻量化数据不完整。
5、步骤二：获取到完整轻量化数据同时获取到其对应的容量值，接着根据容量值来对完整轻量化数据进行压缩处理得到压缩轻量化数据，具体的压缩处理方式如下：
6、s1：获取到任意一组完整轻量化数据并将其标记为目标数据且记作为k，并对目标数据k进行二进制转换，同时获取到其对应的容量值记作rk，并将容量值最后一位进行标记且记作a；具体的，a表示为容量值最后一位的数值，如果容量值为123，则a=3。
7、s2：根据二进制转换后的目标数据生成对应的二进制原模板和分割模板，且生成分割模板的方式为：以a为二进制数的分割个数，且a不包括a=1的情况，并将a个二进制数作为原模板，同理对后续的二进制数进行相同方式的分割生成分割模板，同时对分割模板进行标号处理且记作为i，且i=1、2、…、n；
8、s3：接着将分割模板i与原模板进行比较，并将二者进行相似度匹配，若二者内部的二进制数排序顺序不相同的数量不超过两个，则将对应的分割模板i分类为相似模板，二者内部的二进制数排序顺序不相同的数量超过两个，则对分割模板不进行任何处理；具体的，二进制数排序顺序表示原模板中的排序顺序与分割模板中排序顺序是否相同。
9、s4：获取到所有的相似模板并对其中任意一组相似模板进行分析，同时获取到相似模板中的区别特征，具体的区别特征为存在不相同排序顺序的二进制数，并将区别特征表示为qa和qb，且q=1、2、…、a，a=0，b=1，并将区别特征与相似模板进行重新组合。
10、以此类推，对所有的完整数据进行相同的分析处理。
11、步骤三：获取到不完整轻量化数据并对其进行重新传输得到完整轻量化数据，接着对其进行分割和压缩处理得到压缩轻量化数据；具体的，针对不完整轻量化数据需要对其进行重新传输，同理对传输的轻量化数据进行完整性核验，直至获取到传输为完整的轻量化数据。
12、步骤四：接着对获取到的压缩轻量化数据进行存储，通过对压缩轻量化数据的容量进行分析，并按照容量值的大小进行不同方式的存储，且具体的存储方式如下：
13、p1：将压缩轻量化数据进行同类型分类处理，获取到任意一组分类压缩轻量化数据并对其进行标号处理且记作为o，且o=1、2、…、p，同时获取到其对应的读取速度vo和容量值ro；
14、p2：获取到读取速度vo最大对应的压缩轻量化数据o，读取速度最大表示对压缩轻量化数据读取的速度最快，用时最短，并将其作为标准数据且标号为h，同时获取到其容量值rh，接着筛选出读取速度vo小于标准数据读取速度vh对应的压缩轻量化数据并将其记作低标速数据p，且p=1、2、…、g；
15、p3：获取到所有低标速数据p对应的容量值rp，并将其与标准数据容量值ro进行比较，同时将rp大于标准数据容量值ro的低标速数据分类为大容量低标速数据u，且u=1、2、…、f，将rp小于标准数据容量值ro的低标速数据分类为小容量低标速数据y，且y=1、2、…、e，且e+f=g；具体的针对读取速度高于标准数据的不进行任何处理。
16、p4：获取到所有的大容量低标速数据u和其对应的容量值ru，同时将其按照容量值ru从大到小进行排序标号，并根据其容量值奇偶性进行不同的存储，具体的存储方式如下：
17、p41：当大容量低标速数据u的容量值ru为奇数时，获取到容量值最后一位a，并按照容量均分成a份数据包同时将a份数据包进行相同排序标号处理，且a份数据包的标号与其对应的大容量低标速数据的排序标号相同，同时a不包括1，同时将得到的a份数据包进行存储生成存储信息；
18、p42：当大容量低标速数据u的容量值为偶数时，将容量值进行两等份的均分处理得到两份数据包，同时将得到的两份数据包进行存储生成存储信息，且两份数据包均存在有与大容量低标速数据相同的标号。
19、具体的针对小容量低标速数据不进行任何处理。
20、本专利技术提供了一种轻量化数据治理方法。与现有技术相比具备以下有益效果：
21、本专利技术通过对传输后的轻量化数据进行完整性核验，针对不完整的轻量化数据进行重新传输，从而避免不完整轻量化数据在使用过程中带来的麻烦，接着针对完整轻量化数据根据其格式进行同类型分类处理，并针对同类型的完整轻量化数据通过对其进行二进制转换，并根据其容量来对其进行分割处理，从而实现对其整体的压缩，最后得到压缩的完整轻量化数据再次根据其容量值的奇偶性来进行不同方式的存储，进一步的来减小整体的存储空间。
本文档来自技高网...【技术保护点】
1.一种轻量化数据治理方法，其特征在于，该方法具体包括以下步骤：
2.根据权利要求1所述的一种轻量化数据治理方法，其特征在于，所述步骤二中得到原模板和分割模板的具体方式如下：
3.根据权利要求1所述的一种轻量化数据治理方法，其特征在于，所述步骤二中得到相似模板和对区别特征的标记方式如下：
4.根据权利要求1所述的一种轻量化数据治理方法，其特征在于，所述步骤四中具体的分类方式为：
5.根据权利要求4所述的一种轻量化数据治理方法，其特征在于，所述步骤P1中的同类型分类处理具体表示为：将相同格式的压缩轻量化数据进行同类型分类，其中o表示同类型分类种类。
6.根据权利要求1所述的一种轻量化数据治理方法，其特征在于，所述步骤五中根据大容量低标速数据的奇偶性生成不同存储信息的具体方式如下：
7.根据权利要求1所述的一种轻量化数据治理方法，其特征在于，所述步骤一中具体的奇偶位核验方式为：
【技术特征摘要】
1.一种轻量化数据治理方法，其特征在于，该方法具体包括以下步骤：
2.根据权利要求1所述的一种轻量化数据治理方法，其特征在于，所述步骤二中得到原模板和分割模板的具体方式如下：
3.根据权利要求1所述的一种轻量化数据治理方法，其特征在于，所述步骤二中得到相似模板和对区别特征的标记方式如下：
4.根据权利要求1所述的一种轻量化数据治理方法，其特征在于，所述步骤四中具体的分类方式为：
【专利技术属性】
技术研发人员：王韬，李龙，魏建宁，王泽，杨凌云，郭建璀，
申请(专利权)人：四川中电启明星信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。