System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请属于工业互联网领域,具体涉及一种局部数据鉴权处理方法、装置、设备和计算机存储介质。
技术介绍
1、数据资产是指由个人或企业拥有或者控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源;具体来讲,数据资产是指以个人或企业的照片、文档、图纸、视频、数字版权等等以文件为载体的数据,相对于实物资产以数据形式存在的一类资产,且数据资产被认为是数字时代的最重要的资产形式之一。
2、数据交易或登记机构对数据资产进行登记的时候一般需要将提交登记申请的数据资产与资产库中已有的数据资产进行比对,防止资产登记过程发生侵权或者局部侵权行为。在现有技术中,散列算法生成的哈希值通常辅以其它编码信息来作为被登记数据资产的唯一标识;在文本数据的比对领域,可以通过向量化文本,比较一对向量间的余弦距离来判别文本数据的相似性大小。
3、然而,散列算法生成的哈希值并不能用作数据资产相似度比对的值,即完全一样的数据资产生成的哈希值必然一致,但哈希值一致的数据资产可能完全不一样,因此,哈希值比对只能比较出完全相同的两份数据,并且需要二次校验,排除错判情形;同时,哈希值对局部拷贝、调序、换词、无效填充等侵权手段没有识别能力,也即导致数据资产出现局部侵权却无法识别;向量化技术通常采用词的位置或者频率来定义向量,没有涉及到词之间的关联关系。
技术实现思路
1、本申请提供了一种局部数据鉴权处理方法、装置、设备和计算机存储介质,用以解决局部拷贝、调序、无效填充等行为导致的局部侵权以及向量
2、第一方面,本申请提供一种局部数据鉴权处理方法,包括:
3、获取待鉴权数据,并确定所述待鉴权数据的数据类型和预设步长;
4、根据所述数据类型,确定当次数据鉴权所用的初始窗口,并按照所述初始窗口和所述预设步长对所述待鉴权数据进行滑动分箱处理,得到目标分箱,其中,所述目标分箱为一个或多个;
5、对所述目标分箱进行数据处理,得到与所述目标分箱对应的鉴权参数,并判断所述鉴权参数是否满足预设鉴权条件;
6、若所述鉴权参数不满足所述预设鉴权条件,则按照所述预设步长对所述初始窗口进行缩小处理,并确定新的鉴权参数,完成对所述待鉴权数据的鉴权处理。
7、可选的,所述根据所述数据类型,确定当次数据鉴权所用的初始窗口,包括:
8、根据所述数据类型,确定当次数据鉴权的窗口阈值;
9、根据所述待鉴权数据,确定所述待鉴权数据的数据窗口;
10、判断所述数据窗口是否大于所述窗口阈值:
11、若是,则将所述窗口阈值确定为所述初始窗口;
12、若否,则将所述数据窗口确定为所述初始窗口。
13、可选的,所述鉴权参数包括:目标哈希值和距离参数,对所述目标分箱进行数据处理,得到与所述目标分箱对应的鉴权参数,并判断所述鉴权参数是否满足预设鉴权条件,包括:
14、获取数据资产库中的多个历史哈希值;
15、对所述目标分箱进行数据处理,得到与所述目标分箱对应的目标哈希值;
16、判断与所述目标哈希值相等的历史哈希值是否存在;
17、若与所述目标哈希值相等的历史哈希值不存在,则对所述目标分箱对应的数据进行向量化处理;
18、根据向量化处理的结果,确定与所述目标分箱对应的距离参数,并判断所述距离参数是否大于预设距离参数;
19、若所述距离参数大于预设距离参数,则确定所述鉴权参数满足所述预设鉴权条件,当次对所述待鉴权数据的鉴权处理完成;
20、若所述距离参数不大于预设距离参数,则确定所述鉴权参数不满足所述预设鉴权条件。
21、可选的,在所述按照所述预设步长对所述初始窗口进行缩小处理之前,所述方法还包括:
22、根据所述数据类型,获取与所述数据类型对应的数据信息库,所述数据信息库可用于与所述待鉴权数据进行同义替换;
23、根据所述数据信息库,生成与所述目标分箱对应的同义分箱,并对所述同义分箱对应的数据进行向量化处理;
24、根据向量化处理的结果,确定与所述同义分箱对应的新的距离参数;
25、判断所述新的距离参数是否大于预设距离参数;
26、若所述距离参数大于预设距离参数,则确定所述鉴权参数满足所述预设鉴权条件,完成当次对所述待鉴权数据的鉴权处理;
27、若所述距离参数不大于预设距离参数,则确定所述鉴权参数不满足所述预设鉴权条件,并对所述初始窗口进行缩小处理。
28、可选的,所述按照所述预设步长对所述初始窗口进行缩小处理,并确定新的鉴权参数,完成对所述待鉴权数据的鉴权处理,包括:
29、按照所述预设步长对所述初始窗口进行缩小处理,得到目标窗口;
30、按照所述目标窗口和所述预设步长对所述待鉴权数据进行滑动分箱处理,得到新的目标分箱;
31、对所述新的目标分箱进行数据处理,得到与所述新的目标分箱对应的新的鉴权参数,并根据所述新的鉴权参数,完成对所述待鉴权数据的鉴权处理。
32、可选的,所述根据所述新的鉴权参数,完成对所述待鉴权数据的鉴权处理,包括:
33、判断所述新的鉴权参数是否满足预设鉴权条件;
34、若所述新的鉴权参数不满足预设鉴权条件,则判断所述目标窗口是否大于所述预设步长;
35、若所述目标窗口大于所述预设步长,则继续按照所述预设步长对所述目标窗口进行缩小处理,得到新的目标窗口,并确定新的鉴权参数,完成对所述待鉴权数据的鉴权处理;
36、若所述目标窗口不大于所述预设步长,则确定对所述待鉴权数据的鉴权结果为鉴权成功,并完成对所述待鉴权数据的鉴权处理;
37、若所述新的鉴权参数满足预设鉴权条件,则确定对所述待鉴权数据的鉴权结果为鉴权失败,并完成对所述待鉴权数据的鉴权处理。
38、可选的,所述方法还包括:
39、若与所述目标哈希值相等的历史哈希值存在,则根据所述历史哈希值,确定与所述历史哈希值对应的在库数据;
40、对所述在库数据与所述目标分箱对应的数据进行半箱处理,并重新计算与半箱处理结果对应的半箱哈希值和新的历史哈希值;
41、判断与所述半箱哈希值相等的新的历史哈希值是否存在;
42、若是,则确定对所述待鉴权数据的鉴权结果为鉴权失败,并完成对所述待鉴权数据的鉴权处理;
43、若否,则对与所述半箱哈希值对应的数据进行向量化处理,并根据向量化处理的结果,完成当次对所述待鉴权数据的鉴权处理。
44、第二方面,本申请提供一种局部数据鉴权处理装置,包括:
45、获取模块,用于获取待鉴权数据。
46、确定模块,用于确定所述待鉴权数据的数据类型和预设步长。
47、所述确定模块,还用于根据本文档来自技高网...
【技术保护点】
1.一种局部数据鉴权处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述数据类型,确定当次数据鉴权所用的初始窗口,包括:
3.根据权利要求2所述的方法,其特征在于,所述鉴权参数包括:目标哈希值和距离参数,对所述目标分箱进行数据处理,得到与所述目标分箱对应的鉴权参数,并判断所述鉴权参数是否满足预设鉴权条件,包括:
4.根据权利要求3所述的方法,其特征在于,在所述按照所述预设步长对所述初始窗口进行缩小处理之前,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述按照所述预设步长对所述初始窗口进行缩小处理,并确定新的鉴权参数,完成对所述待鉴权数据的鉴权处理,包括:
6.根据权利要求5所述的方法,其特征在于,所述根据所述新的鉴权参数,完成对所述待鉴权数据的鉴权处理,包括:
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
8.一种局部数据鉴权处理装置,其特征在于,包括:
9.一种局部数据鉴权处理设备,其特征在于,包括:
...
【技术特征摘要】
1.一种局部数据鉴权处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述数据类型,确定当次数据鉴权所用的初始窗口,包括:
3.根据权利要求2所述的方法,其特征在于,所述鉴权参数包括:目标哈希值和距离参数,对所述目标分箱进行数据处理,得到与所述目标分箱对应的鉴权参数,并判断所述鉴权参数是否满足预设鉴权条件,包括:
4.根据权利要求3所述的方法,其特征在于,在所述按照所述预设步长对所述初始窗口进行缩小处理之前,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述按照所述预设步长对所...
【专利技术属性】
技术研发人员:孙璞,秦承刚,展波,
申请(专利权)人:卡奥斯数字科技北京有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。