一种多元异构数据共享行为动态度量的方法技术

本发明专利技术公开了一种多元异构数据共享行为动态度量的方法，基于Spark并行计算框架的大数据脱敏系统把整体可信度拆分为主观可信度、全局可信度、本地可信度；进行交互记录预处理，保证数据正确性；首先找到用户节点和目标节点的交互记录，然后计算主观可信值；接着目标节点与其他节点的交互记录，进行全局可信值计算；之后目标节点根据自身的数据记录，进行本地可信值计算；最后，通过参数和大数据可信计算模型进行数据的可信值计算，量化计算数据的总体可信度，实现动态度量。本发明专利技术具有充分考虑数据维度层次、计算结果抗干扰能力强、动态反映数据的可信度变化趋势、全面反映环境之间的影响等特点。的影响等特点。的影响等特点。

【技术实现步骤摘要】
一种多元异构数据共享行为动态度量的方法


[0001]本专利技术涉及轮滑鞋制作
，具体地，涉及一种多元异构数据共享行为动态度量的方法。

技术介绍

[0002]近年来，随着大数据概念的提出，数据规模的爆炸式增长和数据模式的高度复杂化，也就难以避免的造成了数据产生、数据传播和数据接收过程中产生的数据不一致、数据缺失等问题，也即产生了不可信的数据。这些不可信的数据给大数据的应用制造很大的麻烦，如果对不可信的数据进行应用还有可能造成巨大的经济损失。
[0003]目前，数据的可信度量方法主要分为两大类，主观信任分析和客观信任分析，但面对大数据效果并不是很好。主观信任分析是主观的概念，是一个主体对另外一个主体或者另外一个主体提供的信息进行判断进而对该主体或者信息的真实程度进行量化的认知过程，这种判断建立在一定的数据支撑上，同时也会具有一定的不确定性和模糊性。目前针对主观信任分析已经有很多文献提出了基于概率论、模糊理论和云理论等计算主观信任值的方法。而客观信任则不同，客观信任是一个全局的概念，是对一个主体是否可信的客观评价。客观信任需要根据主体自身的行为、特征等进行评价，是基于证据的。
[0004]现有的数据的可信度量方法中，Huo R等人根据贝叶斯公式，将可信计算建立在传播模型中，缺点是在传播路径长度方面缺少对比。Jin L等人模仿社会学中的人际关系网络，通过上下文交互的方式进行可信度计算。Wang H Z等人设计的可信度量模型从节点的行为特征出发，完成了对实体间可信度的计算与管理。Bornhovd C等人将研究放在了间接信任方面，通过贝叶斯网络可以解决这个问题，但是在多条路径整合方面仍有缺陷。Rao J设计的PeerTrust算法需要其他主体对被评价主体提供反馈信息，通过这些反馈计算可信度，抗干扰能力强，但不能反映出主体的可信度变化趋势。Tran T等人在贝叶斯网络的基础上添加了时间影响因子、行为影响因子，并且实现了可信度的动态更新，但这只对实体本身进行了可信度计算，并不能给出实体发布的数据的可信度。Zhao Z针对网络中节点的信任进行了关系简化，将多个实体间的关系转化为两个实体间的关系。
[0005]大多数可信计算研究只考虑一部分决策属性，具有不全面性，忽略了环境之间的影响，没有建立数据之间的依赖、制约、关联关系，缺乏研究海量数据源之间的层次关系，未考虑时间序列、惩罚等因素对模型建立所带来的影响，导致模型不能很好地计算数据可信值。

技术实现思路

[0006]本专利技术的目的在于提供一种多元异构数据共享行为动态度量的方法，以解决上述
技术介绍
中提出的问题。
[0007]为实现上述目的，本专利技术提供如下技术方案：
[0008]一种多元异构数据共享行为动态度量的方法，基于Spark并行计算框架的大数据
脱敏系统把整体可信度拆分为主观可信度、全局可信度、本地可信度，具体包括如下步骤：
[0009]S1.启动基于Spark并行计算框架的大数据脱敏系统，分别获取数据源与用户交互记录、数据源发布数据记录、用户与数据源交互记录数据；
[0010]S2.交互记录预处理，保证数据正确性，利用模糊理论算法、PeerTrust算法、EigenTrust算法计算主观可信度、本地可信度、全局可信度；主观可信度表示用户对数据源的信赖度，通过获取用户与数据源之间的历史交互记录进行计算；全局可信度表示对数据源的客观评价，通过数据源与数据源或者用户的历史交互记录进行计算；本地可信度表示数据源自身的可信度，与数据源自己发布数据的历史记录有关，同时也和本次发布的数据有关，是对数据源发布或产生不同数据类型可信度的评判，根据其自身发布各种数据类型的全局可信度进行计算，但在进行计算之前需要对获取的交互记录数据进行数据清洗，保证数据的准确性；
[0011]S3.数据的可信度计算时，首先找到用户节点和目标节点的交互记录，然后计算主观可信值；接着目标节点与其他节点的交互记录，进行全局可信值计算；之后目标节点根据自身的数据记录，进行本地可信值计算；最后，通过参数和大数据可信计算模型进行数据的可信值计算，量化计算数据的总体可信度，实现动态度量。
[0012]与现有技术相比，本专利技术的有益效果是：本专利技术所述的多元异构数据共享行为动态度量的方法，在泛在网络的环境下，针对大数据时代数据规模大、流转快、类型多、价值高、维度高的特征，根据信息的社会特征、发布内容、来源设备等因素，基于数据维度的可信计算，将数据可信度分为主观可信度、全局可信度和本地可信度三个部分，综合运用三个方面数据可信度计算，提供有效的数据可信度动态度量方法，对信息的可信程度进行综合评估，具有充分考虑数据维度层次、计算结果抗干扰能力强、动态反映数据的可信度变化趋势、全面反映环境之间的影响等特点。
附图说明
[0013]图1为本专利技术实施例的计算流程图。
具体实施方式
[0014]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0015]参照图1所示，一种多元异构数据共享行为动态度量的方法，基于Spark并行计算框架的大数据脱敏系统把整体可信度拆分为主观可信度、全局可信度、本地可信度，具体包括如下步骤：
[0016]S1.启动基于Spark并行计算框架的大数据脱敏系统，分别获取数据源与用户交互记录、数据源发布数据记录、用户与数据源交互记录数据；
[0017]S2.交互记录预处理，保证数据正确性，利用模糊理论算法、PeerTrust算法、EigenTrust算法计算主观可信度、本地可信度、全局可信度；主观可信度表示用户对数据源的信赖度，通过获取用户与数据源之间的历史交互记录进行计算；全局可信度表示对数据
源的客观评价，通过数据源与数据源或者用户的历史交互记录进行计算；本地可信度表示数据源自身的可信度，与数据源自己发布数据的历史记录有关，同时也和本次发布的数据有关，是对数据源发布或产生不同数据类型可信度的评判，根据其自身发布各种数据类型的全局可信度进行计算，但在进行计算之前需要对获取的交互记录数据进行数据清洗，保证数据的准确性；
[0018]S3.数据的可信度计算时，首先找到用户节点和目标节点的交互记录，然后计算主观可信值；接着目标节点与其他节点的交互记录，进行全局可信值计算；之后目标节点根据自身的数据记录，进行本地可信值计算；最后，通过参数和大数据可信计算模型进行数据的可信值计算，量化计算数据的总体可信度，实现动态度量。
[0019]进一步的，所述S2步骤中，包括以下步骤：
[0020]S21.数据源是发布或产生交互数据的主体，用符号DS(Data Source)表示；用户是对交互数据进行处理的主体，用符号U(User)表示；交互时间即交互结果的生成时间，用符号t(time)表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多元异构数据共享行为动态度量的方法，其特征在于，本方法基于Spark并行计算框架的大数据脱敏系统把整体可信度拆分为主观可信度、全局可信度、本地可信度，具体包括如下步骤：S1.启动基于Spark并行计算框架的大数据脱敏系统，分别获取数据源与用户交互记录、数据源发布数据记录、用户与数据源交互记录数据；S2.交互记录预处理，保证数据正确性；主观可信度表示用户对数据源的信赖度，通过获取用户与数据源之间的历史交互记录进行计算；全局可信度表示对数据源的客观评价，通过数据源与数据源或者用户的历史交互记录进行计算；本地可信度表示数据源自身的可信度，与数据源自己发布数据的历史记录有关，同时也和本次发布的数据有关，是对数据源发布或产生不同数据类型可信度的评判，根据其自身发布各种数据类型的全局可信度进行计算，但在进行计算之前需要对获取的交互记录数据进行数据清洗，保证数据的准确性；S3.数据的可信度计算时，首先找到用户节点和目标节点的交互记录，然后计算主观可信值；接着目标节点与其他节点的交互记录，进行全局可信值计算；之后目标节点根据自身的数据记录，进行本地可信值计算；最后，通过参数和大数据可信计算模型进行数据的可信值计算，量化计算数据的总体可信度，实现动态度量。2.根据权利要求1所述的方法，其特征在于，计算主观可信度、本地可信度、全局可信度综合利用模糊理论算法、PeerTrust算法、EigenTrust算法中的一种或多种。3.根据权利要求2或3所述的方法，其特征在于，所述S2步骤中，包括以下步骤：S21.数据源是发布或产生交互数据的主体，用符号DS(Data Source)表示；用户是对交互数据进行处理的主体，用符号U(User)表示；交互时间即交互结果的生成时间，用符号t(time)表示；交互结果是指用户是否认可数据，即用户对交互数据肯定与否，用符号R(result)表示；交互数据是数据源发布或者产生的数据，也是被用户进行评定的数据，用符...

【专利技术属性】
技术研发人员：陈霖，匡晓云，许爱东，杨祎巍，陈昊，孙强强，连耿雄，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：