一种基于可信账本数据库的数据存储方法、装置及系统制造方法及图纸

本说明书公开了一种基于可信账本数据库的数据存储方法、装置及系统。所述方法包括：大数据客户端将目标数据集发送到大数据服务端，并将包含对应于所述目标数据集的哈希值集合的数据记录发送到可信存储端；在指定情况下，大数据服务端针对所述目标数据集进行预处理，将预处理后的所述目标数据集作为待分析数据集，并将相应的预处理过程记录发送到所述可信存储端；所述预处理包括：依次执行数据抽取、数据清洗与数据转换；大数据服务端针对所述待分析数据集执行大数据分析，并将相应的分析过程记录发送到所述可信存储端；可信存储端维护有可信账本数据库；可信存储端根据接收到各记录的先后顺序，依次将每个记录写入所述可信账本数据库。

【技术实现步骤摘要】
一种基于可信账本数据库的数据存储方法、装置及系统
本说明书实施例涉及数据存储领域，尤其涉及一种基于可信账本数据库的数据存储方法、装置及系统。
技术介绍
大数据分析主要用于根据客户的需求针对海量数据进行分析。而在大数据分析的过程中，可能存在客户数据不准确、以及数据处理出错等问题。例如，客户数据缺失或冗余、客户数据存在错误数据、或者数据的分析过程被错误执行等等。出现这些问题的原因可能是客户出错，也可能是大数据分析的服务商出错，也可能是数据传输过程中出错等等。但由于大数据分析是中心化的，客户与大数据分析服务商之间难以在技术层面互相信任，从而难以在出现上述问题时确定责任方。
技术实现思路
为了解决上述技术问题，本说明书提供了一种基于可信账本数据库的数据存储方法、装置及系统。技术方案如下所示。一种基于可信账本数据库的数据存储方法，包括：大数据客户端将目标数据集发送到大数据服务端，并将包含对应于所述目标数据集的哈希值集合的数据记录发送到可信存储端；在指定情况下，大数据服务端针对所述目标数据集进行预处理，将预处理后的所述目标数据集作为待分析数据集，并将相应的预处理过程记录发送到所述可信存储端；所述预处理包括：依次执行数据抽取、数据清洗与数据转换；大数据服务端针对所述待分析数据集执行大数据分析，并将相应的分析过程记录发送到所述可信存储端；其中，所述可信存储端维护有可信账本数据库；所述可信存储端根据接收到各记录的先后顺序，依次将每个记录写入所述可信账本数据库；所述可信存储端在预设时间计划指定的每个时间点，将该时间点对应的全局哈希提供给所述大数据客户端；所述全局哈希，是在该时间点，基于所述账本数据库中全部记录构建的默克尔树的根哈希。一种基于可信账本数据库的数据存储系统，包括大数据客户端、大数据服务端和可信存储端；大数据客户端用于：将目标数据集发送到大数据服务端，并将包含对应于所述目标数据集的哈希值集合的数据记录发送到可信存储端；大数据服务端用于：在指定情况下，针对所述目标数据集进行预处理，将预处理后的所述目标数据集作为待分析数据集，并将相应的预处理过程记录发送到所述可信存储端；所述预处理包括：依次执行数据抽取、数据清洗与数据转换；针对所述待分析数据集执行大数据分析，并将相应的分析过程记录发送到所述可信存储端；其中，所述可信存储端维护有可信账本数据库；所述可信存储端用于：根据接收到各记录的先后顺序，依次将每个记录写入所述可信账本数据库；所述可信存储端在预设时间计划指定的每个时间点，将该时间点对应的全局哈希提供给所述大数据客户端；所述全局哈希，是在该时间点，基于所述账本数据库中全部记录构建的默克尔树的根哈希。一种基于可信账本数据库的数据存储装置，应用于大数据服务端；所述装置包括：接收单元：用于接收大数据客户端发送的目标数据集；其中，所述大数据客户端还将包含对应于所述目标数据集的哈希值集合的数据记录发送到可信存储端；预处理单元：用于在指定情况下，针对所述目标数据集进行预处理，将预处理后的所述目标数据集作为待分析数据集，并将相应的预处理过程记录发送到所述可信存储端；所述预处理包括：依次执行数据抽取、数据清洗与数据转换；分析单元：用于针对所述待分析数据集执行大数据分析，并将相应的分析过程记录发送到所述可信存储端；其中，所述可信存储端维护有可信账本数据库；所述可信存储端根据接收到各记录的先后顺序，依次将每个记录写入所述可信账本数据库；所述可信存储端在预设时间计划指定的每个时间点，将该时间点对应的全局哈希提供给所述大数据客户端；所述全局哈希，是在该时间点，基于所述账本数据库中全部记录构建的默克尔树的根哈希。通过上述技术方案，可以通过将大数据分析的全流程相关信息（包括数据记录、预处理过程记录和分析过程记录）都存储到可信账本数据库中，基于可信账本数据库实现对大数据分析全流程相关信息的可信存储，使得大数据分析中的每个步骤都可以根据可信存储的全流程相关信息进行核验，从而便于在出现问题时确定过错的责任方，不会产生争议。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图1是本说明书实施例提供的一种全局默克尔树的结构示意图；图2是本说明书实施例提供的一种基于可信账本数据库的数据存储方法的流程示意图；图3是本说明书实施例提供的一种分析结果核验方法的流程示意图；图4是本说明书实施例提供的一种基于可信账本数据库的数据存储系统的结构示意图；图5是本说明书实施例提供的一种基于可信账本数据库的数据存储装置的结构示意图；图6是用于配置本说明书实施例方法的一种设备的结构示意图。具体实施方式为了使本领域技术人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于公开的范围。大数据分析主要用于根据客户的需求针对海量数据进行分析。而在大数据分析的过程中，可能存在客户数据不准确、以及数据处理出错等问题。例如，客户数据缺失或冗余、客户数据存在错误数据、或者数据的分析过程被错误执行等等。出现这些问题的原因可能是客户出错，也可能是大数据分析的服务商出错，也可能是数据传输过程中出错等等。例如，客户在选择需要进行大数据分析的海量数据时，通常是人工进行选择，从而容易出现选择错误；大数据分析的服务商在接收海量数据时，可能出于疏忽或程序问题遗漏部分数据；大数据分析的服务商也可能主观故意遗漏部分数据，减少计算量，节省成本，由于大数据分析结果通常是业务层面的结果，所以难以发现这一问题；在海量数据的传输过程中，也可能由于传输技术的限制，存在部分数据未传输成功、或者传输错误等问题。在出现上述问题后，由于大数据分析是中心化的，客户与大数据分析服务商之间难以在技术层面互相信任，从而难以在出现上述问题时确定责任方。例如，实际的出错原因是海量数据在传输过程中出现问题，而客户确定自己发送出去的数据没有问题，同时大数据分析的服务商也确定自己并未对接收到的数据进行任何篡改，进而导致双方进行无意义的互相指责。为了便于在技术层面互相信任，便于及时确定过错的责任方，本说明书提供了一种基于可信账本数据库的数据存储方法。其中，可信存储是指信息在进行可信存储后，技术上难以修改信息，或者对信息的修改一定会被发现。该方法中提供了一个可信存储端，可以将大数据分析全流程中的相关信息存储到可信存储端中，从而基于可信存储端在技术层面的难以修改，客户和大数据本文档来自技高网...

【技术保护点】
1.一种基于可信账本数据库的数据存储方法，包括：/n大数据客户端将目标数据集发送到大数据服务端，并将包含对应于所述目标数据集的哈希值集合的数据记录发送到可信存储端；/n在指定情况下，大数据服务端针对所述目标数据集进行预处理，将预处理后的所述目标数据集作为待分析数据集，并将相应的预处理过程记录发送到所述可信存储端；所述预处理包括：依次执行数据抽取、数据清洗与数据转换；/n大数据服务端针对所述待分析数据集执行大数据分析，并将相应的分析过程记录发送到所述可信存储端；/n其中，所述可信存储端维护有可信账本数据库；所述可信存储端根据接收到各记录的先后顺序，依次将每个记录写入所述可信账本数据库；所述可信存储端在预设时间计划指定的每个时间点，将该时间点对应的全局哈希提供给所述大数据客户端；所述全局哈希，是在该时间点，基于所述账本数据库中全部记录构建的默克尔树的根哈希。/n

【技术特征摘要】
1.一种基于可信账本数据库的数据存储方法，包括：
大数据客户端将目标数据集发送到大数据服务端，并将包含对应于所述目标数据集的哈希值集合的数据记录发送到可信存储端；
在指定情况下，大数据服务端针对所述目标数据集进行预处理，将预处理后的所述目标数据集作为待分析数据集，并将相应的预处理过程记录发送到所述可信存储端；所述预处理包括：依次执行数据抽取、数据清洗与数据转换；
大数据服务端针对所述待分析数据集执行大数据分析，并将相应的分析过程记录发送到所述可信存储端；
其中，所述可信存储端维护有可信账本数据库；所述可信存储端根据接收到各记录的先后顺序，依次将每个记录写入所述可信账本数据库；所述可信存储端在预设时间计划指定的每个时间点，将该时间点对应的全局哈希提供给所述大数据客户端；所述全局哈希，是在该时间点，基于所述账本数据库中全部记录构建的默克尔树的根哈希。


2.根据权利要求1所述的方法，在进行预处理之前，还包括：
大数据服务端获取写入所述可信存储端的所述数据记录，检验所述数据记录中包含的哈希值集合是否与接收到的目标数据集匹配；
所述指定情况包括：所述数据记录中包含的哈希值集合与接收到的目标数据集匹配。


3.根据权利要求1所述的方法，在进行预处理之前，还包括：
大数据客户端将针对所述目标数据集的数字签名发送到大数据服务端；
大数据服务端根据接收到的数字签名核验接收到的目标数据集是否被修改；
所述指定情况包括：所述目标数据集没有被修改。


4.根据权利要求1所述的方法，所述哈希值集合的获取方法包括：
以所述目标数据集中的全部数据为计算对象，执行一次哈希操作，得到一个哈希值；
或者
针对所述目标数据集中的每条数据，以该条数据为计算对象，执行一次哈希操作，得到对应于该条数据的哈希值。


5.根据权利要求1所述的方法，所述预处理过程记录包括：
所述预处理过程中执行的每个操作信息；
或者
所述预处理过程中执行的每个操作信息、以及对应于每个操作信息的中间操作结果。


6.根据权利要求1所述的方法，所述分析过程记录包括：
所述大数据分析过程中执行的每个操作信息；
或者
所述大数据分析过程中执行的每个操作信息、以及对应于每个操作信息的中间操作结果。


7.根据权利要求1所述的方法，还包括：
大数据服务端将所述大数据分析的分析结果发送到所述可信存储端；
所述可信存储端将所述分析结果写入所述可信账本数据库。


8.根据权利要求1所述的方法，所述可信账本为块链式账本。


9.一种基于权利要求1-8任一项所述方法的分析结果核验方法，包括：
大数据客户端获取可信存储端存储的对应于目标数据集的哈希值集合，检验所述哈希值集合是否与大数据客户端存储的目标数据集匹配；
如果匹配，则获取所述可信存储端存储的预处理过程记录，并基于所述预处理过程记录，针对大数据客户端存储的目标数据集执行同样的操作，得到待核验数据集；
获取所述可信存储端存储的分析过程记录，并基于所述分析过程记录，针对所述待核验数据集执行同样的操作，得到待核验分析结果；
大数据客户端检验所述待核验分析结果、与大数据分析的分析结果是否相同。


10.一种基于可信账本数据库的数据存储方法，应用于大数据服务端；所述方法包括：
接收大数据客户端发送的目标数据集；其中，所述大数据客户端...

【专利技术属性】
技术研发人员：孟硕，管亚阳，俞本权，关涛，张良模，
申请(专利权)人：支付宝杭州信息技术有限公司，蚂蚁区块链科技上海有限公司，
类型：发明
国别省市：浙江;33