一种电子数据取证领域中高效的哈希计算方法技术

本发明专利技术属于数字取证技术领域，公开了电子数据取证领域中一种高效的哈希计算工具，通过多线程实现快速将硬盘中的检材数据解压缩并读取到内存中；使用Producer和Consumer同步多个不同线程所读取的镜像数据块的顺序，并将其有序推入固定大小的队列；对读取到内存的数据块进行有序哈希，并计算检材镜像的完整哈希值。对比目前被广泛应用的取证软件的哈希计算效率，本专利的效率可提高10％至99％，且检材镜像的容量越大，其计算哈希的效率越高。同时本发明专利技术作为高效哈希计算工具，不仅支持目前常用的算法系列SHA和MD，更支持Blake、RIPEMD、WHIRLPOOL等更为安全的算法。

【技术实现步骤摘要】
一种电子数据取证领域中高效的哈希计算方法
本专利技术属于数字取证
，尤其涉及一种电子数据取证领域中高效的哈希计算方法。
技术介绍
根据美国联邦调查局的调查统计，刑事案件的数据量以平均每年35％的速度在递增。并且涉及民事案件或内部调查的电子取证大多数都涉及TB级数据集。另一方面，在取证过程中需要对取证的检材进行压缩，以提高大容量压缩镜像的传输效率。然而在压缩以及解压缩和传输的过程中，电子数据的完整性很有可能会遭到破坏。随着检材数据集的不断增长，迫切需要一种高效的散列值计算方法来保护电子数据的完整性，以确保电子证据在法庭上的有效性。为了以自动化的方式研究和调查计算机犯罪案件，国内外涌现出了各种各样优秀的电子取证产品。计算机取证工具大致可分为以下几类：文件系统分析工具、注册表分析工具、数据库取证工具和移动设备取证工具等。本专利专注于研究针对传统文件系统的取证工具，尤其是它们面对电子取证检材的散列值计算功能。GuideSoftware公司研发的Encase、AccessData公司开发的FTK和德国X-Ways公司推出的X-WaysForensics是国际上权威的文件系统取证软件，然而它们仅支持计算检材镜像的MD5和SHA-1值。并且大多数软件在打开镜像的同时会直接计算嫌疑人镜像的MD5和SHA-1值，当取证镜像足够大时，会严重影响调查人员的调查进展。国内功能强大、且被应用广泛的取证软件有厦门市美亚柏科信息股份有限公司的取证大师FMP和上海弘连网络科技有限公司的火眼证据分析软件GoldenEyes。以上所述的取证产品在深入了解取证调查工作流程和维护证据完整性方面表现突出并被国内众多取证专家用于调查工作。但是其计算大容量检材散列值的效率还有待提高。为保障电子证据在传输过程中的完整性，需要在传输之前和接收之后分别计算取证检材的哈希值。为了减少传输及下载文件的时间，取证专家在传输证据之前会先压缩证据以保证带宽够用。尤其是目前涉及民事案件或内部调查的案件已经到达TB级数据集。JesseKornblum将spamsum算法引入计算机取证领域，并研发工具Ssdeep，用以快速发现同源的类似文件。然而它在大多数情况下计算散列值效率还有待改进，基于此一种基于上下文触发哈希技术的存储哈希和重哈希思想的改进算法又被提出，它利用分段哈希算法识别传统哈希方法无法识别的类文件，提高了其速度和相似性检测性能。国内常用的取证软件FMP、GoldenEyes等计算检材镜像哈希值的性能较低，严重影响取证人员处理海量案件的效率。故而本专利技术提出了一种高效的哈希计算工具FastHashingCalculator，可将哈希效率提高三倍以上。且检材镜像的容量越大，哈希效率增长越明显。通过上述分析，现有技术存在的问题及缺陷为：(1)现有软件计算电子取证检材镜像的散列值种类不足。(2)现有技术中大多数取证软件从磁盘解压并读取检材镜像数据和计算哈希是同时进行，且二者争夺同一个CPU资源，使得计算电子取证检材镜像的哈希值速度较慢，严重影响取证专家处理海量案件的效率。解决以上问题及缺陷的难度为：本专利技术引入了大多数取证软件暂不支持的哈希算法，如Blake、RIPEMD等系列算法等；同时提出了FastHashingCalculator算法大大提高了计算检材镜像哈希值的效率。本算法需要动态调整读取块大小、并行读写数。同时还需使用多线程同步来控制读取块顺序以满足哈希计算的要求。解决以上问题及缺陷的意义为：本专利技术提高了计算检材镜像的效率，从而大大减少验证检材传输过程以及压缩过程完整性的时间，显著提高了取证专家计算哈希值的性能，尤其是在处理大容量检材时。且引入了多种哈希算法。
技术实现思路
针对现有技术存在的问题，本专利技术提供了电子数据取证领域中高效的哈希计算方法。本专利技术实现方式如下，所述电子数据取证领域中高效的哈希计算方法，包括：步骤一，通过多线程实现快速将硬盘中的检材数据解压缩并读取到内存中，以此来提高读取镜像数据块的效率；步骤二，使用Producer和Consumer同步不同线程所读取的相同大小的镜像数据块的顺序，并将其有序推入队列，来满足多线程读取的数据块有序哈希的条件；步骤三，对于读取到内存的数据块进行有序哈希并计算整个检材镜像的哈希值，从而验证传输及压缩过程镜像的完整性。更进一步，所述步骤一中，负责多线程解压缩并将硬盘中的检材数据读取到内存的任务具体过程为：1)创建任务管理器，负责创建磁盘数据解压并读取相同块大小的检材镜像的任务。2)到3)表示将分配多个线程从磁盘读取数据块，其中检材镜像的总大小为disk_size，而每个线程读取镜像的块大小表示为block_size；4)基于多线程同步将多个数据块有序入队5)将任务有序出队进行哈希计算。每个线程包含三个参数，其中i表示读取数据块的序列号，event为同步原语，buf代表每个任务的所使用的缓冲区大小。从任务的偏移量位置开始读取块大小，放入任务的缓冲区，并设置一个触发事件，指示缓冲区已被读取。使用生产者池Producer和消费者池Consumer来控制读取数据任务的顺序，其中生产者池和消费者池解压缩并读取数据的具体过程为：首先，Producer使用read()方法对镜像数据进行解压缩和读取，同时需要设置任务的event原语。然后，Consumer从任务生成器的队列中按照顺序获取任务，此进程将一直循环直到队列为空为止；根据队列的先进先出即FIFO特性，Peek函数将获取当前队列的第一个值；当多个线程在不同块上读取时，通过多线程同步按顺序读取数据。每次计算并更新当前已读取数据块的哈希值。本专利技术的另一目的在于提供一种实施所述电子数据取证领域中高效的哈希计算方法，所述电子数据取证领域中高效的哈希计算方法的架构分配多个CPU进行解压缩和读取，并将解压缩读取的速度与哈希速度做适配。本专利技术的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述电子数据取证领域中哈希的高效计算方法，包括下列步骤：步骤一，通过多线程实现快速将硬盘中的检材数据解压缩并读取到内存中，以此来提高读取镜像数据块的效率；步骤二，使用Producer和Consumer同步不同线程所读取的相同大小的镜像数据块的顺序，并将其有序推入队列，来满足多线程读取的数据块有序哈希的条件；步骤三，对于读取到内存的数据块进行有序哈希并返回整个检材镜像的完整哈希值，从而验证传输及压缩过程镜像的完整性。结合上述的所有技术方案，本专利技术所具备的优点及积极效果为：在数字取证领域，为了保证电子数据在传输前后以及压缩过程中的完整性，需要对检材镜像进行哈希计算来检验数据的完整性。通过对目前流行的计算机取证软件的哈希计算工具进行分析，发现这些软件的计算效率不是很出色。为了提高散列值计算的效率，本专利技术提出了一套新的算法-FastHashingCalculator，并提出了一种新的哈希架构，通过动态调整读取数据本文档来自技高网...

【技术保护点】
1.一种电子数据取证领域中高效的哈希计算方法，其特征在于，所述电子数据取证领域中高效的哈希计算方法，包括：/n通过多线程实现快速将硬盘中的检材数据解压缩并读取到内存中；/n使用Producer和Consumer同步不同线程所读取的相同大小的镜像数据块的顺序，并将其有序推入队列；/n对于读取到内存的数据块进行有序哈希并返回整个检材镜像的完整哈希值。/n

【技术特征摘要】
1.一种电子数据取证领域中高效的哈希计算方法，其特征在于，所述电子数据取证领域中高效的哈希计算方法，包括：
通过多线程实现快速将硬盘中的检材数据解压缩并读取到内存中；
使用Producer和Consumer同步不同线程所读取的相同大小的镜像数据块的顺序，并将其有序推入队列；
对于读取到内存的数据块进行有序哈希并返回整个检材镜像的完整哈希值。


2.如权利要求1所述电子数据取证领域中高效的哈希计算方法，其特征在于，通过多线程实现快速将硬盘中的检材数据解压缩并读取到内存的任务具体过程为：
1)创建任务管理器，负责创建对磁盘数据解压并读取相同块大小的检材镜像的任务。2)到3)表示分配多个线程使其同时从磁盘读取多个数据块，其中检材镜像的总大小为disk_size，而每个线程读取镜像的块大小为block_size；4)基于多线程同步保证多个数据块有序入队5)将任务有序出队进行哈希计算。


3.如权利要求2所述电子数据取证领域中高效的哈希计算方法，其特征在于，所述每个线程包含三个参数，其中i表示读取数据块的序列号，event为同步原语，buf代表每个任务的所使用的缓冲区大小。从任务的偏移量位置开始读取块大小，将其放入任务的缓冲区，并设置一个触发事件，指示缓冲区已被读取。


4.如权利要求1所述电子数据取证领域中高效的哈希计算方法，其特征在于，使用生产者池Producer和消费者池Consumer来控制读取数据任务的顺序，其中生...

【专利技术属性】
技术研发人员：张宁，马卓，陶剑秋，王昊强，徐升，柴东辰，高阳，彭超源，吴灿，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61