本申请提供了一种芯片测试数据的处理方法、装置、电子设备及介质，该方法包括：从Clickhouse服务端，获取待处理芯片测试数据的计算结果的分布式文件系统存储路径和Clickhouse数据库节点；将待处理芯片测试数据、分布式文件系统存储路径和待处理芯片测试数据的计算指令发送给Clickhouse引擎，以使引擎根据计算指令对待处理芯片测试数据进行计算，并按照分布式文件系统存储路径将计算结果存储到分布式文件系统中；将分布式文件系统中的待处理芯片测试数据的计算结果存储到数据库节点。本申请通过引擎对待处理芯片测试数据进行计算，能够对芯片测试数据进行处理，提高了芯片测试数据的处理效率。
1、在芯片制造过程中，需要对芯片进行多种测试，以保证芯片的质量和性能。在生成大量的芯片测试数据后，需要对芯片测试数据进行处理。首先通过spark大数据计算引擎对芯片测试数据进行获取和数据计算，然后spark大数据计算引擎将计算结果发送给clickhouse数据库进行存储。但是，由于spark的计算引擎受限于jvm(java virtualmachine，java虚拟机)，因此spark需要读取列式存储的芯片测试数据，然后spark将以列式存储的芯片测试数据转换成以行式存储的芯片测试数据后对芯片测试数据进行计算，计算后以行式存储的计算结果发送给clickhouse数据库，又因为clickhouse数据库是以列式存储的方式对数据进行存储的，因此clickhouse数据库将以行式存储的计算结果转换为以列式存储的结算结果。
>4、从clickhouse服务端，获取待处理芯片测试数据的计算结果的分布式文件系统存储路径和clickhouse数据库节点；5、将待处理芯片测试数据、分布式文件系统存储路径和待处理芯片测试数据的计算指令发送给clickhouse引擎，以使clickhouse引擎根据计算指令对待处理芯片测试数据进行计算，并按照分布式文件系统存储路径将计算结果存储到分布式文件系统中；
6、接收到clickhouse引擎发送的待处理芯片测试数据的计算结果存储完成信息后，将分布式文件系统中的待处理芯片测试数据的计算结果存储到clickhouse数据库节点。
7、在一种可能的实施方式中，将待处理芯片测试数据、分布式文件系统存储路径和待处理芯片测试数据的计算指令发送给clickhouse引擎，包括：
8、通过java本地开发接口调用clickhouse引擎的可执行文件库，以将待处理芯片测试数据、分布式文件系统存储路径和待处理芯片测试数据的计算指令发送给clickhouse引擎。
9、在一种可能的实施方式中，将待处理芯片测试数据的计算指令发送给clickhouse引擎，包括：
10、将spark计算引擎可识别的计算指令转换为clickhouse引擎可识别的计算指令；
11、将转换后的clickhouse引擎可识别的计算指令，发送给clickhouse引擎。
12、在一种可能的实施方式中，将分布式文件系统中的待处理芯片测试数据的计算结果存储到clickhouse数据库节点，包括：
13、向clickhouse数据库节点发送待处理芯片测试数据的分布式文件系统存储路径和计算结果获取指令，以使clickhouse数据库按照分布式文件系统存储路径在分布式文件系统中，获取并存储待处理芯片测试数据的计算结果。
14、在一种可能的实施方式中，该方法还包括：
15、判断待处理芯片测试数据是否需要进行维度聚合计算；
16、若待处理芯片测试数据需要进行维度聚合计算，则对待处理芯片测试数据进行维度聚合。
17、第二方面，本申请实施例还提供了一种芯片测试数据的处理装置，该装置应用于spark计算引擎，该芯片测试数据的处理装置包括：
18、获取模块，用于获取以列式存储的待处理芯片测试数据；
19、获取模块，还用于从clickhouse服务端，获取待处理芯片测试数据的计算结果的分布式文件系统存储路径和clickhouse数据库节点；
20、发送模块，用于将待处理芯片测试数据、分布式文件系统存储路径和待处理芯片测试数据的计算指令发送给clickhouse引擎，以使clickhouse引擎根据计算指令对待处理芯片测试数据进行计算，并按照分布式文件系统存储路径将计算结果存储到分布式文件系统中；
21、存储模块，用于接收到clickhouse引擎发送的待处理芯片测试数据的计算结果存储完成信息后，将分布式文件系统中的待处理芯片测试数据的计算结果存储到clickhouse数据库节点。
22、在一种可能的实施方式中，发送模块，具体用于通过java本地开发接口调用clickhouse引擎的可执行文件库，以将待处理芯片测试数据、分布式文件系统存储路径和待处理芯片测试数据的计算指令发送给clickhouse引擎。
23、在一种可能的实施方式中，发送模块，具体用于将spark计算引擎可识别的计算指令转换为clickhouse引擎可识别的计算指令；
24、将转换后的clickhouse引擎可识别的计算指令，发送给clickhouse引擎。
25、在一种可能的实施方式中，存储模块，具体用于向clickhouse数据库节点发送待处理芯片测试数据的分布式文件系统存储路径和计算结果获取指令，以使clickhouse数据库按照分布式文件系统存储路径在分布式文件系统中，获取并存储待处理芯片测试数据的计算结果。
26、在一种可能的实施方式中，该装置还包括：判断模块，维度聚合模块；
27、所述判断模块，用于判断待处理芯片测试数据是否需要进行维度聚合计算；
28、所述维度聚合模块，用于若待处理芯片测试数据需要进行维度聚合计算，则对待处理芯片测试数据进行维度聚合。
29、第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行如第一方面任一项芯片测试数据的处理方法的步骤。
30、第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行如第一方面任一项芯片测试数据的处理方法的步骤。
31、本申请实施例提供了一种芯片测试数据的处理方法、装置、电子设备及介质，该芯片测试数据的处理方法包括：获取以列式存储的待处理芯片测试数据；从clickhouse服务端，获取待处理芯片测试数据的计算结果的分布式文件系统存储路径和clickhouse数据库节点；将待处理芯片测试数据、分布式文件系统存储路径和待处理芯片测试数据的计算指令发送给clickhouse引擎，以使clickhouse引擎根据计算指令对待处理芯片测试数据进行计算，并按照本文档来自技高网...
【技术保护点】
1.一种芯片测试数据的处理方法，其特征在于，所述方法应用于Spark计算引擎，所述芯片测试数据的处理方法包括：
2.根据权利要求1所述的芯片测试数据的处理方法，其特征在于，所述将所述待处理芯片测试数据、所述分布式文件系统存储路径和所述待处理芯片测试数据的计算指令发送给Clickhouse引擎，包括：
3.根据权利要求1或2所述的芯片测试数据的处理方法，其特征在于，将所述待处理芯片测试数据的计算指令发送给所述Clickhouse引擎，包括：
4.根据权利要求3所述的芯片测试数据的处理方法，其特征在于，所述将所述分布式文件系统中的所述待处理芯片测试数据的计算结果存储到所述Clickhouse数据库节点，包括：
5.根据权利要求1所述的芯片测试数据的处理方法，其特征在于，所述方法还包括：
6.一种芯片测试数据的处理装置，其特征在于，所述装置应用于Spark计算引擎，所述芯片测试数据的处理装置包括：
7.根据权利要求6所述的芯片测试数据的处理装置，其特征在于，所述发送模块，具体用于：
8.根据权利要求6或7所述的芯片测试数据的处理装置，其特征在于，发送模块，具体用于：
9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至5任一项所述的芯片测试数据的处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至5任一项所述的芯片测试数据的处理方法的步骤。
...
【技术特征摘要】
1.一种芯片测试数据的处理方法，其特征在于，所述方法应用于spark计算引擎，所述芯片测试数据的处理方法包括：
2.根据权利要求1所述的芯片测试数据的处理方法，其特征在于，所述将所述待处理芯片测试数据、所述分布式文件系统存储路径和所述待处理芯片测试数据的计算指令发送给clickhouse引擎，包括：
3.根据权利要求1或2所述的芯片测试数据的处理方法，其特征在于，将所述待处理芯片测试数据的计算指令发送给所述clickhouse引擎，包括：
4.根据权利要求3所述的芯片测试数据的处理方法，其特征在于，所述将所述分布式文件系统中的所述待处理芯片测试数据的计算结果存储到所述clickhouse数据库节点，包括：
5.根据权利要求1所述的芯片测试数据的处理方法，其特征在于，所述方法还包括：
6.一种芯片...
【专利技术属性】
技术研发人员：钱吉成，姚杰，马力斯，
申请(专利权)人：上海孤波科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。