一种数据处理方法、装置、服务器及存储介质制造方法及图纸

本公开实施例公开了一种数据处理方法、装置、服务器及存储介质，该方法包括：接收各个第一用户通过目标客户端对每个第一用户的关联图像的第一缺陷检测结果，并将各个关联图像的第一缺陷检测结果更新至第一中间件的数据缓存空间；其中，第一中间件的数据缓存空间用于缓存设定类型数据以及缓存查询结果；响应于第二用户的查询请求，基于更新后的第一中间件的数据缓存空间确定查询结果。将数据转存到缓存空间，在缓存空间中进行查询，与直接在数据库中查询相比，查询效率更高，实时性强；缓存空间中，加入了第一缺陷检测结果，提高了数据查询的准确率。的准确率。的准确率。

【技术实现步骤摘要】
一种数据处理方法、装置、服务器及存储介质


[0001]本公开涉及数据库
，尤其涉及一种数据处理方法、装置、服务器及存储介质。

技术介绍

[0002]在常见的数据分析系统中，为了对数据库生产历史记录进行抽取，比如会采用常用ETL(Extract
‑
Transform
‑
Load、抽取
‑
转换
‑
加载)工具搭建ETL服务器，定时查询数据库，按照一定的规则将数据转存到其他数据库，后端程序访问数据提取数据返回给前端进行展示。
[0003]但是，传统的ETL工具的定时抽取不能符合实时性的要求，如果将定时抽取任务调整的更加频繁，则会大大增加数据库的访问压力，降低查询的时效性。另外，数据生产记录来源单一，导致查询的准确性较低。

技术实现思路

[0004]本公开实施例提供一种数据处理方法、装置、服务器及存储介质，用以提高数据查询的时效性和准确性。
[0005]第一方面，本公开一实施例提供了一种数据处理方法，包括：
[0006]接收各个第一用户通过目标客户端对每个所述第一用户的关联图像的第一缺陷检测结果，并将各个所述关联图像的第一缺陷检测结果更新至第一中间件的数据缓存空间；其中，所述第一中间件的数据缓存空间用于缓存设定类型数据以及缓存查询结果；
[0007]响应于第二用户的查询请求，基于更新后的所述第一中间件的数据缓存空间确定查询结果。
[0008]第二方面，本公开一实施例提供了一种数据处理装置，包括：
[0009]数据更新单元，用于接收各个第一用户通过目标客户端对每个所述第一用户的关联图像的第一缺陷检测结果，并将各个所述关联图像的第一缺陷检测结果更新至第一中间件的数据缓存空间；其中，所述第一中间件的数据缓存空间用于缓存设定类型数据以及缓存查询结果；
[0010]查询单元，用于响应于第二用户的查询请求，基于更新后的所述第一中间件的数据缓存空间确定查询结果。
[0011]第三方面，本公开一实施例提供了一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述任一种方法的步骤。
[0012]第四方面，本公开一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。
[0013]本公开实施例具备如下有益效果：目标服务器接收对每个第一用户的关联图像的第一缺陷检测结果；目标服务器将各个关联图像的第一缺陷检测结果更新到第一中间件的
缓存空间(用于缓存设定类型的数据以及缓存查询结果)，这样，当有查询请求时，响应于相应的查询请求，并且基于更新后的第一中间件的缓存空间确定查询结果。这样，一方面，在第一中间件的缓存空间查询结果，降低了数据库的数据访问压力，提高了数据查询的时效性；另一方面，第一中间件的缓存空间中增加了第一缺陷检测结果，提高了数据查询的准确性。
附图说明
[0014]为了更清楚地说明本公开实施例的技术方案，下面将对本公开实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0015]图1为本公开一实施例提供的一种数据处理方法的应用场景示意图；
[0016]图2为本公开一实施例提供的一种数据处理方法的流程示意图；
[0017]图3为本公开一实施例提供的一种Canal与MySQL交互的流程图；
[0018]图4为本公开一实施例提供的一种判图界面的示意图；
[0019]图5为本公开一实施例提供的一种常见缓存组件性能比较的示意图；
[0020]图6为本公开一实施例提供的一种Canal Client和Canal Server交互流程图；
[0021]图7为本公开一实施例提供的一种查询流程的示意图；
[0022]图8为本公开一实施例提供的一种产品缺陷趋势样例图；
[0023]图9为本公开一实施例提供的一种数据处理装置的结构示意图；
[0024]图10为本公开一实施例提供的电子设备的结构示意图。
具体实施方式
[0025]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
[0026]为了方便理解，下面对本公开实施例中涉及的名词进行解释：
[0027](1)TMS(Task Management System，任务管理系统)：用来对玻璃基板的良率数据进行处理、分析和展示。
[0028](2)MySQL：关系型数据库，关系数据库将数据保存在不同的表中，增加了速度并提高了灵活性。
[0029](3)Redis：开源分布式缓存中间件。
[0030](4)Canal：开源MySQL日志订阅中间件。
[0031](5)ETL：数据仓库技术，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。其中，Kettle是一种开源的ETL工具。
[0032](6)MES(Manufacturing Execution System，制造执行系统)，面向制造企业车间执行层的生产信息化管理系统。
[0033](7)DFS(Distributed file system，分布式文件系统)：网络服务器组件，能够在网络上查询和管理数据。
[0034](8)ADC(Automatic Defects Classification，自动化缺陷分类)平台，又称为自
动化检测平台，该自动化检测平台中可集成缺陷识别模型，比如是基于神经网络的缺陷识别模型，这样，可采用人工智能、图像识别等技术对面板生产过程中关键不良进行全自动检测和分类，可大幅提升企业质检效率、准确度、良率及生产效率。
[0035]接下来对基于神经网络的缺陷识别模型对缺陷的检测过程和原理进行说明。
[0036]该基于神经网络的缺陷识别模型可以集成在自动化检测设备中，该自动化检测设备可以是能够利用GPU计算资源执行人工智能推理(视觉识别)和训练任务的一个或多个设备。基于人工智能进行的推理任务可以是基于缺陷识别模型的缺陷识别任务，该缺陷识别模型主要是基于深度学习的神经网络模型。例如，缺陷识别模型可以是基于前馈神经网络的。前馈网络可以被实现为无环图，其中节点布置在层中。通常，前馈网络拓扑包括输入层和输出层，输入层和输出层通过至少一个隐藏层分开。隐藏层将由输入层接收到的输入变换为对在输出层中生成输出有用的表示。网络节点经由边缘全连接至相邻层中的节点，但每个层内的节点之间不存在边缘。在前馈网络的输入层的节点处接收的数据经由激活函数被传播(即，“前馈”)至输出层的节点，所述激活函数基于系数(“权重”)来计算网络中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其中，包括：接收各个第一用户通过目标客户端对每个所述第一用户的关联图像的第一缺陷检测结果，并将各个所述关联图像的第一缺陷检测结果更新至第一中间件的数据缓存空间；其中，所述第一中间件的数据缓存空间用于缓存设定类型数据以及缓存查询结果；响应于第二用户的查询请求，基于更新后的所述第一中间件的数据缓存空间确定查询结果。2.根据权利要求1所述的方法，其中，所述接收各个第一用户通过目标客户端对每个所述第一用户的关联图像的第一缺陷检测结果之后，所述方法还包括：基于各个关联图像的第一缺陷检测结果和基础不良历史表，确定目标不良历史表；其中，所述基础不良历史表中存储有至少一组第二缺陷检测结果；所述第二缺陷检测结果为应用预设缺陷识别模型对批量检测数据进行检测得到的，所述批量检测数据为预设数量的目标图像对应的检测数据。3.根据权利要求2所述的方法，其中，所述方法还包括：若无法在所述更新后的所述第一中间件数据缓存空间中确定查询结果，则在所述目标不良历史表中确定查询结果。4.根据权利要求2所述的方法，其中，所述基于各个关联图像的第一缺陷检测结果和基础不良历史表，确定目标不良历史表，包括：应用各个关联图像的第一缺陷检测结果对所述基础不良历史表进行更新，确定目标不良历史表；或在所述基础不良表的基础上，按照预设更新条件，基于各个关联图像的第一缺陷检测结果，生成目标不良历史表；其中，所述预设更新条件是根据数据更新时间和/或数据存储类型确定的。5.根据权利要求1所述的方法，其中，所述基于更新后的所述第一中间件的数据缓存空间确定查询结果，包括：若无法在本地缓存组件中获取查询结果，则在所述更新后的所述第一中间件数据缓存空间中确定查询结果。6.根据权利要求1所述的方法，其中，在接收各个第一用户通过所述目标客户端对每个所述用户的关联图像的第一缺陷检测结果之前，所述方法还包括：针对任意一组批量检测数据，将所述批量检测数据输入至预先训练的缺陷识别模型，以应用所述缺陷识别模型解析所述批量检测数据，得到对应的第二缺陷检测结果；其中，所述缺陷识别模型为基于神经网络的缺陷识别模型；接收所述第二缺陷检测结果，通过第二中间件将所述第二缺陷检测结果发送至目标客户端。7.根据权利要求6所述的方法，其...

【专利技术属性】
技术研发人员：李军，郭鹏，王瑜，赵杰，吴建波，吴建民，王洪，沈国梁，王建宙，啜伟，
申请(专利权)人：北京中祥英科技有限公司，
类型：发明
国别省市：