【技术实现步骤摘要】
一种数据处理方法、装置、服务器及存储介质
[0001]本公开涉及数据库
,尤其涉及一种数据处理方法、装置、服务器及存储介质。
技术介绍
[0002]在常见的数据分析系统中,为了对数据库生产历史记录进行抽取,比如会采用常用ETL(Extract
‑
Transform
‑
Load、抽取
‑
转换
‑
加载)工具搭建ETL服务器,定时查询数据库,按照一定的规则将数据转存到其他数据库,后端程序访问数据提取数据返回给前端进行展示。
[0003]但是,传统的ETL工具的定时抽取不能符合实时性的要求,如果将定时抽取任务调整的更加频繁,则会大大增加数据库的访问压力,降低查询的时效性。另外,数据生产记录来源单一,导致查询的准确性较低。
技术实现思路
[0004]本公开实施例提供一种数据处理方法、装置、服务器及存储介质,用以提高数据查询的时效性和准确性。
[0005]第一方面,本公开一实施例提供了一种数据处理方法,包括:
[0006 ...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法,其中,包括:接收各个第一用户通过目标客户端对每个所述第一用户的关联图像的第一缺陷检测结果,并将各个所述关联图像的第一缺陷检测结果更新至第一中间件的数据缓存空间;其中,所述第一中间件的数据缓存空间用于缓存设定类型数据以及缓存查询结果;响应于第二用户的查询请求,基于更新后的所述第一中间件的数据缓存空间确定查询结果。2.根据权利要求1所述的方法,其中,所述接收各个第一用户通过目标客户端对每个所述第一用户的关联图像的第一缺陷检测结果之后,所述方法还包括:基于各个关联图像的第一缺陷检测结果和基础不良历史表,确定目标不良历史表;其中,所述基础不良历史表中存储有至少一组第二缺陷检测结果;所述第二缺陷检测结果为应用预设缺陷识别模型对批量检测数据进行检测得到的,所述批量检测数据为预设数量的目标图像对应的检测数据。3.根据权利要求2所述的方法,其中,所述方法还包括:若无法在所述更新后的所述第一中间件数据缓存空间中确定查询结果,则在所述目标不良历史表中确定查询结果。4.根据权利要求2所述的方法,其中,所述基于各个关联图像的第一缺陷检测结果和基础不良历史表,确定目标不良历史表,包括:应用各个关联图像的第一缺陷检测结果对所述基础不良历史表进行更新,确定目标不良历史表;或在所述基础不良表的基础上,按照预设更新条件,基于各个关联图像的第一缺陷检测结果,生成目标不良历史表;其中,所述预设更新条件是根据数据更新时间和/或数据存储类型确定的。5.根据权利要求1所述的方法,其中,所述基于更新后的所述第一中间件的数据缓存空间确定查询结果,包括:若无法在本地缓存组件中获取查询结果,则在所述更新后的所述第一中间件数据缓存空间中确定查询结果。6.根据权利要求1所述的方法,其中,在接收各个第一用户通过所述目标客户端对每个所述用户的关联图像的第一缺陷检测结果之前,所述方法还包括:针对任意一组批量检测数据,将所述批量检测数据输入至预先训练的缺陷识别模型,以应用所述缺陷识别模型解析所述批量检测数据,得到对应的第二缺陷检测结果;其中,所述缺陷识别模型为基于神经网络的缺陷识别模型;接收所述第二缺陷检测结果,通过第二中间件将所述第二缺陷检测结果发送至目标客户端。7.根据权利要求6所述的方法,其...
【专利技术属性】
技术研发人员:李军,郭鹏,王瑜,赵杰,吴建波,吴建民,王洪,沈国梁,王建宙,啜伟,
申请(专利权)人:北京中祥英科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。