【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质
本公开涉及计算机
，具体涉及深度学习、计算机视觉、云计算、大数据处理等人工智能
，尤其涉及数据处理方法、装置、电子设备及存储介质。
技术介绍
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术，以及机器学习、深度学习、大数据处理技术、知识图谱技术等几大方向。研发人员通常基于人工智能框架开展相关工作。算子是人工智能框架中的基本计算单元，对人工智能的模型训练、预测和部署等都有着重要影响。而采用人工智能模型处理数据，比如，采用流式处理方式、有向无环图(Directedacyclicgraph，DAG)分布式技术，或者微服务化方式处理音视频数据，已成为数据处理发展的研究热点。
技术实现思路
提供了一种数据处理方法、装置...
【技术保护点】
1.一种数据处理方法，包括：/n获取目标数据；/n采用第一微服务对所述目标数据进行数据划分，以得到多种类型的子数据；/n采用多个第二微服务分别处理对应类型的所述子数据，以得到与所述第二微服务分别对应的多个数据处理结果，其中，每个所述第二微服务与一个类型的所述子数据对应；以及/n融合所述多个数据处理结果，以得到目标数据处理结果。/n
【技术特征摘要】
1.一种数据处理方法，包括：
获取目标数据；
采用第一微服务对所述目标数据进行数据划分，以得到多种类型的子数据；
采用多个第二微服务分别处理对应类型的所述子数据，以得到与所述第二微服务分别对应的多个数据处理结果，其中，每个所述第二微服务与一个类型的所述子数据对应；以及
融合所述多个数据处理结果，以得到目标数据处理结果。
2.根据权利要求1所述的方法，所述第一微服务是对人工智能模型中的第一算子进行微服务化处理得到的，所述第二微服务是对所述人工智能模型中的第二算子进行微服务化处理得到的，所述第一算子和所述第二算子不相同。
3.根据权利要求1所述的方法，其中，所述采用第一微服务对所述目标数据进行数据划分，以得到多种类型的子数据，包括：
对所述目标数据之中的无效数据进行过滤处理，以得到过滤后的第一数据；
采用所述第一微服务对所述第一数据进行数据划分，以得到所述多种类型的子数据。
4.根据权利要求2所述的方法，在所述采用第一微服务对所述目标数据进行数据划分，以得到多种类型的子数据之后，还包括：
根据所述子数据的类型，对与其对应的所述子数据添加类型标签；
根据所述类型标签，将所述多种类型的子数据处理为数据矩阵，其中，所述数据矩阵之中包括：所述子数据，和与所述子数据对应的类型标签；
确定与数据处理任务对应的多个候选算子标识；
采用各个所述候选算子标识对所述数据矩阵之中对应类型标签的子数据进行标记。
5.根据权利要求4所述的方法，其中，所述采用多个第二微服务分别处理对应类型的所述子数据，以得到与所述第二微服务分别对应的多个数据处理结果，包括：
确定所述多个第二微服务分别对应的多个第二算子标识；
根据所述多个第二算子标识，分别从所述数据矩阵之中确定对应的候选算子标识；以及
采用多个第二微服务分别处理所述对应的候选算子标识所标记的子数据，以得到与所述第二微服务分别对应的多个数据处理结果。
6.根据权利要求4所述的方法，在所述根据所述类型标签，将所述多种类型的子数据处理为数据矩阵之后，还包括：
对所述数据矩阵进行备份处理，以得到多个备份数据矩阵；
将所述多个备份数据矩阵存储至数据处理设备对应的共享内存之中。
7.根据权利要求2-6任一项所述的方法，所述第一算子，是人工智能模型中用于数据预处理的算子，所述第二算子，是所述人工智能模型中用于对预处理后的数据进行算法处理的算子。
8.一种数据处理装置，包括：
获取模块，用于获取目标数据；
预处理模块，用于采用第一微服务对所述目标数据进行数据划分，以得到多种类型的子数据；
运算模块，用于采用多个第二微服务分别处理对应类...
【专利技术属性】
技术研发人员：王震，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。