【技术实现步骤摘要】
一种数据处理方法、装置、电子设备和存储介质
本申请涉及计算机
，尤其涉及一种数据处理方法、装置、电子设备和存储介质。
技术介绍
随着云计算、大数据、人工智能的盛行，企业累积了海量数据。为了对海量数据进行更好地管理，往往会设计元数据管理系统以对海量数据进行管理。一般来说，在利用元数据管理系统以实现对海量数据进行管理时，只能确定出存在故障的一个实体，应用场景单一。
技术实现思路
本申请实施例提供了一种数据处理方法、装置、电子设备和存储介质，可以确定出存在故障的多个实体。本申请第一方面提供了一种数据处理方法，包括：从第一消息队列中获取第一任务数据，所述第一任务数据为预先定义的任务数据；从第二消息队列中获取第二任务数据，所述第二任务数据为执行所述第一任务数据时的数据；根据所述第一任务数据和所述第二任务数据生成图模型，所述图模型包括至少两个实体、所述至少两个实体中不同实体之间的关联关系以及所述至少两个实体中每个实体的访问信息；根据所述图模型确定所述至少两个实体中存在故障...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n从第一消息队列中获取第一任务数据，所述第一任务数据为预先定义的任务数据；/n从第二消息队列中获取第二任务数据，所述第二任务数据为执行所述第一任务数据时的数据；/n根据所述第一任务数据和所述第二任务数据生成图模型，所述图模型包括至少两个实体，所述至少两个实体中不同实体之间的关联关系以及所述至少两个实体中每个实体的访问信息；/n根据所述图模型确定所述至少两个实体中存在故障的第一实体以及第二实体，其中，所述第一实体根据所述第一实体的访问信息确定，所述第二实体根据所述第一实体与所述第二实体之间的关联关系确定。/n
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
从第一消息队列中获取第一任务数据，所述第一任务数据为预先定义的任务数据；
从第二消息队列中获取第二任务数据，所述第二任务数据为执行所述第一任务数据时的数据；
根据所述第一任务数据和所述第二任务数据生成图模型，所述图模型包括至少两个实体，所述至少两个实体中不同实体之间的关联关系以及所述至少两个实体中每个实体的访问信息；
根据所述图模型确定所述至少两个实体中存在故障的第一实体以及第二实体，其中，所述第一实体根据所述第一实体的访问信息确定，所述第二实体根据所述第一实体与所述第二实体之间的关联关系确定。
2.根据权利要求1所述的方法，其特征在于，所述从第一消息队列中获取第一任务数据，包括：
获取预设任务类型；
根据所述预设任务类型从所述第一消息队列中获取所述第一任务数据。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一任务数据和所述第二任务数据生成图模型，包括：
对所述第一任务数据中的任务内容进行解析，得到第一数据表的名称、第二数据表的名称以及所述第一数据表和所述第二数据表之间的关联关系；
获取所述第一任务数据关联的任务数据；
从所述第二任务数据中获取所述第一数据表的访问信息和所述第二数据表的访问信息；
根据所述第一数据表的名称、所述第二数据表的名称、所述第一数据表和所述第二数据表之间的关联关系、所述第一任务数据关联的其他任务数据、所述第一数据表的访问信息和所述第二数据表的访问信息，生成所述图模型。
4.根据权利要求2所述的方法，其特征在于，所述对所述第一任务数据中的任务内容进行解析，得到第一数据表的名称、第二数据表的名称以及所述第一数据表和所述第二数据表之间的关联关系，包括：
获取所述第一任务数据中的第一字段，所述第一任务数据中的第一字段指示所述第一任务数据中的任务内容；
对所述第一任务数据中的任务内容进行解析，得到所述第一数据表的名称、所述第二数据表的名称以及所述第一数据表和所述第二数据表之间的关联关系。
5.根据权利要求1所述的方法，其特征在于，所述至少两个实体中每个实体的访问信息包括所述每个实体的访问次数，所述根据所述图模型确定所述至少两个实体中存在故障的第一实体以及第二实体，包括：
根据所述每个实体的访问次数，...
【专利技术属性】
技术研发人员：吴辰侣，刘明鑫，
申请(专利权)人：未鲲上海科技服务有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。