分布式文本信息处理方法、装置、系统、设备及存储介质制造方法及图纸

本申请实施例提供一种分布式文本信息处理方法、装置、系统、设备及存储介质，该方法包括：接收客户端发送的文本信息处理请求；对所述文本信息处理请求进行解析，得到解析结果；根据所述解析结果，确定用于存放所述解析结果的目标系统，并将所述解析结果存放至所述目标系统；通过所述目标系统，将所述解析结果对应的文本信息处理任务发送至数据流计算系统；若监控到所述分布式发布订阅消息系统接收到所述处理结果，则从所述分布式发布订阅消息系统中读取所述处理结果，并将所述处理结果反馈至所述客户端。本实施例提供的方法能够克服现有技术已经无法满足针对用户不同的需求对应的不同的数据处理方式，进而解决用户在不同方面的需求的问题。

Distributed Text Information Processing Method, Device, System, Equipment and Storage Media

【技术实现步骤摘要】
分布式文本信息处理方法、装置、系统、设备及存储介质
本申请实施例涉及数据处理的
，尤其涉及一种分布式文本信息处理方法、装置、系统、设备及存储介质。
技术介绍
随着近几十年来互联网的急速发展，人们对互联网的需求也越来越多，随即人们对互联网的访问量也随之增加，伴随用户行为而产生的数据量也在呈现指数增长。在当前大数据时代，针对不同的用户，对于数据的处理方式需求不同，但是，在大数据处理中，每个大数据平台框架都各有各的优缺点和应用场景，并不能同时解决不同的用户的不同需求，因此，现有技术已经无法满足针对用户不同的需求对应的不同的数据处理方式，进而解决用户在不同方面的需求。
技术实现思路
本申请实施例提供一种分布式文本信息处理方法、装置、系统、设备及存储介质，以克服现有技术已经无法满足针对用户不同的需求对应的不同的数据处理方式，进而解决用户在不同方面的需求的问题。第一方面，本申请实施例提供一种分布式文本信息处理方法，包括：接收客户端发送的文本信息处理请求；对所述文本信息处理请求进行解析，得到解析结果；根据所述解析结果，确定用于存放所述解析结果的目标系统，并将所述解析结果存放至所述目标系统；通过所述目标系统，将所述解析结果对应的文本信息处理任务发送至数据流计算系统，以使所述数据流计算系统根据所述文本信息处理任务对所述文本信息进行处理，得到处理结果，并将所述处理结果返回至分布式发布订阅消息系统；其中，所述文本信息处理任务和所述解析结果存在映射关系；若监控到所述分布式发布订阅消息系统接收到所述处理结果，则从所述分布式发布订阅消息系统中读取所述处理结果，并将所述处理结果反馈至所述客户端。在一种可能的设计中，所述文本信息请求包括单条文本信息及单条文本信息对应的处理类型、第一预设条数的文本信息及第一预设条数的文本信息中每条文本信息对应的处理类型、或第二预设条数的文本信息的存储路径，所述解析结果包括单条文本信息、单条文本信息对应的处理类型、单条文本信息对应的请求标识、第一预设条数的文本信息、第一预设条数的文本信息中每条文本信息对应的处理类型、第一预设条数的文本信息中每条文本信息对应的请求标识、第二预设条数的文本信息的存储路径；所述根据所述解析结果，确定存放所述解析结果的目标系统，并将所述解析结果存放至所述目标系统，包括：若所述解析结果为单条文本信息、单条文本信息对应的处理类型和单条文本信息对应的请求标识，则将所述单条文本信息、单条文本信息对应的处理类型和单条文本信息对应的请求标识上传至所述分布式发布订阅消息系统，所述分布式发布订阅消息系统为所述目标系统；若所述解析结果为第一预设条数的文本信息、第一预设条数的文本信息中每条文本信息对应的处理类型和第一预设条数的文本信息中每条文本信息对应的请求标识，则将所述第一预设条数的文本信息、第一预设条数的文本信息中每条文本信息对应的处理类型和第一预设条数的文本信息中每条文本信息对应的请求标识批量上传至分布式文件系统中，以使所述分布式文件系统根据所述第一预设条数的文本信息生成所述第一预设条数的文本信息的存储路径，并将所述第一预设条数的文本信息的存储路径上传至所述分布式发布订阅消息系统中，所述分布式文件系统为所述目标系统；若所述解析结果为第二预设条数的文本信息的存储路径，则将所述第二预设条数的文本信息的存储路径上传至所述分布式发布订阅消息系统，所述分布式发布订阅消息系统为所述目标系统，所述第二预设条数的文本信息的存储路径是通过所述客户端将所述第二预设条数的文本信息发送至所述分布式文件系统，以使所述分布式文件系统根据所述第二预设条数的文本信息生成的。在一种可能的设计中，若所述解析结果为单条文本信息，则确定文本信息处理的方式为实时处理；所述通过所述目标系统，将所述解析结果对应的文本信息处理任务发送至数据流计算系统，以使所述数据流计算系统根据所述文本信息处理任务对所述文本信息进行处理，包括：读取所述分布式发布订阅消息系统中存储的所述单条文本信息、所述单条文本信息对应的文本信息请求标识以及所述单条文本信息对应的文本信息处理类型；根据所述单条文本信息、所述单条文本信息对应的文本信息请求标识以及所述单条文本信息对应的文本信息处理类型，生成单条文本信息处理任务；将所述单条文本信息处理任务发送至所述数据流计算系统，以使所述数据流计算系统中的实时流处理装置根据所述单条文本信息处理任务对所述单条文本信息进行实时处理。在一种可能的设计中，若所述解析结果为第一预设条数的文本信息，则确定文本信息处理的方式为同步处理；所述通过所述目标系统，将所述解析结果对应的文本信息处理任务发送至数据流计算系统，以使所述数据流计算系统根据所述文本信息处理任务对所述文本信息进行处理，包括：读取所述分布式发布订阅消息系统中存储的所述第一预设条数的文本信息的存储路径；根据所述第一预设条数的文本信息的存储路径，获取存储在所述分布式文件系统中的所述第一预设条数的文本信息、所述第一预设条数的文本信息中每条文本信息对应的文本信息请求标识和第一预设条数的文本信息中每条文本信息对应的文本信息处理类型；根据所述第一预设条数的文本信息、所述第一预设条数的文本信息中每条文本信息对应的文本信息请求标识和第一预设条数的文本信息中每条文本信息对应的文本信息处理类型，生成第一预设条数的文本信息中每条文本信息对应的所述文本信息处理任务；将第一预设条数的文本信息中所有文本信息对应的所述文本信息处理任务发送至所述数据流计算系统，以使所述数据流计算系统根据所述第一预设条数的文本信息中所有文本信息对应的所述文本信息处理任务进行在线同步处理。在一种可能的设计中，若所述解析结果为第二预设条数的文本信息的存储路径，则确定文本信息处理的方式为异步处理；所述通过所述目标系统，将所述解析结果对应的文本信息处理任务发送至数据流计算系统，以使所述数据流计算系统根据所述文本信息处理任务对所述文本信息进行处理，包括：读取所述分布式发布订阅消息系统中存储的所述第二预设条数的文本信息的存储路径；根据所述第二预设条数的文本信息的存储路径，获取存储在所述分布式文件系统中的所述第二预设条数的文本信息、所述第二预设条数的文本信息中每条文本信息对应的文本信息请求标识和第二预设条数的文本信息中每条文本信息对应的文本信息处理类型；根据所述第二预设条数的文本信息、所述第二预设条数的文本信息中每条文本信息对应的文本信息请求标识和第二预设条数的文本信息中每条文本信息对应的文本信息处理类型，生成第二预设条数的文本信息中每条文本信息对应的所述文本信息处理任务；将第二预设条数的文本信息中所有文本信息对应的所述文本信息处理任务发送至所述数据流计算系统，以使所述数据流计算系统根据所述第二预设条数的文本信息中所有文本信息对应的所述文本信息处理任务进行离线异步处理。在一种可能的设计中，在所述通过所述目标系统，将所述解析结果对应的文本信息处理任务发送至数据流计算系统之后，所述方法还包括：监控所述数据流计算系统进行任务处理的运行状态，若所述数据流计算系统进行任务处理为超时或出错的异常状态，则将所述异常状态作为所述处理结果反馈至所述客户端。第二方面，本申请实施例提供一种分布式文本信息处理装置，包括：请求接收模块，用于接收客户端发本文档来自技高网...

【技术保护点】
1.一种分布式文本信息处理方法，其特征在于，包括：接收客户端发送的文本信息处理请求；对所述文本信息处理请求进行解析，得到解析结果；根据所述解析结果，确定用于存放所述解析结果的目标系统，并将所述解析结果存放至所述目标系统；通过所述目标系统，将所述解析结果对应的文本信息处理任务发送至数据流计算系统，以使所述数据流计算系统根据所述文本信息处理任务对所述文本信息进行处理，得到处理结果，并将所述处理结果返回至分布式发布订阅消息系统；其中，所述文本信息处理任务和所述解析结果存在映射关系；若监控到所述分布式发布订阅消息系统接收到所述处理结果，则从所述分布式发布订阅消息系统中读取所述处理结果，并将所述处理结果反馈至所述客户端。

【技术特征摘要】
1.一种分布式文本信息处理方法，其特征在于，包括：接收客户端发送的文本信息处理请求；对所述文本信息处理请求进行解析，得到解析结果；根据所述解析结果，确定用于存放所述解析结果的目标系统，并将所述解析结果存放至所述目标系统；通过所述目标系统，将所述解析结果对应的文本信息处理任务发送至数据流计算系统，以使所述数据流计算系统根据所述文本信息处理任务对所述文本信息进行处理，得到处理结果，并将所述处理结果返回至分布式发布订阅消息系统；其中，所述文本信息处理任务和所述解析结果存在映射关系；若监控到所述分布式发布订阅消息系统接收到所述处理结果，则从所述分布式发布订阅消息系统中读取所述处理结果，并将所述处理结果反馈至所述客户端。2.根据权利要求1所述的方法，其特征在于，所述文本信息请求包括单条文本信息及单条文本信息对应的处理类型、第一预设条数的文本信息及第一预设条数的文本信息中每条文本信息对应的处理类型、或第二预设条数的文本信息的存储路径，所述解析结果包括单条文本信息、单条文本信息对应的处理类型、单条文本信息对应的请求标识、第一预设条数的文本信息、第一预设条数的文本信息中每条文本信息对应的处理类型、第一预设条数的文本信息中每条文本信息对应的请求标识、第二预设条数的文本信息的存储路径；所述根据所述解析结果，确定存放所述解析结果的目标系统，并将所述解析结果存放至所述目标系统，包括：若所述解析结果为单条文本信息、单条文本信息对应的处理类型和单条文本信息对应的请求标识，则将所述单条文本信息、单条文本信息对应的处理类型和单条文本信息对应的请求标识上传至所述分布式发布订阅消息系统，所述分布式发布订阅消息系统为所述目标系统；若所述解析结果为第一预设条数的文本信息、第一预设条数的文本信息中每条文本信息对应的处理类型和第一预设条数的文本信息中每条文本信息对应的请求标识，则将所述第一预设条数的文本信息、第一预设条数的文本信息中每条文本信息对应的处理类型和第一预设条数的文本信息中每条文本信息对应的请求标识批量上传至分布式文件系统中，以使所述分布式文件系统根据所述第一预设条数的文本信息生成所述第一预设条数的文本信息的存储路径，并将所述第一预设条数的文本信息的存储路径上传至所述分布式发布订阅消息系统中，所述分布式文件系统为所述目标系统；若所述解析结果为第二预设条数的文本信息的存储路径，则将所述第二预设条数的文本信息的存储路径上传至所述分布式发布订阅消息系统，所述分布式发布订阅消息系统为所述目标系统，所述第二预设条数的文本信息的存储路径是通过所述客户端将所述第二预设条数的文本信息发送至所述分布式文件系统，以使所述分布式文件系统根据所述第二预设条数的文本信息生成的。3.根据权利要求2所述的方法，其特征在于，若所述解析结果为单条文本信息，则确定文本信息处理的方式为实时处理；所述通过所述目标系统，将所述解析结果对应的文本信息处理任务发送至数据流计算系统，以使所述数据流计算系统根据所述文本信息处理任务对所述文本信息进行处理，包括：读取所述分布式发布订阅消息系统中存储的所述单条文本信息、所述单条文本信息对应的文本信息请求标识以及所述单条文本信息对应的文本信息处理类型；根据所述单条文本信息、所述单条文本信息对应的文本信息请求标识以及所述单条文本信息对应的文本信息处理类型，生成单条文本信息处理任务；将所述单条文本信息处理任务发送至所述数据流计算系统，以使所述数据流计算系统中的实时流处理装置根据所述单条文本信息处理任务对所述单条文本信息进行实时处理。4.根据权利要求2所述的方法，其特征在于，若所述解析结果为第一预设条数的文本信息，则确定文本信息处理的方式为同步处理；所述通过所述目标系统，将所述解析结果对应的文本信息处理任务发送至数据流计算系统，以使所述数据流计算系统根据所述文本信息处理任务对所述文本信息进行处理，包括：读取所述分布式发布订阅消息系统中存储...

【专利技术属性】
技术研发人员：王九硕，
申请(专利权)人：北大方正集团有限公司，北京北大方正电子有限公司，
类型：发明
国别省市：北京,11