【技术实现步骤摘要】
数据批处理实现方法、装置、设备及存储介质
本申请实施例涉及数据处理
，尤其涉及一种数据批处理实现方法、装置、设备及存储介质。
技术介绍
人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能领域中，利用深度学习的学习方式使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，因此，深度学习被广泛应用在各类人工智能场景。专利技术人在实现本专利技术的过程中，发现现有技术存在如下缺陷：在利用深度学习进行数据处理时，通常采用串行处理的方式。但是，随着用户需求量的增多，需要深度学习模型处理的数据量越来越大，此时，会出现多条数据抢占深度学习资源的问题以及处理时间长的问题，不利于用户需求的快速响应。
技术实现思路
本申请提供了一种数据批处理实现方法、装置、设备及存储介质，以解决现有技术中利用深度学习进行数据处理时，存在抢占深度学习资源以及需要较长处理时间的技术问题。第一方面，本申请实施例提供了一种数据批处理实现方法，包括：<...
【技术保护点】
1.一种数据批处理实现方法，其特征在于，包括：/n获取多条用户请求数据，每条所述用户请求数据对应一个数据标识；/n将所述用户请求数据和相应的数据标识关联写入临时数据库中；/n指示至少一个深度学习模型在所述临时数据库中抓取相匹配的用户请求数据及关联的数据标识，所述深度学习模型可处理的请求类型与所述相匹配的用户请求数据对应的请求类型相同；/n在抓取的用户请求数据满足批处理条件时，指示对应的深度学习模型批量处理所述用户请求数据，并获取处理结果，每条所述用户请求数据对应一条所述处理结果；/n根据所述数据标识，将对应的处理结果关联写入所述临时数据库中；/n根据所述数据标识获取所述临时...
【技术特征摘要】
1.一种数据批处理实现方法，其特征在于，包括：
获取多条用户请求数据，每条所述用户请求数据对应一个数据标识；
将所述用户请求数据和相应的数据标识关联写入临时数据库中；
指示至少一个深度学习模型在所述临时数据库中抓取相匹配的用户请求数据及关联的数据标识，所述深度学习模型可处理的请求类型与所述相匹配的用户请求数据对应的请求类型相同；
在抓取的用户请求数据满足批处理条件时，指示对应的深度学习模型批量处理所述用户请求数据，并获取处理结果，每条所述用户请求数据对应一条所述处理结果；
根据所述数据标识，将对应的处理结果关联写入所述临时数据库中；
根据所述数据标识获取所述临时数据库中对应的处理结果，并将所述处理结果反馈至对应的用户侧。
2.根据权利要求1所述的数据批处理实现方法，其特征在于，所述获取多条用户请求数据包括：
接收用户侧发送的多条原始请求数据；
对所述原始请求数据进行预处理，得到符合深度学习模型识别规则的用户请求数据，每条所述原始请求数据对应一条所述用户请求数据；
为每条所述用户请求数据创建对应的数据标识。
3.根据权利要求2所述的数据批处理实现方法，其特征在于，所述对所述原始请求数据进行预处理，得到符合深度学习模型识别规则的用户请求数据包括：
利用负载均衡服务将多条所述原始请求数据转发至多个预处理进程中，每个所述预处理进程接收至少一条所述原始请求数据；
指示所述预处理进程对所述原始请求数据进行预处理，得到符合深度学习模型识别规则的用户请求数据。
4.根据权利要求3所述的数据批处理实现方法，其特征在于，所述负载均衡服务为Nginx。
5.根据权利要求1所述的数据批处理实现方法，其特征在于，所述将所述用户请求数据和相应的数据标识关联写入临时数据库中，还包括：
将所述临时数据库中的状态字段设置为第一字段，所述第一字段表示未处理状态，所述状态字段与当前写入的所述用户请求数据及相应的数据标识相对应。
6.根据权利要求5所述的数据批处理实现方法，其特征在于，所述数据标识包括深度学习模型名称、时间戳和随机整数。
7.根据权利要求6所述的数据批处理实现方法，其特征在于，所述指示至少一个深度学习模型在所述临时数据库中抓取相匹配的用户请求数据及关联的数据标识包括：
指示至少一个深度学习模型读取所述临时数据库中记录的数据标识；
若所述数据标识中记录的深度学习模型名称与当前进行读取的深度学习模型相符，则指示所述当前进行读取的深度学习模型读取所述临时数据库中与所述数据标识对应的状态字段；
若所述状态字段为所述第一字段，则指示所述当前进行读取的深度学习模型抓取所述临时数据库中记录的所述数据标识以及对应的用户请求数据。
8.根据权利要求5所述的数据批处理实现...
【专利技术属性】
技术研发人员：吴佳祺，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。