多场景下的数据处理方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供了一种多场景下的数据处理方法、装置、设备及存储介质；所述方法包括：获取数据处理请求；其中，所述数据处理请求用于请求对至少一个服务场景下的待处理数据进行处理；确定所述数据处理请求的事务类型；如果所述事务类型为检索类型，确定所述数据处理请求对应的场景标识；确定与所述场景标识相匹配的检索库；基于所述检索库，对相匹配的服务场景下的待处理数据进行处理；如果所述事务类型为计算类型，基于响应所述数据处理请求所需的数据量，确定相匹配的服务策略；基于所述相匹配的服务策略，对所述待处理数据进行处理；这样，能够实现多个服务场景的数据共用一套数据处理环境，充分利用资源，降低资源空闲率。率。率。

【技术实现步骤摘要】
多场景下的数据处理方法、装置、设备及存储介质


[0001]本申请涉及计算机视觉领域，尤其涉及多场景下的数据处理方法、装置、设备及存储介质。

技术介绍

[0002]人工智能(Artificial Intelligence，AI)技术在智慧零售领域有着广泛的应用，其中，很大一部分应用于智慧零售商场场景的推广和落地。在多商场场景中，每一新的商场接入智慧零售后台均需要配套购买一套完整的计算机视觉(Computer Vision，CV)后台计算资源，使得新的商场接入的成本较高，对成本敏感的商场或店铺不够友好。

技术实现思路

[0003]本申请实施例提供一种多场景下的数据处理方法、装置、设备及存储介质，能够实现多个服务场景的数据共用一套数据处理环境，充分利用资源，降低资源空闲率。
[0004]本申请实施例的技术方案是这样实现的：
[0005]第一方面，本申请实施例提供一种多场景下的数据处理方法，包括：
[0006]获取数据处理请求；其中，所述数据处理请求用于请求对至少一个服务场景下的待处理数据进行处理；
[0007]确定所述数据处理请求的事务类型；
[0008]如果所述事务类型为检索类型，确定所述数据处理请求对应的场景标识；
[0009]确定与所述场景标识相匹配的检索库；
[0010]基于所述检索库，对相匹配的服务场景下的待处理数据进行处理；
[0011]如果所述事务类型为计算类型，基于响应所述数据处理请求所需的数据量，确定相匹配的服务策略；
>[0012]基于所述相匹配的服务策略，对所述待处理数据进行处理。
[0013]在一些实施例中，在预设数据库中查找具有所述候选库标识的检索库之前，所述方法还包括：
[0014]确定待采集的多个服务场景；
[0015]对所述多个服务场景进行图像采集，得到场景图像集合；
[0016]基于每一服务场景的场景标识，搭建相匹配的初始检索库；
[0017]将所述场景图像集合中场景图像，存入场景标识相匹配的初始检索库中，得到所述预设数据库。
[0018]第二方面，本申请实施例提供多场景下的数据处理装置，包括：
[0019]第一获取模块，用于获取数据处理请求；其中，所述数据处理请求用于请求对至少一个服务场景下的待处理数据进行处理；
[0020]第一确定模块，用于确定所述数据处理请求的事务类型；
[0021]第二确定模块，用于如果所述事务类型为检索类型，确定所述数据处理请求对应
的场景标识；
[0022]第三确定模块，用于确定与所述场景标识相匹配的检索库；
[0023]第一处理模块，用于基于所述检索库，对相匹配的服务场景下的待处理数据进行处理；
[0024]第四确定模块，用于如果所述事务类型为计算类型，基于响应所述数据处理请求所需的数据量，确定相匹配的服务策略；
[0025]第二处理模块，用于基于所述相匹配的服务策略，对所述待处理数据进行处理。
[0026]第三方面，本专利技术实施例提供一种多场景下的数据处理设备，包括：
[0027]存储器，用于存储可执行指令；
[0028]处理器，用于执行所述存储器中存储的可执行指令时，实现本专利技术实施例提供的方法。
[0029]第四方面，本专利技术实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本专利技术实施例提供的方法。
[0030]本申请实施例具有以下有益效果：在多商场数据混合接入数据处理系统的场景下，通过判断数据处理请求的事务类型，对于检索类型，对待处理数据进行按场检索或者按场分库，使得每一个服务场景下的待处理数据均有自身对应的检索库，从而能够实现多个服务场景的数据共用一套数据处理环境；对于计算类型，依据需要消耗的数据量不同，采用不同的微服务策略进行处理，从而充分利用资源，降低资源空闲率。
附图说明
[0031]图1是本申请实施例多场景下的数据处理的一种网络架构示意图；
[0032]图2是本申请实施例提供的多场景下的数据处理系统的另一个可选的架构示意图；
[0033]图3是本申请实施例提供的多场景下的数据处理系统的结构示意图；
[0034]图4是本申请实施例提供的多场景下的数据处理方法的实现流程示意图；
[0035]图5是本申请实施例提供的多个场接入CV后台计算设备的实现框架示意图；
[0036]图6是本申请实施例提供的多场混部场景CV微服务调度系统的框架示意图；
[0037]图7是本申请实施例提供的检索微服务多场调度策略框架图；
[0038]图8是本申请实施例提供的检索微服务的实现流程示意图；
[0039]图9是本申请实施例提供的短CV计算微服务多商场调度策略框架图；
[0040]图10是本申请实施例提供的短CV计算微服务多商场调度策略另一框架图；
[0041]图11是本申请实施例提供的短CV计算多商场数据多级别削峰填谷实现框架图；
[0042]图12是本申请实施例提供的短CV计算多线程批量处理的框架图；
[0043]图13是本申请实施例长CV计算微服务多场调度策略框架图；
[0044]图14是本申请实施例提供的长CV计算并行调度框架图；
[0045]图15是本申请实施例提供的长CV计算分时调度框架图。
具体实施方式
[0046]为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进
一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0047]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0048]在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
[0049]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0050]对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
[0051]1)人体轨迹检索：在大规模人体轨迹数据库中找出与待检索人体轨迹相似度最高的一个或多个人体轨迹。
[0052]2)人脸检索：在大规模人脸数据库中找出与待检索人脸相似度最高的一个或多个人脸。检索性能与库规模N大小相关。
[0053]3)无锁队列：由本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多场景下的数据处理方法，其特征在于，所述方法包括：获取数据处理请求；其中，所述数据处理请求用于请求对至少一个服务场景下的待处理数据进行处理；确定所述数据处理请求的事务类型；如果所述事务类型为检索类型，确定所述数据处理请求对应的场景标识；确定与所述场景标识相匹配的检索库；基于所述检索库，对相匹配的服务场景下的待处理数据进行处理；如果所述事务类型为计算类型，基于响应所述数据处理请求所需的数据量，确定相匹配的服务策略；基于所述相匹配的服务策略，对所述待处理数据进行处理。2.根据权利要求1所述的方法，其特征在于，所述确定与所述场景标识相匹配的检索库，并基于所述检索库，对相匹配的服务场景下的待处理数据进行处理，包括：基于所述服务场景的标识信息，构造相匹配的库标识；在预设数据库中查找具有所述库标识的检索库；其中，所述预设数据库用于存储与多个服务场景的场景标识相匹配的检索库；如果所述预设数据库中包括所述具有所述库标识的检索库，且所述检索类型执行的操作为注册入库操作，将所述相匹配的服务场景下的待处理数据，加入所述具有所述库标识的检索库。3.根据权利要求2所述的方法，其特征在于，所述在预设数据库中查找具有所述库标识的检索库之后，所述方法还包括：如果所述预设数据库中不包括所述具有所述库标识的检索库，且所述检索类型执行的操作为注册入库操作，基于所述库标识，创建与所述场景标识相匹配的检索库。4.根据权利要求2所述的方法，其特征在于，所述在预设数据库中查找具有所述库标识的检索库之后，所述方法还包括：如果所述预设数据库中包括所述具有所述库标识的检索库，且所述检索类型执行的操作为检索操作，基于所述具有所述库标识的检索库对相匹配的服务场景下的待处理数据进行检索；如果所述预设数据库中不包括所述具有所述候选库标识的检索库，且所述检索类型执行的操作为检索操作，生成表征检索失败的反馈信息。5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述检索数据库，对相匹配的服务场景下的待处理数据进行处理，包括：确定对所述检索库中满足预设条件的检索数据进行回收的垃圾回收周期；如果当前时刻达到所述垃圾回收周期，确定所述检索库中的检索数据的生存时长；如果所述生存时长已超过预设时长，删除所述检索数据，得到更新的检索库；如果所述事务类型执行的操作为注册入库操作，将所述更新的检索库相匹配的服务场景下的待处理数据存入所述更新的检索库；如果所述事务类型执行的操作为检索操作，基于所述更新的检索库，对相匹配的服务场景下的待处理数据进行检索，得到检索结果。6.根据权利要求1所述的方法，其特征在于，所述如果所述事务类型为计算类型，基于
响应所述数据处理请求所需的数据量，确定相匹配的服务策略，并基于所述相匹配的服务策略，对所述待处理数据进行处理，包括：如果所述事务类型为计算类型，且所述数据量小于等于预设数据量阈值，确定所述相匹配的服务策略为短计算微服务策略；确定与所述数据处理请求相关的不同服务场景的短计算数据；对所述不同服务场景的短计算数据占据的资源进行均衡处理，得到均衡处理数据；将所述均衡处理数据携带在所述数据处理请求中，得到更新的处理请求；基于所述均衡处理数据对所述待处理数据进行处理。7.根据权利要求6所述的方法，其特征在于，所述对所述不同服务场景的短计算数据占据的资源进行均衡处理，得到均衡处理数据，包括：将所述不同服务场景的短计算数据，以消息队列的形式进行缓存；对所述消息队列中缓存的短计算数据进行合并，得到已合并数据；确定图形处理器中未使用的处理资源；基于所述未使用的处理资源，对所述已合并数据的波峰和波谷进行平滑处理，得到所述均衡处理数据。8.根据权利要求7所述的方法，其特征在于，所述将所述均衡处理数据携带在所述数据处理请求中，得到更新的处...

【专利技术属性】
技术研发人员：严石伟，丁凯，蒋楠，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：