基于人像聚档数据的落脚点分析方法及系统技术方案

本发明专利技术公开了一种基于人像聚档数据的落脚点分析方法及系统，方法包括：通过人像算法厂商将结构化的人像档案关系数据发送到消息中间件，所述人像档案关系数据包括人脸聚档数据和关系数据；消费端消费消息中间件内的人像档案关系数据；采用SailingAI对消费到的人像档案关系数据进行计算分析；将分析出来的人像档案关系数据进行入库；通过业务查询接口，实时分析检索人像落脚点数据。本发明专利技术能够显著降低对于人像算法厂商的服务依赖性，降低服务器的负载压力，有效地提高了人像落脚点分析功能的并发性能，较大的提高查询的实时性与效率。较大的提高查询的实时性与效率。较大的提高查询的实时性与效率。

【技术实现步骤摘要】
基于人像聚档数据的落脚点分析方法及系统


[0001]本专利技术涉及大数据分析
，具体来说，涉及一种基于人像聚档数据的落脚点分析方法及系统。

技术介绍

[0002]目前人像落脚点分析方案大多是通过算法厂商在后台进行计算，由于数据量大，大多都是通过在算法后台创建任务的形式进行，如此一来，更多依赖的是底层的算法厂商服务，随着数据量的不断增大，对于算法的压力和客户端的时效性都是很大的考验，很可能需要增加服务器相关配置来确保稳定性。此外，一旦算法平台出现问题，由于其关联性太过于紧密，应用功能也无法置身事外。
[0003]综上所述，如何通过对大量人像轨迹数据进行实时多个条件的检索，得到最终的人像落脚点数据，目前尚缺乏有效的解决方案。

技术实现思路

[0004]本专利技术的目的在于提出一种基于人像聚档数据的落脚点分析方法及系统，旨在用于解决现有的人像档案关联分析方法存在的依赖性强、实时任务计算资源消耗过大、同一人像重复创建任务分析计算浪费服务器性能等最终导致无法很好满足用户体验的问题。
[0005]为实现上述技术目的，本专利技术的技术方案是这样实现的：
[0006]一种基于人像聚档数据的落脚点分析方法，所述方法包括以下步骤：
[0007]1)通过人像算法厂商将结构化的人像档案关系数据发送到消息中间件，所述人像档案关系数据包括人脸聚档数据和关系数据；
[0008]2)消费端消费消息中间件内的人像档案关系数据；
[0009]3)采用SailingAI对消费到的人像档案关系数据进行计算分析；
[0010]4)将分析出来的人像档案关系数据进行入库；
[0011]5)通过业务查询接口，实时分析检索人像落脚点数据。
[0012]进一步的，步骤3)包括以下步骤：
[0013]3.1)将人像档案关系数据从消息队列中实时进行消费，消费到的数据存储至队列；
[0014]3.2)从队列中获取数据，将获取到的数据进行异步滞留点分析，将人像档案数据根据实体特征标识作为key、实体作为value在缓存中进行存储；
[0015]3.3)根据实体标识对新旧数据进行比对，筛选出符合设定的滞留时长的数据作为滞留点数据，加入到队列中。
[0016]进一步的，步骤3.2)中所述实体特征标识为人像关系实体ID。
[0017]进一步的，步骤4)中所述库为分布式MPP系统，所述分布式MPP系统采用Clickhouse，步骤5)中所述查询接口底层框架为SpringCloud和SpringBoot。
[0018]进一步的，步骤5)包括以下步骤：
[0019]5.1)用户界面根据条件调用检索；
[0020]5.2)根据上传得到的图片数据以base64编码格式进行编码，将编码后的base64图片流传送给结构化算法进行分析；
[0021]5.3)根据上传的人像图片，生成人像特征值数据，获取到实体特征标识；
[0022]5.4)根据实体特征标识查询人像档案关系数据，获取到实体信息；
[0023]5.5)根据实体信息查询符合落脚点时长的人像轨迹数据；
[0024]5.6)返回结果。
[0025]一种基于人像聚档数据的落脚点分析系统，所述系统包括：
[0026]分布式MPP系统，包括分布式数据存储以及分布式计算框架，用于将人像轨迹数据、档案关系数据存储到分布式MPP系统；
[0027]人像滞留点数据分析模块，用于实时计算分析消息队列中的人像轨迹数据，比对出符合滞留时长的人像轨迹数据作为滞留点数据，将其进行存储入库；
[0028]业务查询接口模块，用于将人像图片转化为base64数据，调用人像特征检测接口获取到人像标识，随后将人像标识与人像关系数据进行关联查询，获取到实名档和匿名档，将档案数据与轨迹信息进行关联分析，根据输入条件对数据进行过滤，最终筛选出符合条件的人像落脚点数据。
[0029]本专利技术的有益效果：本专利技术通过实时消费队列计算加人像落脚点算法进行实时人像落脚点数据分析，将消费到的聚档数据进行分析比对，对于分析完成的人像滞留点数据存放到分布式MPP系统。之后通过业务接口实时查询MPP系统，通过人像图片获取到特征，与档案关系数据关联得到档案信息，进而通过输入条件检索到符合输入条件的人像落脚点数据，而不是均通过厂商接口实时创建任务、分析任务进而返回结果。通过业务查询接口直接进行查询，使得查询的实时性与效率大大提高，查询的速度也明显的加快了很多；而且对于人像算法厂商的服务依赖性大大降低，降低了服务器的负载压力，避免了随着数据不断提升而带来的服务压力显著增加，有效地提高了人像落脚点分析功能的并发性能；由于可以预估实时人像落脚点分析的数据量，根据当前服务器的硬件配置，很大程度上可以提高人像落脚点分析的可靠性。
附图说明
[0030]图1是本专利技术实施例所述方法的流程图；
[0031]图2是本专利技术实施例中人像落脚点的分析流程图；
[0032]图3是本专利技术实施例中人像落脚点的查询流程图。
具体实施方式
[0033]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。
[0034]如图1所示，根据本专利技术的实施例所述的一种基于大数据的人像档案关联分析方法，包括以下步骤：
[0035]1、通过人像算法厂商将结构化的人像档案关系数据发送到消息中间件，所述人像档案关系数据包括人脸聚档数据和关系数据；
[0036]2、消费端消费消息中间件内的人像档案关系数据；
[0037]3、采用SailingAI对消费到的人像档案关系数据进行计算分析；
[0038]4、将分析出来的人像档案关系数据进行入库；
[0039]5、通过业务查询接口，实时分析检索人像落脚点数据。
[0040]通过实时消费队列计算加人像落脚点算法进行实时人像落脚点数据分析，将消费到的聚档数据进行分析比对，对于分析完成的人像滞留点数据存放到分布式MPP系统。之后通过业务接口实时查询MPP系统，通过人像图片获取到特征，与档案关系数据关联得到档案信息，进而通过输入条件检索到符合输入条件的人像落脚点数据，而不是均通过厂商接口实时创建任务、分析任务进而返回结果。通过业务查询接口直接进行查询，使得查询的实时性与效率大大提高，查询的速度也明显的加快了很多；而且对于人像算法厂商的服务依赖性大大降低，降低了服务器的负载压力，避免了随着数据不断提升而带来的服务压力显著增加，有效地提高了人像落脚点分析功能的并发性能；由于可以预估实时人像落脚点分析的数据量，根据当前服务器的硬件配置，很大程度上可以提高人像落脚点分析的可靠性。
[0041]如图2所示，在本实施例中，步骤3中消费端消费消息中间件数据进行计算分析包含以下流程：
[0042]3.1、首先将人像聚档数据和关系数据从消息队列中实时进行消费，消费到的数据存储至队列；
[0043]3.2、从队本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人像聚档数据的落脚点分析方法，其特征在于，所述方法包括以下步骤：1)通过人像算法厂商将结构化的人像档案关系数据发送到消息中间件，所述人像档案关系数据包括人脸聚档数据和关系数据；2)消费端消费消息中间件内的人像档案关系数据；3)采用SailingAI对消费到的人像档案关系数据进行计算分析；4)将分析出来的人像档案关系数据进行入库；5)通过业务查询接口，实时分析检索人像落脚点数据。2.根据权利要求1所述的方法，其特征在于，步骤3)包括以下步骤：3.1)将人像档案关系数据从消息队列中实时进行消费，消费到的数据存储至队列；3.2)从队列中获取数据，将获取到的数据进行异步滞留点分析，将人像档案数据根据实体特征标识作为key、实体作为value在缓存中进行存储；3.3)根据实体标识对新旧数据进行比对，筛选出符合设定的滞留时长的数据作为滞留点数据，加入到队列中。3.根据权利要求2所述的方法，其特征在于，步骤3.2)中所述实体特征标识为人像关系实体ID。4.根据权利要求1所述的方法，其特征在于，步骤4)中所述库为分布式MPP系统，所述分布式MPP系统采用Clickhouse，步骤5)中所述查询接口底层框架为Spring...

【专利技术属性】
技术研发人员：刘磊，张登，王继能，孙敏，李凯，
申请(专利权)人：新疆熙菱信息技术股份有限公司，
类型：发明
国别省市：