同源视频流的音视频和AI检测结果同步方法及系统技术方案

本发明专利技术公开了一种同源视频流的音视频和AI检测结果同步方法及系统。本发明专利技术通过Redis消息通知技术，在拥有统一时钟的前提下将各AI检测服务的检测结果、流处理服务的拉流帧号信息在每一整秒时刻统一推送到约定的Redis消息频道中，各服务可以实时读取频道中其他服务的拉流帧号、检测结果存入各自内存中，与本服务拉流的实时帧号进行追帧算法校对，定时更新与频道中同一秒的领头帧号HFN，及某一最早拉流成功服务的最新帧号的帧号差DFN，以达到通过等式CFN(本服务实时帧号)+DFN＝HFN来匹配同一帧各服务的检测结果和音频、视频数据，通过这一架于各个服务之上的消息频道作为桥梁，达到了音视频、检测结果同步，灵活部署各AI服务，最大化利用硬件资源的目的。最大化利用硬件资源的目的。最大化利用硬件资源的目的。

【技术实现步骤摘要】
同源视频流的音视频和AI检测结果同步方法及系统


[0001]本专利技术涉及音视频同步
，具体涉及一种同源视频流的音视频和AI检测结果同步方法及系统。

技术介绍

[0002]双录系统指银行业等金融机构对自有理财产品及代销产品销售过程同步录音录像的系统。双录系统可以对工作人员的整个销售过程进行监控和记录，通过对记录数据的分析，可以了解销售人员在销售理财等产品过程中的言行是否合规。但双录系统存在以下几个不足之处，导致不少违规行为还是难以被发现：
[0003]1、双录系统只记录双录时间段内的言行，双录时间段外，销售人员与客户的沟通情况不被记录，难以发现双录时间段外的违规行为；
[0004]2、双录系统进行是否合规质检时，仅检查销售人员是否合规的完成了对应的话术或动作，对销售过程中的其他违规语言和动作并不检查。
[0005]为了解决双录系统存在的上述问题，通常采用建立全天候24小时音视频监控的方式采集销售人员的音视频数据，然后进行智能分析，查找双录时间段内外是否存在违规的话术和动作，以作为双录系统质检的一种补充。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种同源视频流的音视频和AI检测结果同步方法，其特征在于，步骤包括：为各服务设定统一时钟，所述服务包括AI检测服务和流处理服务；各所述服务对源视频流进行拉流并实时推送拉流最新帧信息给Redis消息频道，各所述AI检测服务对拉取到的音频流、视频流作相应的AI检测，并将检测结果实时推送给所述Redis消息频道；成功拉取到流的各所述服务每间隔指定间隔时间执行定时任务，所述定时任务以在任务中最早拉到流的所述服务首次推送的帧号为领头帧号，更新自身不断拉取的流的实时帧号与所述领头帧号的帧号差；系统将所述流处理服务实时拉取到的流以及从所述Redis消息频道中获取到的各所述AI检测结果存入到对应的cache缓冲区中，所述cache缓冲区包括音频帧cache缓冲区和视频帧及AI检测结果cache缓冲区；从所述音频帧cache缓冲区和所述视频帧及AI检测结果cache缓冲区中匹配出帧号对应的音频帧、视频帧和所述AI检测结果并合成后作为效果流推出。2.根据权利要求1所述的同源视频流的音视频和AI检测结果同步方法，其特征在于，在执行步骤S1之前，首先对所述源视频流进行一次转发操作，以解除产生所述源视频流的监控设备默认存在的拉流数限制。3.根据权利要求1所述的同源视频流的音视频和AI检测结果同步方法，其特征在于，推送给所述Redis消息频道的所述帧信息包括AI检测服务的服务名称、拉取到的帧的帧时间戳、帧号、与领头帧号的帧号差。4.根据权利要求1或3所述的同源视频流的音视频和AI检测结果同步方法，其特征在于，各服务更新自身的所述帧号差的方法包括步骤：L1，获取系统时间戳cTime；L2，判断cTime是否为整秒，若是，则转入步骤L3；若否，则等待至整秒后转入步骤L3；L3，从所述Redis消息频道中获取整秒时刻往后n秒中各所述服务完成推送的所述帧信息，并创建集合current_frame_array，以存储当前服务在该n秒内实时产生的拉流帧号和拉流帧时间戳；L4，将获取到的n秒内由同个所述服务产生的各所述帧信息分入到所述服务对应的帧信息集合中；L5，提取出各个所述帧信息集合中具有相同帧时间戳的各所述帧信息中记载的帧号；L6，对提取出的各所述帧号进行大小比较，比较出具有最大帧号的一组所述帧信息集合，记为head_frame_array；L7，循环遍历集合head_frame_array，将每次遍历得到的帧时间戳frame_time去集合current_frame_array中检索是否存在时间戳差值小于
±
m时间的记录，若是，则计算本次检索到的时间戳差值小于
±
m时间的两两时间戳对应的帧号的帧号差frame_bias，并将frame_bias存入到集合frame_bias_array中，若否，则继续下一次遍历；L8，遍历完成后，去掉集合frame_bias_array中的最大值和最小值，然后将集合frame_
bias_array中出现频次最高的frame_bias作为当前服务与领头服务帧号的最新差值，记为server_frame_bias；步骤S3中，所述指定间隔时间为5分钟，n＝20秒；m＝50毫秒。5.根据权利要求4所述的同源视频流的音视频和AI检测结果同步方法，其特征在于，系统所述流处理服务获取到的所述AI检测结果渲染到对应的视频流中后再将经渲染的所述视频帧存储到所述视频帧及AI检测结果cache缓冲区中，渲染方法为：系统计算视频帧的当前帧号current_frame_id与server_frame_bias的和值；根据所述和值从所述流处理服务获取到的各所述AI检测结果中检索出当前拟存入chache的所述视频帧对应的所述AI检测结果，检索成功条件为：current_frame_id+server_frame_bias＝frame_id+frame_bias
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
...

【专利技术属性】
技术研发人员：廖万里，金卓，陈帆，肖飞，刘金朝，
申请(专利权)人：珠海金智维信息科技有限公司，
类型：发明
国别省市：