基于多终端协同的视频应用用户体验提升方法和系统技术方案

本发明专利技术提供了一种基于多终端协同的视频应用用户体验提升方法和系统，所述方法包括：主摄像头向N

【技术实现步骤摘要】
基于多终端协同的视频应用用户体验提升方法和系统


[0001]本专利技术属于移动通信
，尤其涉及一种基于多终端协同的视频应用用户体验提升方法和系统。

技术介绍

[0002]近年来，移动通信网络与互联网技术获得了飞速发展。随着5G时代的到来，网络的带宽获得了大幅提升，这促进了网络业务的发展，视频业务尤其如此。视频应用的智能化是提升用户体验的一个重要手段。在一些典型的应用场景里，智能化识别视频内容已经被广泛应用，例如，在家庭摄像头的场景中，移动对象检测和陌生人预警技术已经得到实现。在教育领域中，智能视频识别可以实现智慧教育，创新教学管理。在交通领域中，设置在交通路口的摄像头可以提取车牌，车型等汽车信息和乘客数量以及一些其他的乘客信息回传给数据中心进行监控。
[0003]然而，在一些典型的视频应用场景中，用户追求的是视频服务的质量和体验。以视频通话为例，由于受到单个摄像头终端的限制，导致用户在通话过程中，必须保持与终端的距离，这就限制了人们在通话过程中的活动。在单摄像头终端视频应用场景中，移动对象识别的相关技术已较为成熟。然而，单终端本身存在技术瓶颈，如：不能从单个摄像头中观测到整个目标区域、不能对运动目标进行连续的跟踪、难以解决复杂场景下产生的遮挡等问题，使得单摄像头终端视频应用不能覆盖全部场景。
[0004]有鉴于此，有必要设计一种基于多终端协同的视频应用系统和方法，来提升用户在通话过程中的体验效果，解决上述问题。

技术实现思路

[0005]本专利技术的目的是提升用户在视频通话中的体验效果，通过N路摄像头同时为用户提供服务，采用人脸识别技术和自适应多流传输技术，从而在通信时延和画面服务质量两方面提升用户在移动过程中的视频通话体验。
[0006]为实现以上目的，本专利技术提供了一种基于多终端协同的视频应用用户体验提升方法，包括以下步骤：
[0007]步骤S1、主摄像头终端向N
‑
1路从摄像头群发目标人脸图片；
[0008]步骤S2、主摄像头终端和视频服务器建立连接，将自身的视频流通过WiFi、5G、Internet链路自适应多流传输到视频服务器端，作为起始阶段的默认连接；N路摄像头终端同时对目标人脸进行人脸识别，将识别所得到的相似度通过MQTT协议发布到策略服务器；
[0009]步骤S3、策略服务器通过MQTT协议不断订阅N路摄像头终端发布的人脸识别相似度结果，并对识别结果进行对比；得到相似度最大的一路摄像头终端编号，并将该编号发送给主摄像头终端；
[0010]步骤S4、主摄像头终端开启线程接收策略服务器下发的当前相似度最高的摄像头终端编号，并依据编号选择是否切换视频流传输。
[0011]本专利技术的进一步改进在于，步骤S1还包括以下步骤：
[0012]步骤S1.1、主摄像头终端每隔1秒广播本机信息，信息主要包括IP地址和标志字符串“master”；然后处于监听状态，并设置监听的从摄像头终端数量为N
‑
1；
[0013]步骤S1.2、N
‑
1路从摄像头终端收到广播信息后，确认广播消息中是否含有标志字符串“master”；如果含有标志字符串“master”，则判定是多终端协同业务的发起，进而向主摄像头终端回复自身的IP地址、接入方式以及标志字符串“video_x”；
[0014]步骤S1.3、主摄像头终端收到N
‑
1路从摄像头终端的回复后，对IP地址进行存储，并和N
‑
1路从摄像头终端建立TCP连接；主摄像头终端每隔一预定时间对目标人脸进行图片提取，将图片数据写入共享内存；主摄像头终端作为TCP连接的客户端，创建从共享内存读取图片的线程，创建发送图片帧线程；由于创建的双线程涉及图片数据的同步，在进行图片数据的读取和发送之前进行互斥锁上锁；经过一设定时间后结束，即结束目标人脸图片的发送；
[0015]步骤S1.4、N
‑
1路从摄像头终端作为和主摄像头终端建立TCP连接的服务器端，接收主摄像头发送的图片数据并进行格式转换，保存在本地。
[0016]本专利技术的进一步改进在于，所述步骤S1.3中的设定时间为10秒。
[0017]本专利技术的进一步改进在于，步骤S4还包括以下步骤：
[0018]步骤S4.1、主摄像头终端保存前一次识别相似度最高的一路摄像头终端编号，并与当前识别相似度最高的一路视频编号进行比较；
[0019]步骤S4.2、若两次摄像头终端编号不同，则通知视频服务器断开之前建立的连接，重新建立连接；当相似度最高的编号在从摄像头终端中，则主摄像头终端拉取从摄像头终端的视频流并转发到视频服务器；
[0020]步骤S4.3、若两次摄像头终端编号相同，则保持与视频服务器之前建立的连接。
[0021]本专利技术的进一步改进在于，步骤S2还包括以下步骤：
[0022]步骤A1、主摄像头终端和视频服务器建立多条TCP连接，视频服务器监听的端口分别为1000、1200、1400；当主摄像头终端默认通过WiFi链路传输时，主摄像头终端使用iptables
‑
t mangle对发往视频服务器1200、1400端口的数据包分别打上不同的标签，匹配到规则的数据包分别添加到路由表8和9中，将路由表8和9分别默认使用5G传输和Internet传输；
[0023]步骤A2、主摄像头终端将拉取的视频流数据分发到和视频服务器之间的多路子流传输；默认情况下仅通过WiFi链路传输，在传输的过程中，创建线程监视当前的WiFi链路传输的质量；当WiFi链路的传输质量不佳时，添加5G链路传输，当线程监测WiFi链路满足正常传输条件时，将数据包分配策略重新改为仅在WiFi链路传输。
[0024]本专利技术的进一步改进在于，数据包在两条链路分配的比例设为1:1。
[0025]本专利技术的进一步改进在于，在步骤S2中，N路摄像头终端同时以1次/秒的频率对目标人脸进行人脸识别。
[0026]本专利技术的进一步改进在于，所述预定时间为1秒，即主摄像头终端每隔1秒对目标人脸进行图片提取。
[0027]本专利技术的进一步改进在于，所述视频服务器由N
‑
1路从摄像头终端构成。
[0028]为实现以上专利技术目的，本专利技术还提供了一种基于多终端协同的视频应用用户体验
提升系统，该系统可实施如前述任一项所述的方法。
[0029]本专利技术的有益效果如下：本专利技术通过采用N路摄像头同时为用户提供服务、人脸识别技术和自适应多流传输技术，从而在通信时延和画面服务质量两方面提升用户在移动过程中的视频通话体验。
附图说明
[0030]图1是本专利技术提供的一种基于多终端协同的视频应用用户体验提升系统及方法架构图。
[0031]图2是本专利技术提供的终端设备发现示意图。
[0032]图3是本专利技术提供的主摄像头群发识别目标图片流程图。
[0033]图4是本专利技术提供的主摄像头切本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多终端协同的视频应用用户体验提升方法，其特征在于：包括以下步骤：步骤S1、主摄像头终端向N
‑
1路从摄像头群发目标人脸图片；步骤S2、主摄像头终端和视频服务器建立连接，将自身的视频流通过WiFi、5G、Internet链路自适应多流传输到视频服务器端，作为起始阶段的默认连接；N路摄像头终端同时对目标人脸进行人脸识别，将识别所得到的相似度通过MQTT协议发布到策略服务器；步骤S3、策略服务器通过MQTT协议不断订阅N路摄像头终端发布的人脸识别相似度结果，并对识别结果进行对比；得到相似度最大的一路摄像头终端编号，并将该编号发送给主摄像头终端；步骤S4、主摄像头终端开启线程接收策略服务器下发的当前相似度最高的摄像头终端编号，并依据编号选择是否切换视频流传输。2.根据权利要求1所述的方法，其特征在于：步骤S1还包括以下步骤：步骤S1.1、主摄像头终端每隔1秒广播本机信息，信息主要包括IP地址和标志字符串“master”；然后处于监听状态，并设置监听的从摄像头终端数量为N
‑
1；步骤S1.2、N
‑
1路从摄像头终端收到广播信息后，确认广播消息中是否含有标志字符串“master”；如果含有标志字符串“master”，则判定是多终端协同业务的发起，进而向主摄像头终端回复自身的IP地址、接入方式以及标志字符串“video_x”；步骤S1.3、主摄像头终端收到N
‑
1路从摄像头终端的回复后，对IP地址进行存储，并和N
‑
1路从摄像头终端建立TCP连接；主摄像头终端每隔一预定时间对目标人脸进行图片提取，将图片数据写入共享内存；主摄像头终端作为TCP连接的客户端，创建从共享内存读取图片的线程，创建发送图片帧线程；由于创建的双线程涉及图片数据的同步，在进行图片数据的读取和发送之前进行互斥锁上锁；经过一设定时间后结束，即结束目标人脸图片的发送；步骤S1.4、N
‑
1路从摄像头终端作为和主摄像头终端建立TCP连接的服务器端，接收主摄像头发送的图片数据并进行格式转换，保存在...

【专利技术属性】
技术研发人员：朱晓荣，殷鹏，杜松，王志明，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：