一种融合视频通信与体征分析的系统技术方案

本发明专利技术提供一种融合视频通信与体征分析的系统。包括至少一个前端设备，前端设备包括摄像装置、显示装置、音频装置、按键装置和处理器，摄像装置、显示装置、音频装置和按键装置均连接至处理器，处理器能够通过有线或者无线的方式连接至互联网网络和手机设备，前端设备和手机设备之间能够进行视频通信，前端设备能够根据摄像装置所采集到的图像进行体征分析。本发明专利技术基于现有技术中的一些应用，将视频采集技术和人脸分析技术结合起来进行人体的体征特征分析，获取相关指标。

A Fusion System of Video Communication and Sign Analysis

【技术实现步骤摘要】
一种融合视频通信与体征分析的系统
本专利技术涉及视频通信和人脸分析

技术介绍
随着技术的发展，民用摄像机逐步走入家庭，用户可以通过手机APP随时发起查看摄像机的实时视频，手机APP也可以发起与摄像头进行视频通话。但是市面上尚未发现适合老年人家庭使用的综合性的前端设备，前端设备能够设置一键与预设家人的手机APP进行视频通信，同时前端设备能够采集人脸视频片段进行身体体征分析的装置以及方法。
技术实现思路
本专利技术所要解决的技术问题是，真对
技术介绍
中的不足，提供一种融合视频通信与体征分析的系统。本专利技术解决上述技术问题所采用的技术方案是：一种融合视频通信与体征分析的系统，其特征是，至少一个前端设备，前端设备包括摄像装置、显示装置、音频装置、按键装置和处理器，摄像装置、显示装置、音频装置和按键装置均连接至处理器，处理器能够通过有线或者无线的方式连接至互联网网络；手机设备：能够与前端设备互联并建立数据通信；前端设备和手机设备之间能够进行视频通信，前端设备能够根据摄像装置所采集到的图像进行体征分析。进一步地，按键装置包括预设按键和体征分析触发按键。进一步地，摄像装置是具有一定分辨率的普通摄像头。进一步地，显示屏是普通显示屏或者触摸显示屏。进一步地，前端设备进行体征分析的过程包括：（1）摄像装置采集视频发送至处理器，并在显示装置上显示出来；（2）处理器对所采集到的视频逐帧进行人脸检测分析，只获取接近视频中间位置的最大的一个人脸；（3）对每一帧检测到的人脸通过算法定位出若干个特征点位的坐标；（4）对这个人脸在一个时间片段内的每一帧的人脸图像进行若干个特征点围合的区域的像素RGB值提取并进行时间序列分析处理形成体征分析波形数据；（5）将体征分析波形数据以及人脸图像发送给体征分析服务进行相关体征指标的深度学习得到该人的相关体征指标。进一步地，还包括记录体征指标的过程，具体包括，对当前人脸在客户群人脸库中进行比对，得到客户号，将步骤（5）得到的体征指标记录在该客户号的体征数据记录表中。进一步地，视频通信的发起者是前端设备或者手机设备。进一步地，在进行视频通信时，前端设备或手机设备是视频通信的客户端，客户端在视频通信上进行注册并保持注册状态。进一步地，客户端的注册过程包括：（1）为每个客户端分配一个唯一的客户端识别号；（2）客户端运行时，向视频通信服务云发起注册申请，注册申请包含当前客户端的客户端识别号和客户端IP地址等注册信息；（3）视频通信服务云根据注册信息生成客户端状态表；（4）客户端定期向视频通信服务云发起心跳信息，视频通信服务云接收到心跳信息后刷新客户端状态表。进一步地，客户端发起视频通信的过程包括：（1）在客户端配置联系人列表，并为联系人列表中的联系人绑定按键；（2）当前客户端通过视频通信服务云向另一个客户端发起视频通信连接请求；（3）另一个客户端反馈当前状态信息，如果当前状态处于呼叫中或者通话中，则反馈连接失败信息；如果当前状态无应答，则反馈IP地址等信息。本专利技术的有益效果是：本专利技术基于现有技术中的一些应用，将视频采集技术和人脸分析技术结合起来进行人体的体征特征分析，获取相关指标，与此同时，本专利技术还通过视频通信服务云为所有注册的客户端提供一对一或者一对多的视频通信服务，通过视频通信服务云，将任意两个客户端连接起来，便于前端设备和手机app进行互联，这样，使用前端设备的老人或者小孩可以通过这种服务和成人的手机app直接连接，便于交流通信，此外，前端设备还可以通过摄像装置采集到的视频分析智能设备使用者的体征表现，并能够通过通信服务将这些体征信息发送给手机app，让手机app的使用者也可以随时了解。附图说明图1是本专利技术的整体结构图。图2是前端设备的示意图。图3是人脸采集的示意图。图4是客户端状态表的示意图。图5是客户端在视频通信服务云上注册的流程图。图6是客户端发起视频通信的流程图。图7是客户端在体征分析时注册的流程图。图8是体征分析的流程图。图9是查询流程图。具体实施方式以下参照附图对本专利技术的技术方案做进一步详细说明，应当指出的是，实施例只是对本专利技术的详细阐述，并不是对本专利技术的限定。参照附图1。本专利技术提供一种融合视频通信与体征分析的系统，包括：至少一个前端设备和至少一个手机设备，在图中所示为两个前端设备和两个手机设备，前端设备分别连接至体征分析服务，前端设备可以采集视频并根据视频中的人脸识别进行相应的体征分析，前端设备还分别连接到视频通信服务，手机设备也分别连接到视频通信服务，也就是说，前端设备和手机设备之间能够通过视频通信服务进行视频通信。如图2所示，前端设备包括摄像装置、显示装置、音频装置、按键装置和处理器，摄像装置、显示装置、音频装置和按键装置均连接至处理器，处理器能够通过有线或者无线的方式连接至互联网网络，其中处理器用于进行体征分析，也用于和视频通信进行信号交互。在前端设备中，按键装置包括预设按键和体征分析触发按键，按键可以是实体按键，也可以是设置在触摸显示屏上的虚拟按键，预设按键可以设定某个参数值，按下按键直接对应该参数值，设置体征分析触发按键，按下或者触摸该按键即可进行体征分析，这让体征分析成为一个可选择的模式。摄像装置是具有一定分辨率（例如720p、1080p或者更高分辨率）的普通摄像头。显示屏可以是各种分辨率的普通显示屏，也可以使只能显示的显示屏，也可以是触摸交互操作的触摸显示屏。如图3所示，是一个前端设备通过摄像头采集视频并对视频进行分割处理的过程。具体来说，前端设备通过摄像头采集视频，并在显示屏上显示，前端设备的处理器上运行的程序对采集的视频逐帧进行人脸检测，如果只分析出一个人脸，则采集此人脸图像作为人脸分析的基础，如果检测出多个人脸，那么取最接近视频中间位置的最大的一个人脸，对每一帧检测到的人脸通过算法定位出若干个特征点位的坐标，对这个人脸在一个时间片段内的每一帧的人脸图像进行若干个特征点围合的区域的像素RGB值提取并进行时间序列分析处理形成体征分析波形数据，这个时间片段可以任意设置，比如10s、30s、若干分钟，每一秒的视频帧数可以是25帧也可以是30帧，并且是平均分布，人脸的特征点位根据体征分析需要确定，特征点位的选择可以根据需要来确定，例如图3中人脸部分所示的一些特征点位，可以包括眼部的特征点位、口部的特征点位、耳部的特征点位等，不同的特征点位可以根据需要用于检测不同的体征指标。体征分析服根据体征分析波形数据得到该人的相关体征指标，体征指标包括心率、呼吸率、心理压力、血压等。体征分析服务内部有深度学习算法，并事先根据需要检测的体征指标进行了相关深度学习建模和大量的样本学习。视频通信服务负责前端设备与前端设备之间或者前端设备与手机app之间进行视频通信桥接。视频通信服务的发起者可以是前端设备也可以是手机APP，前端设备和手机app需要实时在视频通信服务上进行注册和保持注册状态。通过视频通信服务云，前端设备与前端设备之间或者前端设备与手机app之间可以双向发起视频通信。前端设备和手机app都可以作为客户端，图5所示是客户端在视频通信服务云上的注册过程，具体包括：（1）为每个客户端分配一个唯一的客户端识别号；（2）客户端运行（前端设备上电或者手机app运行）时，向视频通信服务云发起本文档来自技高网...

【技术保护点】
1.一种融合视频通信与体征分析的系统，其特征是，包括：至少一个前端设备，前端设备包括摄像装置、显示装置、音频装置、按键装置和处理器，摄像装置、显示装置、音频装置和按键装置均连接至处理器，处理器能够通过有线或者无线的方式连接至互联网网络；手机设备：能够与前端设备互联并建立数据通信；前端设备和手机设备之间能够进行视频通信，前端设备能够根据摄像装置所采集到的图像进行体征分析。

【技术特征摘要】
1.一种融合视频通信与体征分析的系统，其特征是，包括：至少一个前端设备，前端设备包括摄像装置、显示装置、音频装置、按键装置和处理器，摄像装置、显示装置、音频装置和按键装置均连接至处理器，处理器能够通过有线或者无线的方式连接至互联网网络；手机设备：能够与前端设备互联并建立数据通信；前端设备和手机设备之间能够进行视频通信，前端设备能够根据摄像装置所采集到的图像进行体征分析。2.根据权利要求1所述的一种融合视频通信与体征分析的系统，其特征是，按键装置包括预设按键和体征分析触发按键。3.根据权利要求1所述的一种融合视频通信与体征分析的系统，其特征是，摄像装置是具有一定分辨率的普通摄像头。4.根据权利要求1所述的一种融合视频通信与体征分析的系统，其特征是，显示屏是普通显示屏或者触摸显示屏。5.根据权利要求1所述的一种融合视频通信与体征分析的系统，其特征是，前端设备进行体征分析的过程包括：（1）摄像装置采集视频发送至处理器，并在显示装置上显示出来；（2）处理器对所采集到的视频逐帧进行人脸检测分析，只获取接近视频中间位置的最大的一个人脸；（3）对每一帧检测到的人脸通过算法定位出若干个特征点位的坐标；（4）对这个人脸在一个时间片段内的每一帧的人脸图像进行若干个特征点围合的区域的像素RGB值提取并进行时间序列分析处理形成体征分析波形数据；（5）将体征分析波形数据以及人脸图像发送给体征分析服务得到该人的相关体征指标。6.根据权利要...

【专利技术属性】
技术研发人员：俞杰，俞江峰，朱伟平，石旭刚，
申请(专利权)人：杭州中威电子股份有限公司，
类型：发明
国别省市：浙江,33