本发明专利技术公开了一种支持实时背景替换的居家办公视频监控方法及系统，其方法步骤如下：客户端用户通过电脑登录推流客户端程序，登录成功后客户端用户工作状态由离线更新为在线；客户端用户点击工作按钮，监控模块会向客户端用户申请摄像头权限，客户端用户授权摄像头权限后，监控模块会实时采集客户端用户的摄像头视频流。本发明专利技术能够采集、处理和分析多个监控视频流，对视频中的人员进行实时前景分割以及背景替换，并且对当前所有监控进行信息汇总与可视化，能够实时提供员工的监控信息和考勤数据，解决了员工居家办公时监管困难的问题，同时确保了监控内容的实时性、隐私性和安全性，对公司居家办公考勤管理有很大的帮助。对公司居家办公考勤管理有很大的帮助。对公司居家办公考勤管理有很大的帮助。
【技术实现步骤摘要】
一种支持实时背景替换的居家办公视频监控方法及系统
[0001]本专利技术涉及图像与视频处理
，具体来说，涉及一种支持实时背景替换的居家办公视频监控方法及系统。
技术介绍
[0002]现阶段疫情在全世界范围内大流行，少接触、少聚集成为人们在生产生活上新的要求。为了响应国家号召，维护社会安全稳定，不少企事业单位开始实行员工居家办公的政策，这点以从属于第三产业的客服人员尤为明显,然而工作效率低、监管困难一直都是居家办公模式下最大的痛点。目前对居家办公的客服人员的监管手段以上下班打卡、写日报周报、不定期的抽查回复等
ꢀ“
弱监控”为主，这种方法十分依赖管理人员的经验，耗费人力并且收效甚微。为了方便对居家客服人员的监管以及提升居家办公效率，我们采取了能够满足实时视频监控的“强监控”系统。这种监控系统支持将摄像头采集的画面送至监管端实时播放，在明厨系统、安防监控领域广泛应用。但考虑到客服居家办公场景的特殊性，对其直接监控势必会带来隐私安全的问题，因此我们依托人工智能相关技术的发展，在监控系统中增加背景替换功能，避免客服居家环境直接暴露在网络之中，以解决该“强监控”系统中存在的隐私性、安全性问题。
[0003]目前，实现背景替换常用的方法有绿幕抠图、交互式抠图以及基于深度学习的抠图。绿幕抠图使用固定的绿幕背景，通过RGB色彩阈值进行分割。该方法费时费力，制作周期长，并且对场地以及设备有所要求。因此绿幕抠图在使用时限制较多，适用性较差。交互式抠图是使用交互式计算来获取更多的先验信息来计算不透明度通道az，常见的包括GrabCut算法和LazySnapping算法。交互式抠图算法需要较多的先验信息，而且对前景以及背景的手工标注消耗大量精力，同时还存在不同人标记的个体差异，导致交互式抠图准确率不高，无法满足复杂背景的抠图以及实时抠图任务，使得该方式在处理视频流形式的抠图任务时变得极为困难。
[0004]针对上述问题，目前还没有有效的解决办法。
技术实现思路
[0005]针对相关技术中的上述技术问题，本专利技术提出一种支持实时背景替换的居家办公视频监控方法及系统，能够克服现有技术的上述不足。
[0006]为实现上述技术目的，本专利技术的技术方案是这样实现的：一种支持实时背景替换的居家办公视频监控方法，包括如下步骤：S1客户端用户通过电脑登录推流客户端程序，登录成功后客户端用户工作状态由离线更新为在线；S2客户端用户点击工作按钮，监控模块会向客户端用户申请摄像头权限，客户端用户授权摄像头权限后，监控模块会实时采集客户端用户的摄像头视频流，与此同时客户端用户工作状态由在线修改为工作中；
S3监控模块对采集的实时视频流进行编码、封装打包处理，将视频帧数据送至算法模块；S4 算法模块对视频帧实时处理并返回给监控模块；S5 监控模块将处理结果使用RTMP协议推送到流媒体服务器；S6 流媒体服务器进行协议转换，将RTMP协议转为WebRTC协议，并向监控平台提供Web页面拉流能力，同时将处理后的实时视频流录制持久化到数据库；S7 系统可视化模块获得数据，将结果渲染到UI界面，向监管人员实时展示当前监控情况。
[0007]进一步地，S4中的算法模块包括预处理、前景分割、图像融合，其具体步骤如下：S41 将采集设备捕获的实时视频流进行编解码预处理；S42 对缓存的视频帧进行前景分割，得到人物掩膜及前景图像；S43 将人物前景与预设的背景图像进行图像融合，得到进行背景替换后的视频帧；S44 将背景替换后的视频帧进行封装、打包、传输。
[0008]进一步地，所述算法模块采用轻量化网络以及模型压缩技巧降低计算复杂度确保在计算资源不足下正常工作。
[0009]进一步地，S7中的所述数据包括客户端用户的视频流信息、基本信息、考勤信息和统计信息。
[0010]一种支持实时背景替换的居家办公视频监控系统，包括：推流客户端、流媒体服务器、数据库和监控平台端，所述推流客户端包括登录模块、监控模块和算法模块，所述数据库包括数据持久化模块，所述监控平台包括业务处理模块和系统可视化模块；所述登录模块，用于负责客户端用户登录客户端程序；所述监控模块，用于采集客户端用户电脑摄像头视频，实时获取视频流的最新帧图像，发送至算法模块进以对视频帧进行背景替换处理，同时将相关参数存储至数据持久化模块；所述算法模块：用于从监控模块中获取实时视频帧，对实时视频帧进行图像预处理后送入语义分割网络算法中进行实时分割，并将分割结果与预提供的背景图融合绘制到最新帧图像上；所述流媒体服务器，用于负责接收算法模块处理后的视频流，并将流媒体协议由RTMP转码为WebRTC，向监控平台提供Web页面拉流能力，同时将处理后的实时视频流录制持久化至数据库；所述数据持久化模块，用于存储客户端用户电脑摄像头采集并经算法处理后的视频流数据，为监控平台提供数据支持，同时为后续的监控视频回放提供支撑；所述业务处理模块，用于实现监控平台用户功能需求，将底层业务逻辑封装为API接口函数供可视化模块调用；所述系统可视化模块，用于向业务处理模块请求客户端用户的相关信息，拉取算法模块处理后的结果视频流展示到前端，向监管人员实时展示被客户端用户的当前行为状态，同时向业务处理模块请求客户端用户工作状态统计信息并进行排行展示。
[0011]进一步地，所述算法模块包括实时背景替换算法模型。
[0012]进一步地，所述数据持久化模块采用文件系统存储视频流数据，采用MySQL数据库存储结构化数据。
[0013]进一步地，所述业务处理模块的功能包括账号管理功能、数据整合统计、工作状态切换功能及条件检索功能。
[0014]进一步地，所述底层业务逻辑包括图像算法处理的视频流和已有数据的获取方式。
[0015]本专利技术的有益效果：本专利技术能够采集、处理和分析多个监控视频流，对视频中的人员进行实时前景分割以及背景替换，并且对当前所有监控进行信息汇总与可视化，能够实时提供员工的监控信息和考勤数据，解决了员工居家办公时监管困难的问题，同时确保了监控内容的实时性、隐私性和安全性，对公司居家办公考勤管理有很大的帮助。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是根据本专利技术实施例所述的支持实时背景替换的居家办公视频监控方法及系统的宏观整体架构图；图2是根据本专利技术实施例所述的支持实时背景替换的居家办公视频监控方法的工作流程图；图3是根据本专利技术实施例所述的支持实时背景替换的居家办公视频监控方法的推流客户端推流过程示意图；图4是根据本专利技术实施例所述的支持实时背景替换的居家办公视频监控方法的推流客户端整个生命周期中的人员状态变换示意图；图5是根据本专利技术实施例所述的支持实时背景替换的居家办公视频监控系统的结构示意图；图6是根本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种支持实时背景替换的居家办公视频监控方法，其特征在于，包括如下步骤：S1客户端用户通过电脑登录推流客户端程序，登录成功后客户端用户工作状态由离线更新为在线；S2客户端用户点击工作按钮，监控模块会向客户端用户申请摄像头权限，客户端用户授权摄像头权限后，监控模块会实时采集客户端用户的摄像头视频流，与此同时客户端用户工作状态由在线修改为工作中；S3监控模块对采集的实时视频流进行编码、封装打包处理，将视频帧数据送至算法模块；S4 算法模块对视频帧实时处理并返回给监控模块；S5 监控模块将处理结果使用RTMP协议推送到流媒体服务器；S6 流媒体服务器进行协议转换，将RTMP协议转为WebRTC协议，并向监控平台提供Web页面拉流能力，同时将处理后的实时视频流录制持久化到数据库；S7 系统可视化模块获得数据，将结果渲染到UI界面，向监管人员实时展示当前监控情况。2.根据权利要求1所述的支持实时背景替换的居家办公视频监控方法，其特征在于，S4中的算法模块包括预处理、前景分割、图像融合，其具体步骤如下：S41 将采集设备捕获的实时视频流进行编解码预处理；S42 对缓存的视频帧进行前景分割，得到人物掩膜及前景图像；S43 将人物前景与预设的背景图像进行图像融合，得到进行背景替换后的视频帧；S44 将背景替换后的视频帧进行封装、打包、传输。3.根据权利要求2所述的支持实时背景替换的居家办公视频监控方法，其特征在于，所述算法模块采用轻量化网络以及模型压缩技巧降低计算复杂度确保在计算资源不足下正常工作。4.根据权利要求1所述的支持实时背景替换的居家办公视频监控方法，其特征在于，S7中的所述数据包括客户端用户的视频流信息、基本信息、考勤信息和统计信息。5.一种支持实时背景替换的居家办公视频监控系统，其特征在于，包括：推流客户端、流媒体服务器、数据库和监控平台端，所述推流客户端包括登录模块、监控模块和算法模块，所述数据库包括数据持久化模块...
【专利技术属性】
技术研发人员：乔秀全，孙譞，李鹏，黄亚坤，商彦磊，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。