多模态智能监控的方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及一种多模态智能监控的方法、装置、电子设备及存储介质。多模态智能监控方法包括步骤：S1、采用摄像头对准待监控屏幕进行拍摄，向图像识别模块输出视频流；S2、图像识别模块获得视频流之后，对图片根据包括全部识别、用户自定义的识别规则进行处理，输出图像识别后的包括屏幕位置、区域像素值、图片或者识别区域输出的各种文字和数字的数据信息；S3、计算通知模块汇总收集图像识别模块输出的数据信息，依据识别规则进行处理；S4、计算通知模块需要发起用户通知时，调用鉴权操作模块进行鉴权，通过用户鉴权认证，确认发送通知后，则触发和发起告警/预警通知。依据本发明专利技术的多模态智能监控的方法能够打通系统间的壁垒，实现智能监控。智能监控。智能监控。

【技术实现步骤摘要】
多模态智能监控的方法、装置、电子设备及存储介质


[0001]本专利技术涉及智能监控领域，具体而言，涉及一种基于数据可视化大屏分析的多模态智能监控的方法、装置、电子设备及存储介质。

技术介绍

[0002]对目前市面广泛应用的智能大屏，各种报表，控台系统进行智能监控，具体是指使用摄像头对各个系统的显示大屏进行监控。市场上各类数字化大屏建设多，由此产生的监控需求大，且各类业务系统和管理视图变化快，新增指标和指数繁多，如采取人力监控或者系统对接的方式进行监控，不但投入资源多，人力和系统对接成本高，还不能灵活的改变监控目标，难以适应监控目标的快速变化。并且安全和环境因素会导致系统对接成本巨大，如需多个系统的多个参数同时作为监控输入，并把这些输入进行变化计算才能得出监控结果，基本变成了“不可能完成的任务”。
[0003]目前，传统监控的识别和告警大多为如下流程：先对被监控系统进行分析，决定监控目标和参数，如被监控系统因为安全、网络、业务等原因，不能对外自动化提供数据，则必须此系统进行改造，增加显示页面，采取人工监控的方式来进行监控；如被监控系统可以改造，则可进行接口对接，通过监控系统和被监控系统的改造和对接，获得监控目标，当监控目标到达阈值后，监控系统即可采取告警，此类监控系统大多会对接多个系统进行综合显示，后续通过人工方式进行告警。不能实现自动智能监控。
[0004]因此，为了减少监控系统的人力和资源投入，并能随意定义监控条件和阈值，并打通系统间的壁垒，需要有一种能突破“系统高墙”，自定义规则的“所见即所得”的智能监控系统。

技术实现思路

[0005]本专利技术要解决的技术问题是如何为了减少监控系统的人力和资源投入来对各个系统的显示大屏进行监控，如何能定义监控条件和阈值，并打通系统间的壁垒，实现智能监控。
[0006]为解决上述技术问题，根据本专利技术的一个方面，提供一种多模态智能监控的方法，基于包括图像识别模块、计算通知模块、健全操作模块的装置实现，以对数据可视化大屏进行分析。多模态智能监控的方法包括如下步骤：S1、采用外置摄像头或者笔记本电脑自带摄像头对准待监控屏幕进行拍摄；或者采用浏览器打开多个系统，从而以单屏显示多系统页面或同时监控多块屏幕；进而向图像识别模块输出视频流；S2、图像识别模块获得视频流之后，根据业务配置需求的时间周期，截取视频流中图像，生成图片；进而，对图片根据包括全部识别、用户自定义的识别规则进行处理，输出图像识别后的包括屏幕位置、区域像素值、图片或者识别区域输出的各种文字和数字的数据信息；S3、计算通知模块汇总收集图像识别模块输出的数据信息，依据识别规则进行处理，如规则为全部识别，则根据NLP(Natural Language Processing，自然语言处理)来确定语义是否含有错误和异常告警，如规则是用
户自定义识别则根据某区域为告警色进行预警，某位置的数字和另一块区域的数字乘积超过阈值预设情况应发起通知，保证第一时间通知用户；S4、计算通知模块需要发起用户通知时，调用鉴权操作模块进行鉴权，通过图像识别模块观测监控数据是否变化，如操作有风险，则需要用户登录鉴权操作模块进行闭环操作，通过用户鉴权认证，确认发送通知后，则触发和发起告警/预警通知。
[0007]根据本专利技术的实施例，步骤S2中，采用摄像头监控时，可根据画面变动情况即时生成图片，如画面无变动，则根据一定的时间间隔生成图片，如画面有变动时，即时生成图片，并采用opencv进行图像识别。
[0008]根据本专利技术的实施例，步骤S3中，还可包括：当计算通知模块收集到监控信息数据之后，清除其中的无效数据。
[0009]根据本专利技术的实施例，步骤S2中，其中，识别规则为全部识别时，全部识别输出可为图像中出现的包含数字和相关特殊字符的所有文字信息；识别规则为用户自定义时，可包括三种模式：用户选择识别区域，则输出识别区域内的文字；用户定义采集点，输出采集点的像素值，并给出此采集点的颜色信息；用户选择识别区域，输出识别区域内的色块的像素值以及色卡在识别区域内的占比大小。
[0010]根据本专利技术的实施例，其中，用户选择识别区域时，选择区域的方式可包括矩形、圆形、椭圆的选择框或用户画线的封闭图形。
[0011]根据本专利技术的实施例，步骤S3中，其中，识别规则为全部识别时，则可采用NLP技术进行语义分析，如语义判断有告警和异常需求，则可进行告警；识别规则为用户自定义时，包括三种模式：用户选择识别区域，则根据识别区域内的文字进行NLP分析；用户定义采集点，输出采集点的像素值，并给出此采集点的颜色如采集点颜色为红色，黄色或者用户自定义告警色，则告警；用户选择识别区域，输出识别区域内的色块的像素值以及色卡在识别区域内的占比大小，如色块占比超过用户预设阈值，则进行告警。
[0012]根据本专利技术的实施例，步骤S4可包括如下步骤：S41、在通知触达用户前，根据用户预设和NLP技术综合分析，判定是否风险操作；S42、如为无风险操作，可以进行用户预设的包括关闭某个设备和旁路系统、负载切换到备用服务器的自动化操作；如为风险操作，则需用户先进行鉴权，在用户通过微信或者短信接到通知之后，登录页面进行鉴权，最终由用户判断是否进行下一步操作，发起告警/预警通知。
[0013]根据本专利技术的第二个方面，提供一种多模态智能监控的装置，包括：图像识别模块，用于管理摄像头并进行图像识别和结构化数据；采用外置摄像头或者笔记本电脑自带摄像头对准待监控屏幕进行拍摄；或者采用浏览器打开多个系统，从而以单屏显示多系统页面或同时监控多块屏幕；进而向图像识别模块输出视频流；图像识别模块获得视频流之后，根据业务配置需求的时间周期，截取视频流中图像，生成图片；对图片根据包括全部识别、用户自定义的识别规则进行处理，输出图像识别后的包括屏幕位置、区域像素值、图片或者识别区域输出的各种文字和数字的数据信息；计算通知模块，用于汇总收集图像识别模块输出的各种信息，依据识别规则进行处理，确认是否需要发出告警/预警的通知；计算通知模块汇总收集图像识别模块输出的数据信息，依据识别规则进行处理，如规则为全部识别，则根据NLP来确定语义是否含有错误和异常告警，如规则是用户自定义识别则根据某区域为告警色进行预警，某位置的数字和另一块区域的数字乘积超过阈值预设情况应发起
通知，保证第一时间通知用户；鉴权操作模块，用于用户鉴权，进行闭环操作，鉴权通过后发出告警/预警的通知；计算通知模块需要发起用户通知时，调用鉴权操作模块进行鉴权，通过图像识别模块观测监控数据是否变化，如操作有风险，则需要用户登录鉴权操作模块进行闭环操作，通过用户鉴权认证，确认发送通知后，则触发和发起告警/预警通知。
[0014]根据本专利技术的第三个方面，提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的多模态智能监控程序，多模态智能监控程序被处理器执行时实现上述的多模态智能监控方法的步骤。
[0015]根据本专利技术的第四个方面，提供一种计算机存储介质，其中，计算机存储介质上存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态智能监控的方法，基于包括图像识别模块、计算通知模块、健全操作模块的装置实现，以对数据可视化大屏进行分析，所述多模态智能监控的方法包括如下步骤：S1、采用外置摄像头或者笔记本电脑自带摄像头对准待监控屏幕进行拍摄；或者采用浏览器打开多个系统，从而以单屏显示多系统页面或同时监控多块屏幕；进而向图像识别模块输出视频流；S2、图像识别模块获得视频流之后，根据业务配置需求的时间周期，截取视频流中图像，生成图片；进而，对图片根据包括全部识别、用户自定义的识别规则进行处理，输出图像识别后的包括屏幕位置、区域像素值、图片或者识别区域输出的各种文字和数字的数据信息；S3、计算通知模块汇总收集图像识别模块输出的数据信息，依据识别规则进行处理，如规则为全部识别，则根据NLP来确定语义是否含有错误和异常告警，如规则是用户自定义识别则根据某区域为告警色进行预警，某位置的数字和另一块区域的数字乘积超过阈值预设情况应发起通知，保证第一时间通知用户；S4、计算通知模块需要发起用户通知时，调用鉴权操作模块进行鉴权，通过图像识别模块观测监控数据是否变化，如操作有风险，则需要用户登录鉴权操作模块进行闭环操作，通过用户鉴权认证，确认发送通知后，则触发和发起告警/预警通知。2.如权利要求1所述的方法，步骤S2中，采用摄像头监控时，根据画面变动情况即时生成图片，如画面无变动，则根据一定的时间间隔生成图片，如画面有变动时，即时生成图片，并采用opencv进行图像识别。3.如权利要求1所述的方法，步骤S3中，还包括：当计算通知模块收集到监控信息数据之后，清除其中的无效数据。4.如权利要求1所述的方法，步骤S2中，其中，识别规则为全部识别时，全部识别输出为图像中出现的包含数字和相关特殊字符的所有文字信息；识别规则为用户自定义时，包括三种模式：用户选择识别区域，则输出识别区域内的文字；用户定义采集点，输出采集点的像素值，并给出此采集点的颜色信息；用户选择识别区域，输出识别区域内的色块的像素值以及色卡在识别区域内的占比大小。5.如权利要求4所述的方法，其中，用户选择识别区域时，选择区域的方式包括矩形、圆形、椭圆的选择框或用户画线的封闭图形。6.如权利要求4所述的方法，步骤S3中，其中，识别规则为全部识别时，则采用NLP技术进行语义分析，如语义判断有告警和异常需求，则进行告警；识别规则为用户自定义时，包括三种模式：用户选择识别区域，则根据识别区域内的文字进行NLP分析；用户定义采集点，输出采集点的像素值，并给出此采集...

【专利技术属性】
技术研发人员：贾泉臻，周涛，孙国斌，崔隆，周晓辉，吴仲文，李宏图，卢丹，朱运坤，
申请(专利权)人：号百信息服务有限公司，
类型：发明
国别省市：