基于人工智能的书写行为的识别方法及装置制造方法及图纸

本发明专利技术提供了基于人工智能的书写行为的识别方法及装置，包括：实时获取采集的需要进行书写行为识别的图像数据；通过基于Densenet结构的卷积神经网络的图像目标识别深度学习神经网络模型，或者基于Resnet或vgg或darknet结构的图像识别主干网络，对所述图像数据中的书写工具进行定位，按照时间顺序逐帧提取书写工具以及书写工具附近区域的图像序列；利用基于Densenet结构的深度学习神经网络模型，对提取的图像序列进行书写行为状态的识别并输出。本发明专利技术实施例实现了对书写行为的识别，提高了行为识别的准确性，更好的满足用户的需求，改善了用户体验。

【技术实现步骤摘要】
基于人工智能的书写行为的识别方法及装置
本专利技术涉及人工智能
，具体涉及基于人工智能的书写行为的识别方法及装置。
技术介绍
人工智能(ArtificialIntelligence，简称AI)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。随着互联网技术的普及和人工智能化的发展，人工智能在行为识别应用中也变得逐渐重要。传统的行为识别主要依靠专人监控，眼睛盯住监控画面进行分析，因此，这种行为识别方式耗时耗力、人工成本高、而且受人的主观因素影响较大，容易漏看监控画面中的可疑情况，因此无法准确的判断行为动作。
技术实现思路
本申请提供一种基于人工智能的书写行为的识别方法及装置，旨在解决现有行为识别技术耗时耗力、人工成本高，易判错的问题，进而实现对书写行为的识别。本申请的第一方面的实施例中提出一种基于人工智能的书写行为的识别方法，包括：实时接收采集的需要进行书写行为识别的图像数据；对所述图像数据按照时间顺序提取书写工具以及书写工具附近区域的图像序列；利用预设的深度学习神经网络模型，对提取的图像序列进行书写行为状态的识别并输出。进一步地，实时接收采集的需要进行书写行为识别的图像数据，进一步包括：接收图像采集设备实时采集的图像数据，所述图像数据中包括多个交互主体。进一步地，对所述图像数据按照时间顺序提取书写工具的图像序列，进一步包括：按照时间顺序获取一组连续的图像数据；识别出每一帧图像数据中多个交互主体中的书写工具，将所述书写工具作为交互焦点；对每帧图像数据的所述交互焦点进行定位，提取所述交互焦点的图像序列，获取所述交互焦点的运动轨迹。进一步地，对所述图像数据按照时间顺序提取书写工具附近区域的图像序列，进一步包括：按照时间顺序提取一组连续的图像数据；识别出每一帧图像数据中多个交互主体中的书写工具，将所述书写工具作为交互焦点；对每帧图像数据的所述交互焦点进行定位，提取所述交互焦点附近预设范围内的焦点区域图像，获取所述交互焦点区域的图像序列。进一步地，所述深度学习神经网络模型采用循环神经网络模型，训练循环神经网络模型包括：构建循环神经网络，获取并标记多个所述图像序列，将标记的所述图像序列输入到所述循环神经网络中，在时间演进方向进行数据循环反馈和传递，输出识别结果。进一步地，所述深度学习神经网络模型采用三维卷积神经网络模型，训练所述三维卷积神经网络模型包括：构建三维卷积神经网络，获取多个所述图像序列，将多个图像序列将作为一个三维数据整体输入到所述三维卷积神经网络中，并将时间轴作为第三维度，输出所述时间轴上的任意刻度的识别结果。本申请的第二方面的实施例中提出一种基于人工智能的书写行为的识别装置，采用如上述任意一项所述的基于人工智能的书写行为的识别方法，包括：获取模块、提取模块、处理模块，所述获取模块用于实施获取采集的需要进行书写行为识别的图像数据；所述提取模块用于对所述图像数据按照时间顺序提取书写工具以及书写工具附近区域的图像序列；所述处理模块用于利用预设的深度学习神经网络模型，对提取的图像序列进行书写行为识别并输出。进一步地，所述处理模块包括第一提取模块和第二提取模块。所述第一提取模块用于按照时间顺序获取一组连续的图像数据；识别出每一帧图像数据中多个交互主体中的书写工具，将所述书写工具作为交互焦点；对每帧图像数据的所述交互焦点进行定位，提取所述交互焦点的图像序列，获取所述交互焦点的运动轨迹；所述第二提取模块用于按照时间顺序提取一组连续的图像数据；识别出每一帧图像数据中多个交互主体中的书写工具，将所述书写工具作为交互焦点；对每帧图像数据的所述交互焦点进行定位，提取所述交互焦点附近预设范围内的焦点区域图像，获取所述交互焦点区域的图像序列。本申请的第三方面的实施例中提出一种终端设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如第一方面提出的基于人工智能的书写行为的识别方法。本申请的第四方面的实施例中提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如第一方面提出的基于人工智能的书写行为的识别方法。相比现有技术，本申请实施例的通过提取若干图像序列，并输入到深度学习神经网络模型中，实现了对书写行为的识别，提高了行为识别的准确性，更好的满足用户的需求，改善了用户体验。附图说明图1为本专利技术一种实施例的基于人工智能的书写行为的识别方法流程图；图2为本专利技术一种实施例的卷积网络神经识别原理图；图3为本专利技术一种实施例的循环神经网络模型RNN结构示意图；图4为本专利技术一种实施例的循环神经网络模型RNN识别原理图；图5为本专利技术一种实施例的三维卷积神经网络模型结构示意图；图6为本专利技术一种实施例的三维卷积神经网络模型RNN识别原理图；图7位本专利技术一种实施例的基于人工智能的书写行为的识别系统结构框图。图8为本专利技术一种实施例的基于人工智能的书写行为的识别装置结构图；具体实施方式下面详细描述本专利技术的实施例，该实施例在附图中标识，其中自始至终相同或者类似的标号标识相同或类似的元件或者具有相同的类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在解释本专利技术，而不是理解为对本专利技术的限制。具体地，本专利技术各实施例旨在针对现有技术中，行为识别主要依靠人为识别，然而人为识别耗时耗力、人工成本高、错误率大的问题，提出了一种基于人工智能的书写行为的识别方法。本申请实施例提供的基于人工智能的书写行为的识别方法，通过获取一段连续的以时间先后为顺序的图像数据，利用训练的深度神经网络模型，对书写行为进行识别，提高了书写行为的准确性，更好的满足用户的需求，改善用户的体验。下面参量附图描述本专利技术实施例的基于人工智能的书写行为的识别方法及装置。实施例一参考图1所示，本实施例提供了一种基于人工智能的书写行为的识别方法，可以包括如下步骤。步骤101，实时获取采集的需要进行书写行为识别的图像数据。本专利技术实施例提供的基于人工智能的书写行为的识别主体为本专利技术实施例提供的基于人工智能的书写行为的识别装置，该装置上配置有图像采集设备，可以实时采集图像数据，因此，该装置可以被配置在任意的有图像采集功能的终端设备中，以实现对书写行为进行识别。进一步地，本实施例实时获取图像采集设备实时采集图像数据，图像数据中包括多个交互主体。图像数据中至少包括书写工具、书写介质以及手之类的交互主体，手握着书写工具在书写介质上进行书写行为。本实施例的目的在于通过图像采集设备本文档来自技高网...

【技术保护点】
1.基于人工智能的书写行为的识别方法，其特征在于，所述方法包括：/n实时获取采集的需要进行书写行为识别的图像数据；/n通过基于Densenet结构的卷积神经网络的图像目标识别深度学习神经网络模型，或者基于Resnet或vgg或darknet结构的图像识别主干网络，对所述图像数据中的书写工具进行定位，按照时间顺序逐帧提取书写工具以及书写工具附近区域的图像序列；/n利用基于Densenet结构的深度学习神经网络模型，对提取的图像序列进行书写行为状态的识别并输出。/n

【技术特征摘要】
1.基于人工智能的书写行为的识别方法，其特征在于，所述方法包括：
实时获取采集的需要进行书写行为识别的图像数据；
通过基于Densenet结构的卷积神经网络的图像目标识别深度学习神经网络模型，或者基于Resnet或vgg或darknet结构的图像识别主干网络，对所述图像数据中的书写工具进行定位，按照时间顺序逐帧提取书写工具以及书写工具附近区域的图像序列；
利用基于Densenet结构的深度学习神经网络模型，对提取的图像序列进行书写行为状态的识别并输出。


2.如权利要求1所述的基于人工智能的书写行为的识别方法，其特征在于，实时获取采集的需要进行书写行为识别的图像数据，进一步包括：
获取图像采集设备实时采集的图像数据，所述图像数据中包括多个交互主体。


3.如权利要求2所述的基于人工智能的书写行为的识别方法，其特征在于，对所述图像数据按照时间顺序提取书写工具的图像序列，进一步包括：
按照时间顺序逐帧获取一组连续的图像数据；识别出每一帧图像数据中多个交互主体中的书写工具，将所述书写工具作为交互焦点；对每帧图像数据的所述交互焦点进行定位，提取所述交互焦点的图像序列，获取所述交互焦点的运动轨迹。


4.如权利要求3所述的基于人工智能的书写行为的识别方法，其特征在于，对所述图像数据按照时间顺序逐帧提取书写工具附近区域的图像序列，进一步包括：
按照时间顺序逐帧提取一组连续的图像数据；识别出每一帧图像数据中多个交互主体中的书写工具，将所述书写工具作为交互焦点；对每帧图像数据的所述交互焦点进行定位，提取所述交互焦点附近预设范围内的焦点区域图像，获取所述交互焦点区域的图像序列。


5.如权利要求4所述的基于人工智能的书写行为的识别方法，其特征在于，所述深度学习神经网络模型采用循环神经网络模型，训练循环神经网络模型包括：
构建循环神经网络，获取并标记多个所述图像序列，将标记的所述图像序列输入到所述循环神经网络中，在时间演进方向进行数据循环反馈和传递，输出识别结果。


6.如权利要求4所述的基于人工智能的书写行为的识别方法，其特征在于...

【专利技术属性】
技术研发人员：高旻昱，
申请(专利权)人：上海翎腾智能科技有限公司，
类型：发明
国别省市：上海;31