智能笔图像处理方法、装置及电子设备制造方法及图纸

本公开实施例中提供了一种智能笔图像处理方法、装置及电子设备，属于数据处理技术领域，该方法包括：在智能笔处于工作状态时，监控设置于所述智能笔笔尖处的第二压力开关的工作状态；控制所述智能笔上的红外收发电路向所述智能笔书写的区域发送红外信号；利用预先设置的轻量化网络模型的第一部分，对所述原始图像进行特征计算；对所述第一特征图像与进行特征检索，得到所述原始图像所对应的轨迹鉴定结果；将轨迹向量通过所述智能笔上的蓝牙模块，发送给所述智能笔建立通信连接的目标对象，以便于在所述目标对象上实时的显示所述智能笔的书写轨迹。通过本公开的处理方案，能够降低智能笔图像处理的复杂度。

【技术实现步骤摘要】
智能笔图像处理方法、装置及电子设备
本公开涉及数据处理
，尤其涉及一种智能笔图像处理方法、装置及电子设备。
技术介绍
书写是一种很奇妙的体验，在纸上书写永远有着一种魅力，即便是在信息化时代，我们总有着一份渴望保存手写笔记的愿望。特别是在智慧教育方面，当电磁书写识别、红外点阵识别、超声波识别等黑科技融入到书写之中，便有了各式各样的智能书写笔。红外点阵识别是通过在普通的纸张上印上一层不可见的点阵图案，数码笔前端的高速摄像头随时捕捉笔尖的运动轨迹，同时压力传感器将压力数据传回数据处理器，最终将信息通过蓝牙或USB线向外传输至手机或平板，手机或平板对笔迹进行同步绘制。在对智能笔的书写轨迹进行识别的过程中，如何能够快速的对已经设定的不同类型的书写轨迹进行识别，是需要解决的问题。
技术实现思路
有鉴于此，本公开实施例提供一种智能笔图像处理方法、装置及电子设备，以至少部分解决现有技术中存在的问题。第一方面，本公开实施例提供了一种智能笔图像处理方法，包括：在智能笔处于工作状态时，监控设置于所述智能笔笔尖处的第二压力开关的工作状态；当监控到所述第二压力开关产生触发信号之后，控制所述智能笔上的红外收发电路向所述智能笔书写的区域发送红外信号，并同时以原始图像的形式采集所述红外信号在所述书写区域的反射信号；利用预先设置的轻量化网络模型的第一部分，对所述原始图像进行特征计算，得到第一特征图像；基于预先存储的代表不同类型书写轨迹的特征矩阵，对所述第一特征图像与进行特征检索，得到所述原始图像所对应的轨迹鉴定结果；在所述轨迹鉴定结果中添加当前的时间信息，形成基于时间排列的轨迹向量，并将所述轨迹向量通过所述智能笔上的蓝牙模块，发送给所述智能笔建立通信连接的目标对象，以便于在所述目标对象上实时的显示所述智能笔的书写轨迹。根据本公开实施例的一种具体实现方式，所述利用预先设置的轻量化网络模型的第一部分，对所述原始图像进行特征计算，包括：在所述网络模型的第一部分设置多个特征图；基于所述特征图，生成多个固定尺寸的目标对象检测框，每个检测框包含针对不同类型书写轨迹的预测值；基于所述预测值，确定所述原始图像上检测到的不同书写轨迹的类型。根据本公开实施例的一种具体实现方式，所述利用预先设置的轻量化网络模型的第一部分，对所述原始图像进行特征计算，还包括：对所述第一部分上的特征层设置多个滤波器，以便于基于所述卷积滤波器生成目标对象检测框中的预测值。根据本公开实施例的一种具体实现方式，所述基于预先存储的代表不同类型书写轨迹的特征矩阵，对所述第一特征图像与进行特征检索，包括：将所述特征矩阵作为所述轻量化网络模型中第二部分上最后一个卷积层的卷积核；利用所述卷积核与所述第二部分不同卷积层输出的特征图进行卷积计算，得到多个特征图；确定与所述多个特征图对应的多个基准窗，以便于对所述多个基准窗进行分类回归计算；基于所述分类回归计算的结果，确定所述原始图像上是否包含书写轨迹图像；在确定所述原始图像上包含书写轨迹之后，进一步确定书写轨迹在原始图像上的二维空间坐标。根据本公开实施例的一种具体实现方式，所述监控设置于所述智能笔笔尖处的第二压力开关的工作状态，包括：获取所述第二压力开关的压力信号值和压力信号频率；判断所述压力信号值和所述压力信号频率是否分别同时大于第一阈值和第二阈值；若是，则判定所述第二压力开关处于工作状态。根据本公开实施例的一种具体实现方式，所述以原始图像的形式采集所述红外信号在所述书写区域的反射信号，包括：启动所述智能笔上设置的红外摄像装置；按照预设的采样周期，控制所述红外摄像装置采集所述书写区域的反射信号，形成基于时间序列的反射信号向量；基于采集到的反射信号向量，形成所述原始图像。根据本公开实施例的一种具体实现方式，所述在所述轨迹鉴定结果中添加当前的时间信息，形成基于时间排列的轨迹向量，包括：在分类结果中获取轨迹的二维平面坐标值；在所述二维平面坐标值中添加当前时间值，形成三维轨迹信息；基于所述三维轨迹信息，形成所述基于时间排列的轨迹向量。第二方面，本公开实施例提供了一种智能笔图像处理装置，包括：监控模块，用于在智能笔处于工作状态时，监控设置于所述智能笔笔尖处的第二压力开关的工作状态；控制模块，用于当监控到所述第二压力开关产生触发信号之后，控制所述智能笔上的红外收发电路向所述智能笔书写的区域发送红外信号，并同时以原始图像的形式采集所述红外信号在所述书写区域的反射信号；计算模块，用于利用预先设置的轻量化网络模型的第一部分，对所述原始图像进行特征计算，得到第一特征图像；检索模块，用于基于预先存储的代表不同类型书写轨迹的特征矩阵，对所述第一特征图像与进行特征检索，得到所述原始图像所对应的轨迹鉴定结果；执行模块，用于在所述轨迹鉴定结果中添加当前的时间信息，形成基于时间排列的轨迹向量，并将所述轨迹向量通过所述智能笔上的蓝牙模块，发送给所述智能笔建立通信连接的目标对象，以便于在所述目标对象上实时的显示所述智能笔的书写轨迹。第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：至少一个处理器；以及，与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述第一方面或第一方面的任一实现方式中的智能笔图像处理方法。第四方面，本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的智能笔图像处理方法。第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述第一方面或第一方面的任一实现方式中的智能笔图像处理方法。本公开实施例中的智能笔图像处理方案，包括在智能笔处于工作状态时，监控设置于所述智能笔笔尖处的第二压力开关的工作状态；当监控到所述第二压力开关产生触发信号之后，控制所述智能笔上的红外收发电路向所述智能笔书写的区域发送红外信号，并同时以原始图像的形式采集所述红外信号在所述书写区域的反射信号；利用预先设置的轻量化网络模型的第一部分，对所述原始图像进行特征计算，得到第一特征图像；基于预先存储的代表不同类型书写轨迹的特征矩阵，对所述第一特征图像与进行特征检索，得到所述原始图像所对应的轨迹鉴定结果；在所述轨迹鉴定结果中添加当前的时间信息，形成基于时间排列的轨迹向量，并将所述轨迹向量通过所述智能笔上的蓝牙模块，发送给所述智能笔建立通信连接的目标对象，以便于在所述目标对象上实时的显示所述智能笔的书写轨迹。通过本公开的处理方案，提本文档来自技高网...

【技术保护点】
1.一种智能笔图像处理方法，其特征在于，包括：/n在智能笔处于工作状态时，监控设置于所述智能笔笔尖处的第二压力开关的工作状态；/n当监控到所述第二压力开关产生触发信号之后，控制所述智能笔上的红外收发电路向所述智能笔书写的区域发送红外信号，并同时以原始图像的形式采集所述红外信号在所述书写区域的反射信号；/n利用预先设置的轻量化网络模型的第一部分，对所述原始图像进行特征计算，得到第一特征图像；/n基于预先存储的代表不同类型书写轨迹的特征矩阵，对所述第一特征图像与进行特征检索，得到所述原始图像所对应的轨迹鉴定结果；/n在所述轨迹鉴定结果中添加当前的时间信息，形成基于时间排列的轨迹向量，并将所述轨迹向量通过所述智能笔上的蓝牙模块，发送给所述智能笔建立通信连接的目标对象，以便于在所述目标对象上实时的显示所述智能笔的书写轨迹。/n

【技术特征摘要】
1.一种智能笔图像处理方法，其特征在于，包括：
在智能笔处于工作状态时，监控设置于所述智能笔笔尖处的第二压力开关的工作状态；
当监控到所述第二压力开关产生触发信号之后，控制所述智能笔上的红外收发电路向所述智能笔书写的区域发送红外信号，并同时以原始图像的形式采集所述红外信号在所述书写区域的反射信号；
利用预先设置的轻量化网络模型的第一部分，对所述原始图像进行特征计算，得到第一特征图像；
基于预先存储的代表不同类型书写轨迹的特征矩阵，对所述第一特征图像与进行特征检索，得到所述原始图像所对应的轨迹鉴定结果；
在所述轨迹鉴定结果中添加当前的时间信息，形成基于时间排列的轨迹向量，并将所述轨迹向量通过所述智能笔上的蓝牙模块，发送给所述智能笔建立通信连接的目标对象，以便于在所述目标对象上实时的显示所述智能笔的书写轨迹。


2.根据权利要求1所述的方法，其特征在于，所述利用预先设置的轻量化网络模型的第一部分，对所述原始图像进行特征计算，包括：
在所述网络模型的第一部分设置多个特征图；
基于所述特征图，生成多个固定尺寸的目标对象检测框，每个检测框包含针对不同类型书写轨迹的预测值；
基于所述预测值，确定所述原始图像上检测到的不同书写轨迹的类型。


3.根据权利要求2所述的方法，其特征在于，所述利用预先设置的轻量化网络模型的第一部分，对所述原始图像进行特征计算，还包括：
对所述第一部分上的特征层设置多个滤波器，以便于基于所述卷积滤波器生成目标对象检测框中的预测值。


4.根据权利要求3所述的方法，其特征在于，所述基于预先存储的代表不同类型书写轨迹的特征矩阵，对所述第一特征图像与进行特征检索，包括：
将所述特征矩阵作为所述轻量化网络模型中第二部分上最后一个卷积层的卷积核；
利用所述卷积核与所述第二部分不同卷积层输出的特征图进行卷积计算，得到多个特征图；
确定与所述多个特征图对应的多个基准窗，以便于对所述多个基准窗进行分类回归计算；
基于所述分类回归计算的结果，确定所述原始图像上是否包含书写轨迹图像；
在确定所述原始图像上包含书写轨迹之后，进一步确定书写轨迹在原始图像上的二维空间坐标。


5.根据权利要求4所述的方法，其特征在于，所述监控设置于所述智能笔笔尖处的第二压力开关的工作状态，包括：
获取所述第二压力开关的压力信号值和压力信号频率；
...

【专利技术属性】
技术研发人员：卢启伟，陈方圆，卢炀，陈鹏宇，
申请(专利权)人：深圳市鹰硕教育服务股份有限公司，
类型：发明
国别省市：广东;44