智能笔图像处理方法、装置及电子设备制造方法及图纸

本公开实施例中提供了一种智能笔图像处理方法、装置及电子设备，属于数据处理技术领域，该方法包括：在智能笔第一压力开关处于闭合状态后，监控设置于所述智能笔笔尖处的第二压力开关的工作状态；控制所述智能笔上的红外收发电路向所述智能笔书写的区域发送红外信号；获取预设于所述智能笔中的轻量化网络模型，对所述原始图像进行特征提取处理；利用所述轻量化模型中的全连接层，对所述特征矩阵进行分类处理，得到轨迹分类结果；在所述目标对象上实时的显示所述智能笔的书写轨迹。通过本公开的处理方案，能够降低智能笔图像处理的复杂度。

Intelligent pen image processing method, device and electronic equipment

【技术实现步骤摘要】
智能笔图像处理方法、装置及电子设备
本公开涉及数据处理
，尤其涉及一种智能笔图像处理方法、装置及电子设备。
技术介绍
书写是一种很奇妙的体验，在纸上书写永远有着一种魅力，即便是在信息化时代，我们总有着一份渴望保存手写笔记的愿望。特别是在智慧教育方面，当电磁书写识别、红外点阵识别、超声波识别等黑科技融入到书写之中，便有了各式各样的智能书写笔。红外点阵识别是通过在普通的纸张上印上一层不可见的点阵图案，数码笔前端的高速摄像头随时捕捉笔尖的运动轨迹，同时压力传感器将压力数据传回数据处理器，最终将信息通过蓝牙或USB线向外传输至手机或平板，手机或平板对笔迹进行同步绘制。在对智能笔的书写轨迹进行识别的过程中，如何在保证识别准确度的情况下，又能降低智能笔系统资源的使用，是需要解决的问题。
技术实现思路
有鉴于此，本公开实施例提供一种智能笔图像处理方法、装置及电子设备，以至少部分解决现有技术中存在的问题。第一方面，本公开实施例提供了一种智能笔图像处理方法，包括：在智能笔第一压力开关处于闭合状态后，监控设置于所述智能笔笔尖处的第二压力开关的工作状态；当监控到所述第二压力开关产生触发信号之后，控制所述智能笔上的红外收发电路向所述智能笔书写的区域发送红外信号，并同时以原始图像的形式采集所述红外信号在所述书写区域的反射信号，所述反射信号描述智能笔在书写区域的书写轨迹，所述原始图像中包含书写轨迹在书写屏幕的二维坐标；获取预设于所述智能笔中的轻量化网络模型，以便于基于所述轻量化网络模型和所述智能笔当前的书写速度，对所述原始图像进行特征提取处理，得到与所述原始图像对应的特征矩阵，所述网络模型包括第一卷积计算通道和第二卷积计算通道，所述第一卷积计算通道和所述第二卷积计算通道中分别包含第一卷积核和第二卷积核，所述第一卷积核的尺寸小于所述第二卷积核的尺寸；利用所述轻量化模型中的全连接层，对所述特征矩阵进行分类处理，得到轨迹分类结果；在所述轨迹分类结果中添加当前的时间信息，形成基于时间排列的轨迹向量，并将所述轨迹向量通过所述智能笔上的蓝牙模块，发送给所述智能笔建立通信连接的目标对象，以便于在所述目标对象上实时的显示所述智能笔的书写轨迹。根据本公开实施例的一种具体实现方式，所述监控设置于所述智能笔笔尖处的第二压力开关的工作状态，包括：获取所述第二压力开关的压力信号值和压力信号频率；判断所述压力信号值和所述压力信号频率是否分别同时大于第一阈值和第二阈值；若是，则判定所述第二压力开关处于工作状态。根据本公开实施例的一种具体实现方式，所述以原始图像的形式采集所述红外信号在所述书写区域的反射信号，包括：启动所述智能笔上设置的红外摄像装置；按照预设的采样周期，控制所述红外摄像装置采集所述书写区域的反射信号，形成基于时间序列的反射信号向量；基于采集到的反射信号向量，形成所述原始图像。根据本公开实施例的一种具体实现方式，所述对所述原始图像进行特征提取处理，包括：基于所述智能笔上设置的加速度计，获取所述智能笔笔尖的书写速度；判断所述书写速度是否大于预设速度值；若是，则关闭第二卷积计算通道，并在第一卷积计算通道中利用所述第一卷积核计算所述原始图像的特征矩阵；若否，则同时在第一卷积计算通道中和第二卷积计算通道中对所述原始图像进行特征计算，分别得到第一计算结果和第二计算结果，并基于第一计算结果和第二计算结果，得到所述原始图像的特征矩阵。根据本公开实施例的一种具体实现方式，所述基于第一计算结果和第二计算结果，得到所述原始图像的特征矩阵，包括：利用第一卷积核在所述第一卷积计算通道内对所述原始图像执行卷积操作，以得到第一计算结果；利用第二卷积核在所述第二卷积计算通道中对所述第一结算结果进行卷积操作，以得到第二计算结果；将所述第二计算结果作为所述原始图像的特征矩阵。根据本公开实施例的一种具体实现方式，所述利用所述轻量化模型中的全连接层，对所述特征矩阵进行分类处理，包括：在所述全连接层中，对所述特征矩阵进行分类处理，得到与所述特征矩阵对应的分类值；判断所述分类值是否大于预设值；若是，则判定所述特征矩阵中存在书写轨迹。根据本公开实施例的一种具体实现方式，所述在所述轨迹分类结果中添加当前的时间信息，形成基于时间排列的轨迹向量，包括：在分类结果中获取轨迹的二维平面坐标值；在所述二维平面坐标值中添加当前时间值，形成三维轨迹信息；基于所述三维轨迹信息，形成所述基于时间排列的轨迹向量。第二方面，本公开实施例提供了一种智能笔图像处理装置，包括：监控模块，用于在智能笔第一压力开关处于闭合状态后，监控设置于所述智能笔笔尖处的第二压力开关的工作状态；控制模块，用于当监控到所述第二压力开关产生触发信号之后，控制所述智能笔上的红外收发电路向所述智能笔书写的区域发送红外信号，并同时以原始图像的形式采集所述红外信号在所述书写区域的反射信号，所述反射信号描述智能笔在书写区域的书写轨迹，所述原始图像中包含书写轨迹在书写屏幕的二维坐标；处理模块，用于获取预设于所述智能笔中的轻量化网络模型，以便于基于所述轻量化网络模型和所述智能笔当前的书写速度，对所述原始图像进行特征提取处理，得到与所述原始图像对应的特征矩阵，所述网络模型包括第一卷积计算通道和第二卷积计算通道，所述第一卷积计算通道和所述第二卷积计算通道中分别包含第一卷积核和第二卷积核，所述第一卷积核的尺寸小于所述第二卷积核的尺寸；分类模块，用于利用所述轻量化模型中的全连接层，对所述特征矩阵进行分类处理，得到轨迹分类结果；执行模块，用于在所述轨迹分类结果中添加当前的时间信息，形成基于时间排列的轨迹向量，并将所述轨迹向量通过所述智能笔上的蓝牙模块，发送给所述智能笔建立通信连接的目标对象，以便于在所述目标对象上实时的显示所述智能笔的书写轨迹。第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：至少一个处理器；以及，与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述第一方面或第一方面的任一实现方式中的智能笔图像处理方法。第四方面，本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的智能笔图像处理方法。第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述第一方面或第一方面的任一实现方式中的智能笔图像处理方法。本公开实施例中的智能笔图像处理方案，包括在智能笔第一压力开关处于闭合状态后本文档来自技高网...

【技术保护点】
1.一种智能笔图像处理方法，其特征在于，包括：/n在智能笔第一压力开关处于闭合状态后，监控设置于所述智能笔笔尖处的第二压力开关的工作状态；/n当监控到所述第二压力开关产生触发信号之后，控制所述智能笔上的红外收发电路向所述智能笔书写的区域发送红外信号，并同时以原始图像的形式采集所述红外信号在所述书写区域的反射信号，所述反射信号描述智能笔在书写区域的书写轨迹，所述原始图像中包含书写轨迹在书写屏幕的二维坐标；/n获取预设于所述智能笔中的轻量化网络模型，以便于基于所述轻量化网络模型和所述智能笔当前的书写速度，对所述原始图像进行特征提取处理，得到与所述原始图像对应的特征矩阵，所述网络模型包括第一卷积计算通道和第二卷积计算通道，所述第一卷积计算通道和所述第二卷积计算通道中分别包含第一卷积核和第二卷积核，所述第一卷积核的尺寸小于所述第二卷积核的尺寸；/n利用所述轻量化模型中的全连接层，对所述特征矩阵进行分类处理，得到轨迹分类结果；/n在所述轨迹分类结果中添加当前的时间信息，形成基于时间排列的轨迹向量，并将所述轨迹向量通过所述智能笔上的蓝牙模块，发送给所述智能笔建立通信连接的目标对象，以便于在所述目标对象上实时的显示所述智能笔的书写轨迹。/n...

【技术特征摘要】
1.一种智能笔图像处理方法，其特征在于，包括：
在智能笔第一压力开关处于闭合状态后，监控设置于所述智能笔笔尖处的第二压力开关的工作状态；
当监控到所述第二压力开关产生触发信号之后，控制所述智能笔上的红外收发电路向所述智能笔书写的区域发送红外信号，并同时以原始图像的形式采集所述红外信号在所述书写区域的反射信号，所述反射信号描述智能笔在书写区域的书写轨迹，所述原始图像中包含书写轨迹在书写屏幕的二维坐标；
获取预设于所述智能笔中的轻量化网络模型，以便于基于所述轻量化网络模型和所述智能笔当前的书写速度，对所述原始图像进行特征提取处理，得到与所述原始图像对应的特征矩阵，所述网络模型包括第一卷积计算通道和第二卷积计算通道，所述第一卷积计算通道和所述第二卷积计算通道中分别包含第一卷积核和第二卷积核，所述第一卷积核的尺寸小于所述第二卷积核的尺寸；
利用所述轻量化模型中的全连接层，对所述特征矩阵进行分类处理，得到轨迹分类结果；
在所述轨迹分类结果中添加当前的时间信息，形成基于时间排列的轨迹向量，并将所述轨迹向量通过所述智能笔上的蓝牙模块，发送给所述智能笔建立通信连接的目标对象，以便于在所述目标对象上实时的显示所述智能笔的书写轨迹。


2.根据权利要求1所述的方法，其特征在于，所述监控设置于所述智能笔笔尖处的第二压力开关的工作状态，包括：
获取所述第二压力开关的压力信号值和压力信号频率；
判断所述压力信号值和所述压力信号频率是否分别同时大于第一阈值和第二阈值；
若是，则判定所述第二压力开关处于工作状态。


3.根据权利要求2所述的方法，其特征在于，所述以原始图像的形式采集所述红外信号在所述书写区域的反射信号，包括：
启动所述智能笔上设置的红外摄像装置；
按照预设的采样周期，控制所述红外摄像装置采集所述书写区域的反射信号，形成基于时间序列的反射信号向量；
基于采集到的反射信号向量，形成所述原始图像。


4.根据权利要求3所述的方法，其特征在于，所述对所述原始图像进行特征提取处理，包括：
基于所述智能笔上设置的加速度计，获取所述智能笔笔尖的书写速度；
判断所述书写速度是否大于预设速度值；
若是，则关闭第二卷积计算通道，并在第一卷积计算通道中利用所述第一卷积核计算所述原始图像的特征矩阵；
若否，则同时在第一卷积计算通道中和第二卷积计算通道中对所述原始图像进行特征计算，分别得到第一计算结果和第二计算结果，并基于第一计算结果和第二计算结果，得到所述原始图像的特征矩阵。


5.根据权利要求4所述的方法，其特征在于，所述基于第一计算结果和第二计算结果，得到所述原始图像的特征矩阵，包括：
利用第一卷积核在所述第一卷积计算通道内对所述原始图像执行卷积操作，以得到第一计...

【专利技术属性】
技术研发人员：卢启伟，陈方圆，卢炀，陈鹏宇，
申请(专利权)人：深圳市鹰硕教育服务股份有限公司，
类型：发明
国别省市：广东;44