实时的纸张书写笔迹恢复方法、系统、设备和存储介质技术方案

本发明专利技术公开了一种实时的纸张书写笔迹恢复方法、系统、计算机设备和存储介质，所述方法包括：从书写装置同步采集得到笔尖附近的图像数据、惯性信号数据和笔尖压力传感数据；对图像数据中的图像序列按时间顺序计算相邻两张图像的密集光流，得到光流矢量图序列；根据光流矢量图序列，得到初始笔迹运动矢量序列；根据惯性信号数据计算书写装置的姿态角数据，使用姿态角数据对初始笔迹运动矢量序列进行修正，得到最终笔迹运动矢量序列；根据笔尖压力传感数据，对最终笔迹运动矢量序列的笔画粗细进行调整，得到最终笔迹。通过本发明专利技术提供的方法，在普通纸张上书写的同时，能够在电子设备上恢复出书写的内容，且笔迹恢复所用数据的采集成本低。集成本低。集成本低。

【技术实现步骤摘要】
实时的纸张书写笔迹恢复方法、系统、设备和存储介质


[0001]本专利技术涉及计算机视觉和人工智能
，具体涉及一种实时的纸张书写笔迹恢复方法、系统、计算机设备和存储介质。

技术介绍

[0002]目前，我们的生活正逐渐进入无纸化时代，人们的生活和学习已经离不开电子设备。但在很多领域和应用场景，比如教育、会议纪要等，传统纸上书写仍然占有很大的比重。尤其地，在一些应用场景，需要实时地将纸上书写的内容同步到电子设备上，最好还能保留原有的手写笔迹风格。
[0003]现有技术中，已经出现了通过电子笔在特殊纸上书写，并同步到电子设备上的方法，其中一种主流方法需要提前打印好带编码点阵的特殊纸张，笔迹同步时由高速摄像机拍摄纸面并解算笔尖的实时坐标，再同步到电子设备中。
[0004]以上方法虽然可以实现笔迹的实时同步，但需要提前打印带编码点阵的特殊纸张，该类纸张用户难以自制，泛用性远不如普通纸张，且该种方法所用高速摄像机的成本较高。为改善用户体验，需要一种更低成本，且能够在普通纸张上书写并在电子设备上同步手写笔迹的方法。

技术实现思路

[0005]鉴于此，本专利技术提供了一种实时的纸张书写笔迹恢复方法、系统、计算机设备和存储介质。
[0006]本专利技术的第一个目的在于提供一种实时的纸张书写笔迹恢复方法。
[0007]本专利技术的第二个目的在于提供一种实时的纸张书写笔迹恢复系统。
[0008]本专利技术的第三个目的在于提供一种计算机设备。
[0009]本专利技术的第四个目的在于提供一种存储介质。
[0010]本专利技术的第一个目的可以通过采取如下技术方案达到：
[0011]一种实时的纸张书写笔迹恢复方法，所述方法包括：
[0012]从书写装置采集得到笔尖附近的图像数据、惯性信号数据和笔尖压力传感数据；其中，所述图像数据、惯性信号数据和笔尖压力传感数据的采集同步进行；
[0013]对所述图像数据中的图像序列按时间顺序计算相邻两张图像的密集光流，得到光流矢量图序列；
[0014]根据所述光流矢量图序列，得到初始笔迹运动矢量序列；
[0015]根据所述惯性信号数据计算出书写装置的姿态角数据，使用所述姿态角数据对所述初始笔迹运动矢量序列进行修正，得到最终笔迹运动矢量序列；
[0016]根据所述笔尖压力传感数据，对所述最终笔迹运动矢量序列的笔画粗细进行调整，得到最终笔迹。
[0017]进一步的，所述根据所述光流矢量图序列，得到初始笔迹运动矢量序列，具体包
括：
[0018]根据单张所述光流矢量图，得到初始笔迹运动矢量，包括：
[0019]对所述光流矢量图进行池化操作，得到低分辨率光流矢量图；
[0020]对所述低分辨率光流矢量图中所有光流矢量进行聚类，得到筛选后的光流矢量集合；
[0021]对所述筛选后的光流矢量集合进行平均计算，得到初始笔迹运动矢量；
[0022]根据所述光流矢量图序列，得到所有光流矢量图对应的初始笔迹运动矢量；
[0023]对所有光流矢量图对应的初始笔迹运动矢量按时间顺序排列，得到初始笔迹运动矢量序列。
[0024]进一步的，所述对所述光流矢量图进行池化操作，得到低分辨率光流矢量图，具体为：
[0025]对所述光流矢量图先进行平均池化，再进行最大池化，以降低分辨率和去除噪声，从而得到低分辨率光流矢量图；
[0026]所述对所述低分辨率光流矢量图中所有光流矢量进行聚类，得到筛选后的光流矢量集合，具体包括：
[0027]使用聚类算法对所述低分辨率光流矢量图中所有光流矢量进行聚类，取以各聚类中心为圆心、半径为α之内的光流矢量，以滤除光流矢量图中无意义的光流矢量，得到筛选后的光流矢量集合；
[0028]其中，各聚类中心的α不同，α的取值根据能够包括本聚类中大部分的光流矢量为标准确定。
[0029]进一步的，所述使用所述姿态角数据对所述初始笔迹运动矢量序列进行修正，得到最终笔迹运动矢量序列，具体包括：
[0030]对书写装置旋转产生的偏差，使用所述姿态角数据中滚转角的变化对所述初始笔迹运动矢量序列进行修正，得到修正笔迹运动矢量序列；
[0031]对书写装置倾斜产生的误差，使用所述姿态角数据中航向角与俯仰角的变化对所述修正笔迹运动矢量序列进行修正，得到最终笔迹运动矢量序列。
[0032]进一步的，设所述图像数据中有n张图像；
[0033]对所述图像数据中的图像序列按时间顺序计算相邻两张图像的密集光流，得到光流矢量图序列，具体包括：
[0034]根据图像序列中按时间顺序排列的第i张图像和第i+1张图像，计算得到光流矢量图i；其中，i＝1,2
…
n
‑
1；
[0035]由n
‑
1张光流矢量图i构成了光流矢量图序列。
[0036]进一步的，所述计算密集光流，采用非深度学习密集光流算法或深度学习密集光流算法。
[0037]进一步的，所述从书写装置采集得到笔尖附近的图像数据、惯性信号数据和笔尖压力传感数据，具体包括：
[0038]通过摄像头拍摄笔尖附近的图像序列，获得图像数据；
[0039]通过惯性传感器采集惯性信号序列，获得惯性信号数据；
[0040]通过压力传感器采集笔尖压力传感信号序列，获得笔尖压力传感数据。
[0041]本专利技术的第二个目的可以通过采取如下技术方案达到：
[0042]一种实时的纸张书写笔迹恢复系统，所述系统包括：
[0043]数据采集模块，用于采集笔迹恢复所需的数据，包括从书写装置采集得到笔尖附近的图像数据、惯性信号数据和笔尖压力传感数据；其中，所述图像数据、惯性信号数据和笔尖压力传感数据的采集同步进行；
[0044]数据传输模块，用于将采集的数据发送至后续模块；数据传输时，同一时刻传输数据采集模块采集到的所有种类的时间同步数据；
[0045]光流计算模块，用于对所述图像数据中的图像序列按时间顺序计算相邻两张图像的密集光流，得到光流矢量图序列；
[0046]笔迹计算及修正模块，用于根据所述光流矢量图序列计算初始笔迹运动矢量序列；根据惯性信号数据修正所述初始笔迹运动矢量序列，得到最终笔迹运动矢量序列；再根据所述笔尖压力传感数据，对所述最终笔迹运动矢量序列的笔画粗细进行调整，得到最终笔迹。
[0047]本专利技术的第三个目的可以通过采取如下技术方案达到：
[0048]一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的纸张书写笔迹恢复方法。
[0049]本专利技术的第四个目的可以通过采取如下技术方案达到：
[0050]一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的纸张书写笔迹恢复方法。
[0051]本专利技术相对于现有技术具有如下的有益效果：
[0052]本专利技术不需要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时的纸张书写笔迹恢复方法，其特征在于，所述方法包括：从书写装置采集得到笔尖附近的图像数据、惯性信号数据和笔尖压力传感数据；其中，所述图像数据、惯性信号数据和笔尖压力传感数据的采集同步进行；对所述图像数据中的图像序列按时间顺序计算相邻两张图像的密集光流，得到光流矢量图序列；根据所述光流矢量图序列，得到初始笔迹运动矢量序列；根据所述惯性信号数据计算出书写装置的姿态角数据，使用所述姿态角数据对所述初始笔迹运动矢量序列进行修正，得到最终笔迹运动矢量序列；根据所述笔尖压力传感数据，对所述最终笔迹运动矢量序列的笔画粗细进行调整，得到最终笔迹。2.根据权利要求1所述的纸张书写笔迹恢复方法，其特征在于，所述根据所述光流矢量图序列，得到初始笔迹运动矢量序列，具体包括：根据单张所述光流矢量图，得到初始笔迹运动矢量，包括：对所述光流矢量图进行池化操作，得到低分辨率光流矢量图；对所述低分辨率光流矢量图中所有光流矢量进行聚类，得到筛选后的光流矢量集合；对所述筛选后的光流矢量集合进行平均计算，得到初始笔迹运动矢量；根据所述光流矢量图序列，得到所有光流矢量图对应的初始笔迹运动矢量；对所有光流矢量图对应的初始笔迹运动矢量按时间顺序排列，得到初始笔迹运动矢量序列。3.根据权利要求2所述的纸张书写笔迹恢复方法，其特征在于，所述对所述光流矢量图进行池化操作，得到低分辨率光流矢量图，具体为：对所述光流矢量图先进行平均池化，再进行最大池化，以降低分辨率和去除噪声，从而得到低分辨率光流矢量图；所述对所述低分辨率光流矢量图中所有光流矢量进行聚类，得到筛选后的光流矢量集合，具体包括：使用聚类算法对所述低分辨率光流矢量图中所有光流矢量进行聚类，取以各聚类中心为圆心、半径为α之内的光流矢量，以滤除光流矢量图中无意义的光流矢量，得到筛选后的光流矢量集合；其中，各聚类中心的α不同，α的取值根据能够包括本聚类中大部分的光流矢量为标准确定。4.根据权利要求1所述的纸张书写笔迹恢复方法，其特征在于，所述使用所述姿态角数据对所述初始笔迹运动矢量序列进行修正，得到最终笔迹运动矢量序列，具体包括：对书写装置旋转产生的偏差，使用所述姿态角数据中滚转角的变化对所述初始笔迹运动矢量序列进行修正，得到修正笔迹运动矢量序列；对书写装置倾斜产生的误差，使用所述姿态角数据中航向角与俯仰角的变化对所述修正笔迹运动矢量序...

【专利技术属性】
技术研发人员：薛洋，王弘毅，金连文，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：