基于图像帧的手写轨迹提取方法、装置、存储介质及设备制造方法及图纸

本发明专利技术公开了一种基于图像帧的手写轨迹提取方法、装置、存储介质及设备，该方法包括：获取设于智能笔中的图像采集装置基于手写运动时采集到的连续帧的图像数据；根据所述图像数据确定任意相邻两帧图像之间的相对位移，以得到多个相邻帧位移；根据所述多个相邻帧位移得到相邻帧位移序列，并根据所述相邻帧位移序列得到所述图像采集装置的在所述手写运动时的移动轨迹；对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹。本发明专利技术解决了现有技术中在进行手写轨迹提取时成功率低的问题。问题。问题。

【技术实现步骤摘要】
基于图像帧的手写轨迹提取方法、装置、存储介质及设备


[0001]本专利技术涉及图像识别
，特别涉及一种基于图像帧的手写轨迹提取方法、装置、存储介质及设备。

技术介绍

[0002]点阵智能笔是近年来新兴的一种手写轨迹采集装置。常见于儿童有声读物或学生教辅书籍中等印刷有点阵二维码的出版物当中，其原理主要基于点阵二维码实现手写轨迹的采集，因此，点阵智能笔的轨迹采集还原度，极大的依赖于点阵二维码的印刷质量以及对点阵二维码的图像采集和解码。
[0003]这就要求点阵智能笔拍摄到的每一帧图像都包含完整的点阵二维码码点信息，亦即要求对应的印刷物或打印物铺设在纸张上的码点必须百分百完整，不能缺失码点。另外由于点阵二维码是基于含碳原理进行成像后解码，如果点阵成像被含碳普通笔芯的轨迹干扰，或被含碳的文字图片内容部分干扰，则也会造成码点信息丢失，而造成解码不出绝对坐标，而提取不到手写轨迹。
[0004]目前，大部分点阵智能笔的设计方案，均基于点阵二维码解码出来的绝对的纸面坐标而得到手写轨迹。特别的，要求点阵智能笔拍摄到的图像帧有尽可能高的解码率，才能提取出真实轨迹，如果解码率低，比如一个手写笔画总共采集10帧图像，只有1帧能够点阵解码成功，将会导致不能成功提取出真实手写轨迹，提取成功率低。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于图像帧的手写轨迹提取方法、装置、存储介质及设备，旨在解决现有技术中在进行手写轨迹提取时成功率低的问题。
[0006]本专利技术是这样实现的：一种基于图像帧的手写轨迹提取方法，所述方法包括：获取设于智能笔中的图像采集装置基于手写运动时采集到的连续帧的图像数据；根据所述图像数据确定任意相邻两帧图像之间的相对位移，以得到多个相邻帧位移；根据所述多个相邻帧位移得到相邻帧位移序列，并根据所述相邻帧位移序列得到所述图像采集装置的在所述手写运动时的移动轨迹；对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹。
[0007]进一步的，上述基于图像帧的手写轨迹提取方法，其中，所述根据所述图像数据确定任意相邻两帧图像之间的相对位移，以得到多个相邻帧位移的步骤包括：对前一帧图像进行预设增量的平移，以获取任意相邻两帧图像之间的重叠区域；在所述前一帧图像的平移过程中，获取平移后的前一帧图像与后一帧图像之间的重合区域；
判断所述重叠区域与所述重合区域的重合率是否满足重合率阈值；若是，则将所述前一帧图像的当前平移量作为任意相邻两帧图像之间的相对位移；若否，遍历所述前一帧图像的所有预设增量，并将根据所述所有预设增量计算得到的最大平移量确定为所述前一帧图像的图像大小；其中，所述重叠区域位于所述前一帧图像中，所述重合区域位于所述后一帧图像中。进一步的，上述基于图像帧的手写轨迹提取方法，其中，所述判断所述重叠区域与所述重合区域的重合率是否满足重合率阈值的步骤包括：判断所述重叠区域内的像素值与所述重合区域的像素值的差值是否在预设像素值误差范围内。
[0008]进一步的，上述基于图像帧的手写轨迹提取方法，其中，所述对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹的步骤包括：获取所述图像采集装置基于手写运动时与手写平面竖直方向的夹角角度，根据所述夹角角度对所述移动轨迹进行旋转。
[0009]进一步的，上述基于图像帧的手写轨迹提取方法，其中，所述对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹的步骤还包括：获取所述图像数据中的像素尺寸与所述手写平面中的物理尺寸的比例关系，根据所述比例关系对所述移动轨迹进行缩放。
[0010]进一步的，上述基于图像帧的手写轨迹提取方法，其中，所述获取所述图像数据中的像素尺寸与所述手写平面中的物理尺寸的比例关系，根据所述比例关系对所述移动轨迹进行缩放的步骤之前还包括：获取所述图像采集装置在所述手写平面采集到的预设尺寸的矩形，并获取矩形范围内的手写平面成像后的像素大小；根据所述预设尺寸与所述像素大小确定所述图像数据中的像素尺寸与所述手写平面中的物理尺寸的比例关系。
[0011]本专利技术的另一个目的在于提供一种基于图像帧的手写轨迹提取装置，所述装置包括：图像数据获取模块，用于获取设于智能笔中的图像采集装置基于手写运动时采集到的连续帧的图像数据；相邻帧位移获取模块，用于根据所述图像数据确定任意相邻两帧图像之间的相对位移，以得到多个相邻帧位移；移动轨迹获取模块，用于根据所述多个相邻帧位移得到相邻帧位移序列，并根据所述相邻帧位移序列得到所述图像采集装置的在所述手写运动时的移动轨迹；手写轨迹获取模块，用于对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹。
[0012]进一步的，上述基于图像帧的手写轨迹提取装置，其中，所述相邻帧位移获取模块
包括：平移单元，用于对前一帧图像进行预设增量的平移，以获取任意相邻两帧图像之间的重叠区域；重合区域获取单元，用于在所述前一帧图像的平移过程中，获取平移后的前一帧图像与后一帧图像之间的重合区域；判断单元，用于判断所述重叠区域与所述重合区域的重合率是否满足重合率阈值；位移确定单元，用于当判断到所述重叠区域与所述重合区域的重合率满足重合率阈值时，则将所述前一帧图像的当前平移量作为任意相邻两帧图像之间的相对位移；图像确定单元，用于当判断到所述重叠区域与所述重合区域的重合率不满足重合率阈值时，遍历所述前一帧图像的所有预设增量，并将根据所述所有预设增量计算得到的最大平移量确定为所述前一帧图像的图像大小；其中，所述重叠区域位于所述前一帧图像中，所述重合区域位于所述后一帧图像中。
[0013]本专利技术的另一个目的是提供一种可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的方法的步骤。
[0014]本专利技术的另一个目的是提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤。
[0015]本专利技术通过在智能笔手写过程中采集到的连续帧的图像数据获取图像数据中的相邻帧位移，并根据每个相邻帧位移得到相邻帧位移序列，以此得到智能笔在进行手写时，设于智能笔中图像采集装置的移动轨迹，后对移动轨迹进行旋转、缩放以及利用解码出的任一平面坐标进行平移以得到真实的手写轨迹，在获取手写轨迹的过程中，不需要全部依赖于的点阵二维码解码出的纸面坐标进行提取，只需要基于连续拍摄的图像中的某一个成功解码出的点阵二维码纸面坐标，根据图像采集装置的移动轨迹即可提取出对应的手写轨迹。此方式可以在极低的点阵解码率下提取出手写轨迹。避免了在码点印刷质量差或码点被含碳干扰下，手写轨迹容易提取不成功的问题，提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像帧的手写轨迹提取方法，其特征在于，所述方法包括：获取设于智能笔中的图像采集装置基于手写运动时采集到的连续帧的图像数据；根据所述图像数据确定任意相邻两帧图像之间的相对位移，以得到多个相邻帧位移；根据所述多个相邻帧位移得到相邻帧位移序列，并根据所述相邻帧位移序列得到所述图像采集装置的在所述手写运动时的移动轨迹；对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹；所述对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹的步骤包括：获取所述图像采集装置基于手写运动时与手写平面竖直方向的夹角角度，根据所述夹角角度对所述移动轨迹进行旋转。2.根据权利要求1所述的基于图像帧的手写轨迹提取方法，其特征在于，所述根据所述图像数据确定任意相邻两帧图像之间的相对位移，以得到多个相邻帧位移的步骤包括：对前一帧图像进行预设增量的平移，以获取任意相邻两帧图像之间的重叠区域；在所述前一帧图像的平移过程中，获取平移后的前一帧图像与后一帧图像之间的重合区域；判断所述重叠区域与所述重合区域的重合率是否满足重合率阈值；若是，则将所述前一帧图像的当前平移量作为任意相邻两帧图像之间的相对位移；若否，遍历所述前一帧图像的所有预设增量，并将根据所述所有预设增量计算得到的最大平移量确定为所述前一帧图像的图像大小；其中，所述重叠区域位于所述前一帧图像中，所述重合区域位于所述后一帧图像中。3.根据权利要求2所述的基于图像帧的手写轨迹提取方法，其特征在于，所述判断所述重叠区域与所述重合区域的重合率是否满足重合率阈值的步骤包括：判断所述重叠区域内的像素值与所述重合区域的像素值的差值是否在预设像素值误差范围内。4.根据权利要求1所述的基于图像帧的手写轨迹提取方法，其特征在于，所述对所述移动轨迹依次进行旋转、缩放后得到目标移动轨迹，根据所述图像数据中解码出的在手写平面上的任一坐标值对所述目标移动轨迹进行平移得到手写轨迹的步骤还包括：获取所述图像数据中的像素尺寸与所述手写平面中的物理尺寸的比例关系，根据所述比例关系对所述移动轨迹进行缩放。5.根据权利要求4所述的基于图像帧的手写轨迹提取方法，其特征在于，所述获取所述图像数据中的像素尺寸与所述手写平面中的物理尺寸的比例关系...

【专利技术属性】
技术研发人员：胡楚煊，万强，张乐，
申请(专利权)人：江西三有果科技有限公司，
类型：发明
国别省市：