笔尖定位方法、装置、终端设备及存储介质制造方法及图纸

本申请实施例公开了一种笔尖定位方法、装置、终端设备及存储介质，该方法可以包括：利用第一笔尖检测模型对当前帧图像进行笔尖检测，以得到第一笔尖坐标和第一笔尖区域；根据第一笔尖坐标和第一笔尖区域之间的位置关系，确定第二笔尖区域；其中，第二笔尖区域的尺寸为第一尺寸，第一尺寸为当前帧图像的尺寸的α倍；通过第二笔尖检测模型对第二笔尖区域进行笔尖检测，以得到当前帧图像对应的目标笔尖坐标。通过实施该方法，可以提高笔尖定位的精度。可以提高笔尖定位的精度。可以提高笔尖定位的精度。

【技术实现步骤摘要】
笔尖定位方法、装置、终端设备及存储介质


[0001]本申请涉及终端设备
，尤其涉及一种笔尖定位方法、装置、终端设备及存储介质。

技术介绍

[0002]目前的终端设备大都具备点读、搜题及笔记整理等功能。实践中发现，终端设备在实现这些功能时，往往需要获取用户利用笔进行书写的笔迹、区域等信息，可见，如何精确地定位用户书写过程中笔尖的位置就显得尤为重要。

技术实现思路

[0003]本申请实施例提供了一种笔尖定位方法、装置、终端设备及存储介质，可以实现精准的笔尖定位。
[0004]本申请实施例第一方面提供了一种笔尖定位方法，包括：
[0005]利用第一笔尖检测模型对当前帧图像进行笔尖检测，以得到第一笔尖坐标和第一笔尖区域；其中，所述第一笔尖检测模型是由多个第一样本图像训练得到的，各个所述第一样本图像分别携带有对应的标定笔尖坐标和第一标定笔尖区域；
[0006]根据所述第一笔尖坐标和所述第一笔尖区域之间的位置关系，确定第二笔尖区域；其中，所述第二笔尖区域的尺寸为第一尺寸，所述第一尺寸为所述当前帧图像的尺寸的α倍，α大于0且小于1；
[0007]通过第二笔尖检测模型对所述第二笔尖区域进行笔尖检测，以得到所述当前帧图像对应的目标笔尖坐标；其中，所述第二笔尖检测模型是由多个第二样本图像训练得到的，各个所述第二样本图像为从各个所述第一样本图像中截取出的第二标定笔尖区域的图像，各个所述第二样本图像携带有对应的标定笔尖坐标；所述第二样本图像的尺寸为第二尺寸，所述第二尺寸为对应的所述第一样本图像的尺寸的α倍。
[0008]作为一种可选的实施方式，在本申请实施例第一方面中，所述根据所述第一笔尖坐标和所述第一笔尖区域之间的位置关系，确定第二笔尖区域，包括：
[0009]若所述第一笔尖坐标处于所述第一笔尖区域内，则根据所述第一笔尖坐标与所述第一笔尖区域的中心点坐标之间的距离值，确定第二笔尖区域；
[0010]若所述第一笔尖坐标未处于所述第一笔尖区域内，则确定以所述第一笔尖坐标为中心点坐标的第二笔尖区域。
[0011]作为一种可选的实施方式，在本申请实施例第一方面中，所述根据所述第一笔尖坐标与所述第一笔尖区域的中心点坐标之间的距离值，确定第二笔尖区域，包括：
[0012]若所述第一笔尖坐标和所述第一笔尖区域的中心点坐标之间的距离值，小于或等于宽度阈值，则确定以所述第一笔尖坐标为中心点坐标的第二笔尖区域，所述宽度阈值为所述当前帧图像的宽度的β倍，β大于0且小于1；
[0013]若所述第一笔尖坐标和所述第一笔尖区域的中心点坐标之间的距离值，大于所述
宽度阈值，则确定以所述第一笔尖坐标为中心坐标，且区域尺寸与所述第一笔尖区域相同的第三笔尖区域，并确定所述第三笔尖区域和所述第一笔尖区域的并集区域，以及根据所述并集区域确定第二笔尖区域。
[0014]作为一种可选的实施方式，在本申请实施例第一方面中，所述根据所述并集区域确定第二笔尖区域，包括：
[0015]获取所述并集区域对应的外接矩形区域；
[0016]若所述外接矩形区域的尺寸小于所述第一尺寸，则等比例扩大所述外接矩形区域，以得到区域尺寸为所述第一尺寸的第二笔尖区域；
[0017]若所述外接矩形区域的尺寸大于所述第一尺寸，则等比例缩小所述外接矩形区域，以得到区域尺寸为所述第一尺寸的第二笔尖区域。
[0018]作为一种可选的实施方式，在本申请实施例第一方面中，所述第一笔尖检测模型包括第一骨干网络、第一检测器以及第一回归器；所述利用第一笔尖检测模型对当前帧图像进行笔尖检测，以得到第一笔尖坐标和第一笔尖区域，包括：
[0019]利用所述第一骨干网络提取当前帧图像对应的图像特征；
[0020]利用所述第一检测器处理所述图像特征，得到第一笔尖区域；
[0021]利用所述第一回归器对所述图像特征进行回归处理，得到第一笔尖坐标。
[0022]作为一种可选的实施方式，在本申请实施例第一方面中，所述通过第二笔尖检测模型对所述第二笔尖区域进行笔尖检测，以得到所述当前帧图像对应的目标笔尖坐标之后，所述方法还包括：
[0023]根据所述当前帧图像对应的目标笔尖坐标和上一帧图像对应的目标笔尖坐标，计算笔尖对应的移动距离值；
[0024]若所述移动距离值大于移动距离阈值时，则确定所述当前帧图像对应的目标笔尖坐标为无效坐标。
[0025]作为一种可选的实施方式，在本申请实施例第一方面中，所述确定所述当前帧图像对应的目标笔尖坐标为无效坐标之后，所述方法还包括：
[0026]获取多个目标帧图像对应的目标笔尖坐标；其中，所述目标帧图像为在所述当前帧图像之前采集的图像，且所述目标帧图像对应的目标笔尖坐标均为有效坐标；
[0027]利用预设跟踪算法处理各个所述目标帧图像对应的目标笔尖坐标，以获取所述笔尖的运动曲线，并根据所述运动曲线，预测所述当前帧图像对应的有效的目标笔尖坐标。
[0028]本申请实施例第二方面提供了一种笔尖定位装置，包括
[0029]第一笔尖检测单元，用于利用第一笔尖检测模型对当前帧图像进行笔尖检测，以得到第一笔尖坐标和第一笔尖区域；其中，所述第一笔尖检测模型是由多个第一样本图像训练得到的，各个所述第一样本图像分别携带有对应的标定笔尖坐标和第一标定笔尖区域；
[0030]笔尖区域确定单元，用于根据所述第一笔尖坐标和所述第一笔尖区域之间的位置关系，确定第二笔尖区域；其中，所述第二笔尖区域的尺寸为第一尺寸，所述第一尺寸为所述当前帧图像的尺寸的α倍，α大于0且小于1；
[0031]第二笔尖检测单元，用于通过第二笔尖检测模型对所述第二笔尖区域进行笔尖检测，以得到所述当前帧图像对应的目标笔尖坐标；其中，所述第二笔尖检测模型是由多个第
二样本图像训练得到的，各个所述第二样本图像为从各个所述第一样本图像中截取出的第二标定笔尖区域的图像，各个所述第二样本图像携带有对应的标定笔尖坐标；所述第二样本图像的尺寸为第二尺寸，所述第二尺寸为对应的所述第一样本图像的尺寸的α倍。
[0032]本申请实施例第三方面提供了一种终端设备，可以包括：
[0033]存储有可执行程序代码的存储器；
[0034]以及所述存储器耦合的处理器；
[0035]所述处理器调用所述存储器中存储的所述可执行程序代码，所述可执行程序代码被所述处理器执行时，使得所述处理器实现如本申请实施例第一方面所述的方法。
[0036]本申请实施例第四方面提供一种计算机可读存储介质，其上存储有可执行程序代码，所述可执行程序代码被处理器执行时，实现如本申请实施例第一方面所述的方法。
[0037]本申请实施例第五方面公开一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行本申请实施例第一方面公开的任意一种所述的方法。
[0038]本申请实施例第六方面公开一种应用发布平台，该应用发布平台用于发布计算机程序产品本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种笔尖定位方法，其特征在于，包括：利用第一笔尖检测模型对当前帧图像进行笔尖检测，以得到第一笔尖坐标和第一笔尖区域；其中，所述第一笔尖检测模型是由多个第一样本图像训练得到的，各个所述第一样本图像分别携带有对应的标定笔尖坐标和第一标定笔尖区域；根据所述第一笔尖坐标和所述第一笔尖区域之间的位置关系，确定第二笔尖区域；其中，所述第二笔尖区域的尺寸为第一尺寸，所述第一尺寸为所述当前帧图像的尺寸的α倍，α大于0且小于1；通过第二笔尖检测模型对所述第二笔尖区域进行笔尖检测，以得到所述当前帧图像对应的目标笔尖坐标；其中，所述第二笔尖检测模型是由多个第二样本图像训练得到的，各个所述第二样本图像为从各个所述第一样本图像中截取出的第二标定笔尖区域的图像，各个所述第二样本图像携带有对应的标定笔尖坐标；所述第二样本图像的尺寸为第二尺寸，所述第二尺寸为对应的所述第一样本图像的尺寸的α倍。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一笔尖坐标和所述第一笔尖区域之间的位置关系，确定第二笔尖区域，包括：若所述第一笔尖坐标处于所述第一笔尖区域内，则根据所述第一笔尖坐标与所述第一笔尖区域的中心点坐标之间的距离值，确定第二笔尖区域；若所述第一笔尖坐标未处于所述第一笔尖区域内，则确定以所述第一笔尖坐标为中心点坐标的第二笔尖区域。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一笔尖坐标与所述第一笔尖区域的中心点坐标之间的距离值，确定第二笔尖区域，包括：若所述第一笔尖坐标和所述第一笔尖区域的中心点坐标之间的距离值，小于或等于宽度阈值，则确定以所述第一笔尖坐标为中心点坐标的第二笔尖区域，所述宽度阈值为所述当前帧图像的宽度的β倍，β大于0且小于1；若所述第一笔尖坐标和所述第一笔尖区域的中心点坐标之间的距离值，大于所述宽度阈值，则确定以所述第一笔尖坐标为中心坐标，且区域尺寸与所述第一笔尖区域相同的第三笔尖区域，并确定所述第三笔尖区域和所述第一笔尖区域的并集区域，以及根据所述并集区域确定第二笔尖区域。4.根据权利要求3所述的方法，其特征在于，所述根据所述并集区域确定第二笔尖区域，包括：获取所述并集区域对应的外接矩形区域；若所述外接矩形区域的尺寸小于所述第一尺寸，则等比例扩大所述外接矩形区域，以得到区域尺寸为所述第一尺寸的第二笔尖区域；若所述外接矩形区域的尺寸大于所述第一尺寸，则等比例缩小所述外接矩形区域，以得到区域尺寸为所述第一尺寸的第二笔尖区域。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述第一笔尖检测模型包括第一骨干网络、第一检测器以及第一回归器；所述利用第一笔尖检测模型对当前帧图像进行笔尖检测，以得到第一笔尖...

【专利技术属性】
技术研发人员：王丰焱，胡东平，杨宗武，李富强，
申请(专利权)人：广东小天才科技有限公司，
类型：发明
国别省市：