笔尖定位方法、装置、终端设备及存储介质制造方法及图纸

本申请实施例公开了一种笔尖定位方法、装置、终端设备及存储介质，该笔尖定位方法可以包括：识别当前帧图像中包含的握笔人手，并从当前帧图像中确定第一图像；其中，第一图像包括笔尖区域和握笔人手的至少部分区域；利用笔尖检测模型对第一图像进行笔尖检测，以得到当前帧图像对应的目标笔尖坐标；其中，笔尖检测模型是由多个第一样本图像及各个第一样本图像对应的标定笔尖坐标训练得到的，第一样本图像包括笔尖区域和握笔人手的至少部分区域。通过实施该方法，可以实现实时且精准的笔尖定位。位。位。

【技术实现步骤摘要】
笔尖定位方法、装置、终端设备及存储介质


[0001]本申请涉及终端设备
，尤其涉及一种笔尖定位方法、装置、终端设备及存储介质。

技术介绍

[0002]目前的终端设备大都具备点读、搜题及笔记整理等功能。实践中发现，终端设备在实现这些功能时，往往需要获取用户利用笔进行书写的笔迹、区域等信息，可见，如何高效且精确地定位用户书写过程中笔尖的位置就显得尤为重要。

技术实现思路

[0003]本申请实施例提供了一种笔尖定位方法、装置、终端设备及存储介质，可以实现实时且精准的笔尖定位。
[0004]本申请实施例第一方面提供了一种笔尖定位方法，包括：
[0005]识别当前帧图像中包含的握笔人手，并从所述当前帧图像中确定第一图像；其中，所述第一图像包括笔尖区域和所述握笔人手的至少部分区域；
[0006]利用笔尖检测模型对所述第一图像进行笔尖检测，以得到所述当前帧图像对应的目标笔尖坐标；其中，所述笔尖检测模型是由多个第一样本图像及各个所述第一样本图像对应的标定笔尖坐标训练得到的，所述第一样本图像包括笔尖区域和握笔人手的至少部分区域。
[0007]作为一种可选的实施方式，在本申请实施例第一方面中，所述识别当前帧图像中包含的握笔人手，并从所述当前帧图像中确定第一图像，包括：
[0008]通过手笔区域检测模型识别当前帧图像中包含的握笔手指，提取所述握笔手指中第一个指节的特征，并根据所述第一个指节的特征确定目标手笔区域；其中，所述手笔区域检测模型是由多个第二样本图像及各个所述第二样本图像对应的标定手笔区域训练得到的，所述第二样本图像包括笔尖区域和握笔人手的整个手部区域；
[0009]从所述当前帧图像中截取所述目标手笔区域，以得到第一图像；
[0010]其中，所述第一样本图像为所述第二样本图像对应的标定手笔区域内的图像，所述第一样本图像包括笔尖区域和至少部分握笔手指的第一个指节的对应区域。
[0011]作为一种可选的实施方式，在本申请实施例第一方面中，所述识别当前帧图像中包含的握笔人手，并从所述当前帧图像中确定第一图像，包括：
[0012]识别当前帧图像中包含的握笔人手的第一手部区域；
[0013]根据预设的第一尺寸调整参数扩大所述第一手部区域，以确定包括笔尖的第一图像区域；
[0014]从所述当前帧图像中截取所述第一图像区域，以得到第一图像；
[0015]其中，所述第一样本图像包括笔尖区域和握笔人手的整个手部区域。
[0016]作为一种可选的实施方式，在本申请实施例第一方面中，所述识别当前帧图像中
包含的握笔人手的第一手部区域，包括：
[0017]获取上一帧图像中包含的握笔人手的第二手部区域；
[0018]根据预设的位移参数对所述第二手部区域的位置进行调整，以确定当前帧图像中包含的握笔人手的第一手部区域。
[0019]作为一种可选的实施方式，在本申请实施例第一方面中，所述利用笔尖检测模型对所述第一图像进行笔尖检测，以得到所述当前帧图像对应的目标笔尖坐标之后，所述方法还包括：
[0020]根据所述当前帧图像对应的目标笔尖坐标和上一帧图像对应的目标笔尖坐标，计算笔尖对应的移动距离值；
[0021]若所述移动距离值大于移动距离阈值时，则确定所述当前帧图像对应的目标笔尖坐标为无效坐标。
[0022]作为一种可选的实施方式，在本申请实施例第一方面中，所述确定所述当前帧图像对应的目标笔尖坐标为无效坐标之后，所述方法还包括：
[0023]获取多个目标帧图像对应的目标笔尖坐标；其中，所述目标帧图像为在所述当前帧图像之前采集的图像，且所述目标帧图像对应的目标笔尖坐标均为有效坐标；
[0024]利用预设跟踪算法处理各个所述目标帧图像对应的目标笔尖坐标，以获取所述笔尖的运动曲线，并根据所述运动曲线，预测得到所述当前帧图像对应的有效的目标笔尖坐标。
[0025]作为一种可选的实施方式，在本申请实施例第一方面中，所述笔尖检测模型包括轻量级骨干网络和回归器，所述利用笔尖检测模型对所述第一图像进行笔尖检测，以得到所述当前帧图像对应的目标笔尖坐标，包括：
[0026]通过所述轻量级骨干网络提取所述第一图像的图像特征；
[0027]通过所述回归器对所述图像特征进行回归处理，以确定所述当前帧图像对应的目标笔尖坐标。
[0028]本申请实施例第二方面提供了一种笔尖定位装置，包括
[0029]图像提取单元，用于识别当前帧图像中包含的握笔人手，并从所述当前帧图像中确定第一图像；其中，所述第一图像包括笔尖区域和所述握笔人手的至少部分区域；
[0030]笔尖检测单元，用于利用笔尖检测模型对所述第一图像进行笔尖检测，以得到所述当前帧图像对应的目标笔尖坐标；其中，所述笔尖检测模型是由多个第一样本图像及各个所述第一样本图像对应的标定笔尖坐标训练得到的，所述第一样本图像包括笔尖区域和握笔人手的至少部分区域。
[0031]本申请实施例第三方面提供了一种终端设备，可以包括：
[0032]存储有可执行程序代码的存储器；
[0033]以及所述存储器耦合的处理器；
[0034]所述处理器调用所述存储器中存储的所述可执行程序代码，所述可执行程序代码被所述处理器执行时，使得所述处理器实现如本申请实施例第一方面所述的方法。
[0035]本申请实施例第四方面提供一种计算机可读存储介质，其上存储有可执行程序代码，所述可执行程序代码被处理器执行时，实现如本申请实施例第一方面所述的方法。
[0036]本申请实施例第五方面公开一种计算机程序产品，当该计算机程序产品在计算机
Assistant，PDA)、便携式多媒体播放器(Personal Media Player，PMP)装置、笔记本电脑、笔记本(Note Pad)、无线宽带(Wireless Broadband，Wibro)终端、平板电脑(Personal Computer，PC)、智能PC、销售终端(Point of Sales，POS)和车载电脑等。
[0054]终端设备也可以包括可穿戴设备。可穿戴设备可以直接穿戴在用户身上，或是整合到用户的衣服或配件的一种便携式电子设备。可穿戴设备不仅仅是一种硬件设备，更可以通过软件支持以及数据交互、云服务器交互来实现强大的智能功能，比如：计算功能、定位功能、报警功能，同时还可以连接手机及各类终端。可穿戴设备可以包括但不限于以手腕为支撑的watch类(比如手表、手腕等产品)，以脚为支撑的shoes类(比如鞋、袜子或者其他腿上佩戴产品)，以头部为支撑的Glass类(比如眼镜、头盔、头带等)以及智能服装，书包、拐杖、配饰等各类非主流产品形态。
[0055]需要说明的是，本申请实施例公开的笔尖定位方法的执行主体可以是终端设备或笔尖定位装置，本申请实施例不做限定。下述实施例主要以终端设备为例进行说明。
[0056]请参阅图1A，图1A是本申请实施例公开本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种笔尖定位方法，其特征在于，包括：识别当前帧图像中包含的握笔人手，并从所述当前帧图像中确定第一图像；其中，所述第一图像包括笔尖区域和所述握笔人手的至少部分区域；利用笔尖检测模型对所述第一图像进行笔尖检测，以得到所述当前帧图像对应的目标笔尖坐标；其中，所述笔尖检测模型是由多个第一样本图像及各个所述第一样本图像对应的标定笔尖坐标训练得到的，所述第一样本图像包括笔尖区域和握笔人手的至少部分区域。2.根据权利要求1所述的方法，其特征在于，所述识别当前帧图像中包含的握笔人手，并从所述当前帧图像中确定第一图像，包括：通过手笔区域检测模型识别当前帧图像中包含的握笔手指，提取所述握笔手指中第一个指节的特征，并根据所述第一个指节的特征确定目标手笔区域；其中，所述手笔区域检测模型是由多个第二样本图像及各个所述第二样本图像对应的标定手笔区域训练得到的，所述第二样本图像包括笔尖区域和握笔人手的整个手部区域；从所述当前帧图像中截取所述目标手笔区域，以得到第一图像；其中，所述第一样本图像为所述第二样本图像对应的标定手笔区域内的图像，所述第一样本图像包括笔尖区域和至少部分握笔手指的第一个指节的对应区域。3.根据权利要求1所述的方法，其特征在于，所述识别当前帧图像中包含的握笔人手，并从所述当前帧图像中确定第一图像，包括：识别当前帧图像中包含的握笔人手的第一手部区域；根据预设的第一尺寸调整参数扩大所述第一手部区域，以确定包括笔尖的第一图像区域；从所述当前帧图像中截取所述第一图像区域，以得到第一图像；其中，所述第一样本图像包括笔尖区域和握笔人手的整个手部区域。4.根据权利要求3所述的方法，其特征在于，所述识别当前帧图像中包含的握笔人手的第一手部区域，包括：获取上一帧图像中包含的握笔人手的第二手部区域；根据预设的位移参数对所述第二手部区域的位置进行调整，以确定当前帧图像中包含的握笔人手的第一手部区域。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述利用笔尖检测模型对所述第一图像进行笔尖检测，以得到所述当前帧图像对应的目标笔尖坐标之后，所述方法还包括：根据所述当前帧图像...

【专利技术属性】
技术研发人员：王丰焱，胡东平，杨宗武，
申请(专利权)人：广东小天才科技有限公司，
类型：发明
国别省市：