非接触式人机交互笔笔迹生成方法、装置、设备及系统制造方法及图纸

本发明专利技术涉及一种非接触式人机交互笔笔迹生成方法、装置、设备及系统，属于人机交互技术领域，该方法、装置、设备及系统根据预设交互笔检测模型在当前帧图像中检测人机交互笔的子图像；根据预设笔尖检测模型在人机交互笔的子图像中，确定当前人机交互笔笔尖位置；基于预设多目标跟踪算法，在目标视频中跟踪检测当前人机交互笔笔尖位置和历史人机交互笔笔尖位置，生成人机交互笔笔迹。因此，采用本申请的技术方案，在获取到人机交互笔的位置后，确定笔尖的位置，从而生成交互笔笔迹，其中，可以结合用户手部位置来确定交互笔位置，可以很好地跟踪任意笔并生成较为连续的笔迹，并可以在复杂场景下完成笔迹绘制。场景下完成笔迹绘制。场景下完成笔迹绘制。

【技术实现步骤摘要】
非接触式人机交互笔笔迹生成方法、装置、设备及系统


[0001]本专利技术涉及人机交互
，具体涉及一种非接触式人机交互笔笔迹生成方法、装置、设备及系统。

技术介绍

[0002]人机交互技术(Human
‑
Computer Interaction Techniques，HCI)在计算机技术的基础上，建立了人与机器之间的“通信”。人机交互技术通过一定的人机交互动作和程序向机器发送指令信息，以使机器根据接收到的指令信息反馈结果，以适应人的需求。在各种人机交互设备中，人机交互笔是实现人机相互交流和反馈的重要载体。
[0003]传统人机交互笔的构造中，通常采用大量惯性传感器件来进行信息采集。但是，大量传感器件往往造价较高；且，在工作过程中存在各种噪声、及来自外界的干扰等，这些乱杂信号导致交互过程中出现错误，从而使得交互笔笔迹生成准确率降低。根据计算机视觉绘制出笔迹的方法的出现，解决了交互笔造价高和传感器信号交互受干扰导致的笔迹生成准确率低的技术问题。但是，当背景复杂时，采用计算机视觉技术对物体进行检测时，往往受到复杂易混淆的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种非接触式人机交互笔笔迹生成方法，其特征在于，包括：实时获取当前帧图像；根据预设交互笔检测模型在所述当前帧图像中检测人机交互笔的子图像；根据预设笔尖检测模型在所述人机交互笔的子图像中，确定当前人机交互笔笔尖位置；基于预设多目标跟踪算法，在目标视频中跟踪检测当前人机交互笔笔尖位置和历史人机交互笔笔尖位置，生成人机交互笔笔迹；其中，所述目标视频包括当前帧图像和历史帧图像。2.根据权利要求1所述的方法，其特征在于，所述根据预设交互笔检测模型在所述当前帧图像中检测人机交互笔的子图像，包括：采用手部检测模型，在所述当前帧图像中确定用户手部检测框；使用所述预设交互笔检测模型对所述用户手部检测框中的当前帧图像进行检测，得到人机交互笔的边界框，将所述人机交互笔的边界框内的图像作为所述人机交互笔的子图像。3.根据权利要求2所述的方法，其特征在于，所述采用手部检测模型，在所述当前帧图像中确定用户手部检测框，包括：采用手部检测模型，在所述当前帧图像中确定手部检测框作为原始用户手部检测框；根据坐标扩大算法放大所述原始用户手部检测框，得到放大后用户手部检测框，将所述放大后用户手部检测框作为所述用户手部检测框。4.根据权利要求3所述的方法，其特征在于，所述根据坐标扩大算法放大所述原始用户手部检测框，得到放大后用户手部检测框，包括：根据所述手部检测模型，确定所述原始用户手部检测框中每个手部关键点坐标；确定所述每个手部关键点坐标中横坐标的最小值和纵坐标的最大值；将所述横坐标的最小值减小预设数值，及，将所述纵坐标的最大值增大预设数值，以根据修改后的横坐标和纵坐标得到的放大后用户手部检测框。5.根据权利要求1所述的方法，其特征在于，所述预设多目标跟踪算法，包括：DeepSORT算法。6.根据权利要求2所述的方法...

【专利技术属性】
技术研发人员：王文通，王梦魁，赵洁，滕达，刘强，
申请(专利权)人：北京石油化工学院，
类型：发明
国别省市：