一种实时手写交互的线上辅助教学系统技术方案

本发明专利技术提供一种实时手写交互的线上辅助教学系统，属于人机交互技术领域。所述系统包括：提取模块，用于采用深度学习方法对摄像头捕捉到的实时直播图像进行手部骨架提取，得到手部关键点坐标；手势识别模块，用于通过手部关键点坐标进行手势识别，并根据手势识别结果进行模式切换，所述模式包括：字符输入、基本图形绘制和草图绘制；字符识别模块，用于识别用户输入的手写体字符，获取对应的印刷体字符；图形绘制模块，用于识别用户绘制的基本图形，获取轨迹平滑后的基本图形；图像生成模块，用于根据用户绘制的草图进行图像生成并可视化。采用本发明专利技术，能够解决线上课板书缺失的问题。能够解决线上课板书缺失的问题。能够解决线上课板书缺失的问题。

【技术实现步骤摘要】
一种实时手写交互的线上辅助教学系统


[0001]本专利技术涉及人机交互
，特别是指一种实时手写交互的线上辅助教学系统。

技术介绍

[0002]在线上教学过程中，多媒体设备的应用使得课堂教学内容变得丰富了许多，方式也变得多样了。但是单纯使用鼠标进行多媒体课件讲授时，其实时标注讲解效果却并不理想；对于那些注重逻辑推导的发病机制或产生机理的课程教学，多媒体课件的使用效果也不能令人满意，这大大限制了课堂教学的灵活性。
[0003]手写板书对信息的便利展示是线下教学的重要优势之一。在线下教学场景中，涉及书写示范与由师生交互带来的新信息展示主要由黑板与粉笔完成，具有展示效率高、展示过程清晰、硬件依存度低的有点。这些优势在线上教学中，则难以体现，带来了一些客观问题：
[0004]1.使用鼠标、电脑触控板功能配合PPT、PDF批注功能，书写效率低，很难保证文字书写美观与板书排版整齐；
[0005]2.使用软件电子白板，由于鼠标书写的精细化程度有限，在特定区域内书写信息负载量非常小；
[0006]3.使用摄像头展示纸笔书写，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时手写交互的线上辅助教学系统，其特征在于，包括：提取模块，用于采用深度学习方法对摄像头捕捉到的实时直播图像进行手部骨架提取，得到手部关键点坐标；手势识别模块，用于通过手部关键点坐标进行手势识别，并根据手势识别结果进行模式切换，所述模式包括：字符输入、基本图形绘制和草图绘制；字符识别模块，用于识别用户输入的手写体字符，获取对应的印刷体字符；图形绘制模块，用于识别用户绘制的基本图形，获取轨迹平滑后的基本图形；图像生成模块，用于根据用户绘制的草图进行图像生成并可视化。2.根据权利要求1所述的实时手写交互的线上辅助教学系统，其特征在于，所述提取模块包括：手掌检测网络，用于提取所述实时直播图像的浅层特征和深层特征，并对所提取的特征进行反卷积后，上采样到原图像四分之一的尺度，通过锚点固定的矩形确定是否存在要检测的手掌；关键点检测网络，用于利用预训练的VGG
‑
19网络，获取手掌所在区域内多个关键点的坐标，并判断该区域当前是否仍存在手。3.根据权利要求1所述的实时手写交互的线上辅助教学系统，其特征在于，所述手势识别模块，用于利用预训练的前馈神经网络，通过所述关键点坐标进行手势识别，并根据手势识别结果，判断手势语义...

【专利技术属性】
技术研发人员：姚超，刘泓君，班晓娟，王笑琨，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：