一种用于人机交互的对象边界确定方法及设备技术

本发明专利技术提供了一种用于人机交互的对象边界确定方法及设备，所述方法包括：使用广角摄像头实时拍摄场景图像，并将拍摄的每一帧场景图像发送至计算板；计算板基于获取的每一帧场景图像判断当前场景是否可以确定边界，如果是，则确定所述对象的边界范围。本发明专利技术的主要优点在于：本发明专利技术在对场景图像判断后，通过去除场景图像中物体的方式得到空白区域的位置，使得定界准确度，且本发明专利技术支持用户操作界面的定界与显示内容定界的自由切换，还能对其内容进行进一步的提取，且附带有文字和边框的提醒，而且再加上投影的实时跟踪效果，使得定界后，无论是投影的区域显示还是面板的显示情况都有很好的视觉效果，且定界实时更新，从而实现了在移动物体上的投影用户操作界面，大大提高了用户的体验。

An object boundary determination method and equipment for human-computer interaction

【技术实现步骤摘要】
一种用于人机交互的对象边界确定方法及设备
本专利技术涉及人机交互
，特别是一种用于人机交互的对象边界确定方法及设备。
技术介绍
伴随着信息技术的发展，众多现实技术不断发展，尤其增强现实技术已经广泛应用于娱乐、工程等方面，让现实世界中的人们能够近距离的解决一些虚拟事物，其中涉及到的技术有多媒体、三维建模、实时跟踪、智能交互、传感等多种技术手段。人机交互是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流，并进行操作。现有技术中，通过投影仪投出用户操作界面时一般通过手工调整用户界面的位置、大小等，费事费力，且现有技术难以在非空白界面上投出用户操作界面，比如在，教科书中投出用户操作界面，且现有技术中，无法对操作界面中的显示内容进行自动识别进行初步定界，且现有的定界模式中，无法根据投影的内容进行自适应确定定界的方式，导致了人机交互效率低下，现有技术更不能根据定界物体的大小自适应调整投影仪与投影界面的距离，导致投影本文档来自技高网...

【技术保护点】
1.一种用于人机交互的对象边界确定方法，其特征在于，所述方法包括：/n场景信息获取步骤，使用广角摄像头实时拍摄场景图像，并将拍摄的每一帧场景图像发送至计算板；/n确定步骤，计算板基于获取的每一帧场景图像判断当前场景是否可以确定边界，如果是，则确定所述对象的边界范围。/n

【技术特征摘要】
1.一种用于人机交互的对象边界确定方法，其特征在于，所述方法包括：
场景信息获取步骤，使用广角摄像头实时拍摄场景图像，并将拍摄的每一帧场景图像发送至计算板；
确定步骤，计算板基于获取的每一帧场景图像判断当前场景是否可以确定边界，如果是，则确定所述对象的边界范围。


2.根据权利要求1所述的方法，其特征在于，所述对象为用户操作界面或显示的内容。


3.根据权利要求2所述的方法，其特征在于，所述对象为用户操作界面时，所述确定步骤包括：
所述计算板接收广角摄像头实时传输的每一帧场景图像，并对当前场景的物体分布利用mobilenet-ssd检测网络进行处理确定各物体的形状和各物体相应的类别；
所述计算板基于所述场景图像和确定的物体形状计算出各物体在场景图像的空间中的位置，将各物体的位置和相应的类别合并后生成物体数据集；
所述计算板从物体数据集中读取位置信息，基于所述位置信息从所述场景图像中减去所有的物体分布信息得到空白区域信息，然后所述计算板将根据用户设置进行是否可以进行边界确定，如果是，则将可定界的区域位置信息进行计算以确定边界范围，并对所述边界范围进行存储；
所述计算板将存储的边界范围传输至投影单元，同时传输一个定界成功的信号，当所述投影单元收到定界成功的信号后从所述计算板中获取存储的当前用户的设置信息；
所述计算板确定是否在空白区域进行投影，如果是，则根据所述边界范围和所述设置信息确定投影区域，在所述投影区域投影出用户的操作界面；如果不是，则由用户选择出要投影的物体，然后所述计算板在所述物体数据集中读取所述物体的位置信息，基于所述物体的位置信息投影出所述用户的操作界面。


4.根据权利要求3所述的方法，其特征在于，所述对象为用户操作界面时，
所述方法还包括：
第一更新步骤，计算板以第一时间间隔对广角摄像头传输的场景图像进行处理后与之前的已确定边界的场景图像相比较，如果比较结果不一致，则重新进行边界确定。


5.根据权利要求4所述的方法，其特征在于，所述对象为用户操作界面时，所述更新步骤包括：
所述计算板每隔一秒再次从所述广角摄像头中获取一帧场景图像，并使用所述mobilenet-ssd检测网络获取该帧场景图像中的所有物体的分布状态；
所述计算板获取当前投影单元的设置信息，并与所述物体的分布状态相比较，如果比较结果误差大于第一阈值，则不可进行边界确定，则将投影单元更新至不可定界的警告状态，并将所述计算板状态调整为实时判断是否可定界的状态；如果比较结果误差小于所述第一阈值，则将确定新的边界范围，并与之前存储的边界范围进行比较，如果比较结果小于第二阈值，不进行更新，否则，则将新的边界范围进行存储并传输至所述投影单元，所述投影单元根据新的边界范围，将投影区域进行相应的调整。


6.根据权利要求3所述的方法，其特征在于，所述对象为显示的内容时，所述内容为显示在用户操作界面上的内容，所述确定步骤包括：
所述广角摄像头实时拍摄场景图像并以第二时间间隔传输至所述计算板，所述计算板将所述场景图像传输至云端服务器；所述云端服务器使用深度学习学习网络预测所述内容中文字的位置，并同时将包含所述文字的图片进行裁剪后得到第一子图片并进行存储；
所述云端服务器对所述第一子图片使用ctc算法...

【专利技术属性】
技术研发人员：冯翀，罗观洲，郭嘉伟，马宇航，王宇轩，杜佳诺，
申请(专利权)人：北京深光科技有限公司，
类型：发明
国别省市：北京;11