【技术实现步骤摘要】
本专利技术涉及数字化，特别是涉及一种基于ar的实地视频会议方法和装置。
技术介绍
1、基于互联网的视频通信技术被广泛应用于工作和生活的视频会议场景。随着增强现实硬件和软件技术的发展，基于增强现实技术的视频会议应用已经逐步成熟，并为更多人使用。
2、其中，增强现实(augmented reality，简称ar)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的数字化技术，一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用增强现实硬件，如头盔显示器或增强现实眼镜，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。增强现实提供了在一般情况下，不同于人类可以感知的信息。
3、ar设备还为操作人员在实地进行操作，而专家远程进行指导提供了可行的实现手段，但在一些场景下，如在工业厂房中时，由于粉尘或沉积物的影响，会导致设备被覆盖，无法为专家侧提供
4、鉴于此，克服该现有技术所存在的缺陷是本
亟待解决的问题。
技术实现思路
1、本专利技术要解决的技术问题是提供一种基于ar的实地视频会议方法。
2、本专利技术采用如下技术方案：
3、第一方面，本专利技术提供了一种基于ar的实地视频会议方法，预先在厂家服务器中预设初始厂房环境模型，现场操作人员佩戴ar设备在厂房中进行操作，所述ar设备上设置有第一摄像头，所述第一摄像头用于采集现场操作人员的前方实际厂房图像，所述ar设备通过蓝牙连接至现场操作人员的终端，所述终端在经过安全验证后，连接至所述厂家服务器，包括：
4、所述厂家服务器接收来自终端的前方实际厂房图像，将所述前方实际厂房图像与所述初始厂房环境模型中的各个初始设备进行一次匹配，根据一次匹配结果，确定现场操作人员操作的实际设备；
5、将所述实际设备与所述初始厂房环境模型中的对应初始设备进行二次匹配，根据二次匹配结果，判断所述实际设备的操作面是否存在沉积物，并在判断得到存在沉积物时，计算沉积物的厚度；其中，所述一次匹配用于匹配实际设备与相应初始设备之间的轮廓相似度是否大于预设相似度，在匹配得到实际设备与第一初始设备之间的轮廓相似度大于预设相似度后，将实际设备与所述第一初始设备进行二次匹配，所述二次匹配用于在将实际设备的各个边缘与所述第一初始设备匹配上之后，计算沉积物的沉积面到达相应边缘的距离，根据该距离计算得到沉积物的厚度；
6、当所述沉积物的厚度大于预设厚度时，判断得到需要进行去除沉积物处理，在ar设备上显示提示信息和/或发出提示语音信息，以提醒现场操作人员在进行操作前去除所述沉积物。
7、优选的，在判断得到需要进行去除沉积物处理后，所述方法还包括：
8、从所述初始厂房环境模型中，找到相应的去沉积设备和/或去沉积试剂；
9、识别所述沉积物的种类，根据沉积物的种类、沉积物的厚度、所述去沉积设备或去沉积试剂，为所述现场操作人员生成一种或多种去沉积方案，将所述一种或多种去沉积方案显示在所述ar设备上；
10、当现场操作人员选定一种去沉积方案后，在ar设备中显示去向相应去沉积设备和/或去沉积试剂的导航信息；其中，先依次按照实际设备的种类推断沉积物的种类，若无法将沉积物的种类限定到单一种类下，则再根据历史采集得到的操作人员的操作记录进行推断。
11、优选的，所述在ar设备中显示去向相应去沉积设备或去沉积试剂的导航信息，具体包括：
12、厂家服务器根据一次匹配结果，确定现场操作人员的所在位置，并从所述初始厂房环境模型中找到相应沉积方案所对应的去沉积设备和/或去沉积试剂的所在位置；
13、根据去沉积设备和/或去沉积试剂的所在位置和现场操作人员的所在位置，生成去往去沉积设备和/或去沉积试剂的最短路径；
14、将所述最短路径发送给所述终端，以便于所述终端根据所述最短路径和现场操作人员的实时位置，在ar设备上显示相应的行进方向。
15、优选的，当厂家服务器根据现场操作人员的前方实际厂房图像识别得到现场操作人员到达去沉积设备和/或去沉积试剂所在位置时，从前方实际厂房图像中识别所述去沉积设备和/或去沉积试剂，对所述去沉积设备和/或去沉积试剂进行标记。
16、优选的，在专家会议室中设置有主机、第二摄像头、麦克风和显示屏，所述第二摄像头用于采集专家会议室中的实时会议室图像，所述麦克风用于采集各参会专家的实时语音数据，所述主机在经过安全验证后，连接至所述厂家服务器，所述方法还包括：
17、所述主机对所述实时会议室图像进行人脸识别，得到各参会人员的人脸信息，根据人脸信息，识别各参会人员是否正在进行发言；
18、当判断得到相应参会人员正在进行发言时，对当前的实时语音数据进行语义识别，得到参会人员的语义信息；
19、将所述参会人员的语义信息传输给所述厂家服务器，所述厂家服务器将所述语义信息与所述初始厂房环境模型中的各初始设备进行匹配，得到参会人员所提及的第一初始设备，根据一次匹配结果，判断在所述前方实际厂房图像中，是否存在与所述第一初始设备对应的第一实际设备；
20、若在所述前方实际厂房图像中，存在与所述第一初始设备对应的第一实际设备，则所述厂家服务器向所述终端发送指导信息，以便于所述终端根据所述指导信息，在所述ar设备上对所述第一实际设备进行标记显示；其中，所述指导信息包括正在发言的参会人员信息和第一实际设备相关信息。
21、优选的，若在所述前方实际厂房图像中，不存在与所述第一初始设备对应的第一实际设备，所述方法还包括：
22、厂家设备根据一次匹配结果，确定现场操作人员的所在位置，根据现场操作人员的所在位置，以及第一初始设备在所述初始厂房环境模型中的所在位置，生成去往第一初始设备的最短路径；
23、将所述最短路径发送给所述终端，以便于所述终端根据所述最短路径和现场操作人员的实时位置，在ar设备上显示相应的行进方向。
24、优选的，所述厂家服务器将所述语义信息与所述初始厂房环境模型中的各初始设备进行匹配，具体包括：
25、从语义网络中选取与各初始设备所对应的初始设备向量；
26、计算在所述语义网络中，所述语义信息中的各个语义向量本文档来自技高网...
【技术保护点】
1.一种基于AR的实地视频会议方法，其特征在于，预先在厂家服务器中预设初始厂房环境模型，现场操作人员佩戴AR设备在厂房中进行操作，所述AR设备上设置有第一摄像头，所述第一摄像头用于采集现场操作人员的前方实际厂房图像，所述AR设备通过蓝牙连接至现场操作人员的终端，所述终端在经过安全验证后，连接至所述厂家服务器，包括：
2.根据权利要求1所述的基于AR的实地视频会议方法，其特征在于，在判断得到需要进行去除沉积物处理后，所述方法还包括：
3.根据权利要求2所述的基于AR的实地视频会议方法，其特征在于，所述在AR设备中显示去向相应去沉积设备或去沉积试剂的导航信息，具体包括：
4.根据权利要求3所述的基于AR的实地视频会议方法，其特征在于，当厂家服务器根据现场操作人员的前方实际厂房图像识别得到现场操作人员到达去沉积设备和/或去沉积试剂所在位置时，从前方实际厂房图像中识别所述去沉积设备和/或去沉积试剂，对所述去沉积设备和/或去沉积试剂进行标记。
5.根据权利要求1所述的基于AR的实地视频会议方法，其特征在于，在专家会议室中设置有主机、第二摄像头
6.根据权利要求5所述的基于AR的实地视频会议方法，其特征在于，若在所述前方实际厂房图像中，不存在与所述第一初始设备对应的第一实际设备，所述方法还包括：
7.根据权利要求5所述的基于AR的实地视频会议方法，其特征在于，所述厂家服务器将所述语义信息与所述初始厂房环境模型中的各初始设备进行匹配，具体包括：
8.根据权利要求1所述的基于AR的实地视频会议方法，其特征在于，当一次匹配得到存在n个实际设备与m个初始设备之间的轮廓相似度大于预设相似度时，以在初始厂房环境模型中n个初始设备之间的距离小于预设阈值作为筛选条件，对所述m个初始设备进行筛选，得到n个初始设备；
9.根据权利要求1所述的基于AR的实地视频会议方法，其特征在于，当一次匹配得到存在单个实际设备与多个初始设备之间的轮廓相似度大于预设相似度时，以轮廓相似度最大的一个初始设备作为与所述实际设备匹配上的第一初始设备。
10.一种基于AR的实地视频会议装置，其特征在于，包括：
...【技术特征摘要】
1.一种基于ar的实地视频会议方法，其特征在于，预先在厂家服务器中预设初始厂房环境模型，现场操作人员佩戴ar设备在厂房中进行操作，所述ar设备上设置有第一摄像头，所述第一摄像头用于采集现场操作人员的前方实际厂房图像，所述ar设备通过蓝牙连接至现场操作人员的终端，所述终端在经过安全验证后，连接至所述厂家服务器，包括：
2.根据权利要求1所述的基于ar的实地视频会议方法，其特征在于，在判断得到需要进行去除沉积物处理后，所述方法还包括：
3.根据权利要求2所述的基于ar的实地视频会议方法，其特征在于，所述在ar设备中显示去向相应去沉积设备或去沉积试剂的导航信息，具体包括：
4.根据权利要求3所述的基于ar的实地视频会议方法，其特征在于，当厂家服务器根据现场操作人员的前方实际厂房图像识别得到现场操作人员到达去沉积设备和/或去沉积试剂所在位置时，从前方实际厂房图像中识别所述去沉积设备和/或去沉积试剂，对所述去沉积设备和/或去沉积试剂进行标记。
5.根据权利要求1所述的基于ar的实地视频会议方法，其特征在于，在专家会议室中设置有主机、第二摄像头、麦克风和显示屏，所述第二摄像头用于采集...
【专利技术属性】
技术研发人员：赵婷，曾铮，隋璐捷，余铮，陈家璘，叶俊儒，
申请(专利权)人：国网湖北省电力有限公司信息通信公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。