虚拟电子说明书的实现方法及装置制造方法及图纸

本发明专利技术实施例提供一种虚拟电子说明书的实现方法及装置。所述方法包括：获取产品的标识，并根据所述标识获取所述产品的视频；获取包含所述产品的部件的图像；对所述图像中的所述产品的部件进行识别，获得所述部件的特征描述符；将所述部件的特征描述符和预存的与所述部件相应的目标描述符进行匹配，获取所述特征描述符与所述目标描述符之间的关联关系；根据所述关联关系将所述部件的视频动画添加至所述视频中，以生成所述产品的虚拟电子说明书。本发明专利技术的虚拟电子说明书的实现方法及装置，实现了使用方便、成本低、应用范围广、交互性强、能够提供直观体验且表现形式丰富的虚拟电子说明书，满足复杂工业产品的说明需求和用户需求。

Method and device for implementing virtual electronic instruction book

The embodiment of the invention provides a method and a device for realizing a virtual electronic instruction book. The method comprises: obtaining the identity of the product, and the product is obtained according to the identification of video image acquisition; containing the product components; to identify the products of the image of the components, the components of the feature descriptors obtained by matching the feature descriptor; and the component of pre the storage section and the corresponding object descriptor, obtain the relationship between the feature descriptor and the target descriptor; according to the relationships of the components of the video animation added to the video, to generate the instruction of virtual electronic products. Method and device for realizing virtual electronic instructions of the invention, the convenient use, low cost, wide application range, strong interactivity, can provide intuitive experience and virtual electronic instructions form a rich, complex industrial products that meet the needs and demands of users.

【技术实现步骤摘要】
虚拟电子说明书的实现方法及装置
本专利技术涉及计算机视觉技术，尤其涉及一种虚拟电子说明书的实现方法及装置。
技术介绍
现有的产品大多都附带有说明书。传统的说明书通常采用纸质的文字性说明文档的形式呈现给用户。然而，传统的说明书具有以下不足之处：首先，信息形式和功能过于单一，与用户不具有交互性；其次，对于一些结构复杂、零部件多的产品说明书，容易使人很快失去阅读的欲望，并且，用户使用起来极为不便，因此，无法满足复杂工业产品的说明需求以及用户需求；再次，纸质的说明书需要加工、印刷和包装，无形中增加了产品的生产成本。
技术实现思路
本专利技术的目的在于，提供一种虚拟电子说明书的实现方法及装置，以实现使用方便、成本低、应用范围广、交互性强、能够提供直观体验且表现形式丰富的虚拟电子说明书，满足复杂工业产品的说明需求和用户需求。根据本专利技术的一方面，提供一种虚拟电子说明书的实现方法，所述方法包括：获取产品的标识，并根据所述标识获取所述产品的视频；获取包含所述产品的部件的图像；对所述图像中的所述产品的部件进行识别，获得所述部件的特征描述符；将所述部件的特征描述符和预存的与所述部件相应的目标描述符进行匹配，获取所述特征描述符与所述目标描述符之间的关联关系；根据所述关联关系将所述部件的视频动画添加至所述视频中，以生成所述产品的虚拟电子说明书。优选地，所述获取产品的标识包括：通过移动终端读取所述产品上的二维码信息，并根据所述二维码信息获得所述产品的标识。优选地，所述获取包含所述产品的部件的图像包括：通过设置在所述移动终端上的摄像设备获取包含所述产品的部件的图像。优选地，所述对所述图像中的所述产品的部件进行识别，获得所述部件的特征描述符包括：对所述图像进行特征点检测、特征点描述子生成以及特征点匹配处理，获得所述部件的特征描述符。优选地，所述方法还包括：制作所述部件的视频动画；所述制作所述部件的视频动画包括：通过Kinect传感器获取所述产品的部件的RGB图像数据和深度图像数据；利用所述RGB图像数据和深度图像数据进行建模，获得所述产品的第一类三维模型数据；对所述第一类三维模型数据进行渲染分析、文字标注及引线标注处理，获得第二类三维模型数据；根据所述第二类三维模型数据制作所述部件的视频动画。根据本专利技术的另一方面，提供一种虚拟电子说明书的实现装置。所述装置包括：标识及视频获取模块，用于获取产品的标识，并根据所述标识获取所述产品的视频；图像获取模块，用于获取包含所述产品的部件的图像；图像识别模块，用于对所述图像中的所述产品的部件进行识别，获得所述部件的特征描述符；描述符关联模块，用于将所述部件的特征描述符和预存的与所述部件相应的目标描述符进行匹配，获取所述特征描述符与所述目标描述符之间的关联关系；说明书生成模块，用于根据所述关联关系将所述部件的视频动画添加至所述产品的视频中，以生成虚拟电子说明书。优选地，所述标识及视频获取模块用于通过移动终端读取所述产品上的二维码信息，并根据所述二维码信息获得所述产品的标识。优选地，所述图像获取模块用于通过设置在所述移动终端上的摄像设备获取包含所述产品的部件的图像。优选地，所述图像识别模块用于对所述图像进行特征点检测、特征点描述子生成以及特征点匹配处理，获得所述部件的特征描述符。优选地，所述装置还包括：视频动画制作模块，用于制作所述部件的视频动画；所述视频动画制作模块包括：数据获取单元，用于通过Kinect传感器获取所述产品的部件的RGB图像数据和深度图像数据；第一模型数据获取单元，用于利用所述RGB图像数据和深度图像数据进行建模，获得所述产品的第一类三维模型数据；第二模型数据获取单元，用于对所述第一类三维模型数据进行渲染分析、文字标注及引线标注处理，获得第二类三维模型数据；视频动画制作单元，用于根据所述第二类三维模型数据制作所述部件的视频动画。根据本专利技术实施例提供的虚拟电子说明书的实现方法及装置，通过获取产品的标识，并根据标识获取产品的视频，进一步获取包含产品的部件的图像，并对图像中的产品的部件进行识别，获得部件的特征描述符，将部件的特征描述符和预存的与部件相应的目标描述符进行匹配，获取特征描述符与目标描述符之间的关联关系，根据关联关系将部件的视频动画添加至视频中，以生成产品的虚拟电子说明书。实现了使用方便、成本低、应用范围广、交互性强、能够提供直观体验且表现形式丰富的虚拟电子说明书，满足复杂工业产品的说明需求和用户需求。附图说明图1是示出根据本专利技术实施例一的虚拟电子说明书的实现方法的流程图；图2是示出根据本专利技术实施例二的虚拟电子说明书的实现方法的流程图；图3是示出根据本专利技术实施例三的虚拟电子说明书的实现装置的逻辑框图；图4是示出根据本专利技术实施例四的虚拟电子说明书的实现装置的逻辑框图。具体实施方式下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本专利技术的具体实施方式作进一步详细说明。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。本领域技术人员可以理解，本专利技术中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。实施例一图1是示出根据本专利技术实施例一的虚拟电子说明书的实现方法的流程图。可在如图3所示的装置执行所述方法。参照图1，在步骤S110，获取产品的标识，并根据标识获取产品的视频。在实际应用中，用户可下载待了解产品的相关介绍的APP软件安装到移动终端如智能手机，使用智能手机扫描产品的二维码信息，获取产品的标识(如商品标签)。获取产品标识后，可依据标识调用相应产品的视频，该视频用于介绍用户所需了解产品的概况。在视频演示的过程中，用户可以随意切换视角，从不同的角度观察产品的零部件和结构。在步骤S120，获取包含产品的部件的图像。当用户对产品中某个部件感兴趣，且需要进行详细了解时，用户通过移动终端对某个部件进行拍照，从而获取该部件的图像。具体可通过移动终端的摄像头实现，如，用户触发一拍照指令，指示移动终端通过摄像头对目标部件进行拍照，获取包含产品的部件的图像。在步骤S130，对图像中的产品的部件进行识别，获得部件的特征描述符。具体地，对获取到的图像中产品的部件进行特征点检测、特征点描述子生成、特征点匹配一系列处理，获取部件的特征描述符。其中，特征点检测处理可采用FAST、Harris、SIFT、SURF、MSER等特征点检测方法。在步骤S140，将部件的特征描述符和预存的与部件相应的目标描述符进行匹配，获取特征描述符与目标描述符之间的关联关系。在步骤S150，根据关联关系将部件的视频动画添加至视频中，以生成产品的虚拟电子说明书。可见，本步骤的处理也就是对视频的原始内容进行扩增。在具体的实现方式中，根据上述视频中部件的位置调整部件的视频动画(即虚拟信息)的位置，视频动画被渲染进视频流，从而生成产品的虚拟电子说明书。在虚拟电子说明书后续的播放过程中，用户可以对产品的部件进行360°旋转，从多个角度进行全方位观察。其中，前述虚拟信息可以是三维模型动画、音视频素材及说明性文字等。在实际应用中，扩增内容的处理以及上述提及的视频动画的制作均可采用离线方式。视频动画的制作过程如下：(1)数据采集：运用Kinect传感器获取产品(或部件本文档来自技高网...

【技术保护点】
一种虚拟电子说明书的实现方法，其特征在于，所述方法包括：获取产品的标识，并根据所述标识获取所述产品的视频；获取包含所述产品的部件的图像；对所述图像中的所述产品的部件进行识别，获得所述部件的特征描述符；将所述部件的特征描述符和预存的与所述部件相应的目标描述符进行匹配，获取所述特征描述符与所述目标描述符之间的关联关系；根据所述关联关系将所述部件的视频动画添加至所述视频中，以生成所述产品的虚拟电子说明书。

【技术特征摘要】
1.一种虚拟电子说明书的实现方法，其特征在于，所述方法包括：获取产品的标识，并根据所述标识获取所述产品的视频；获取包含所述产品的部件的图像；对所述图像中的所述产品的部件进行识别，获得所述部件的特征描述符；将所述部件的特征描述符和预存的与所述部件相应的目标描述符进行匹配，获取所述特征描述符与所述目标描述符之间的关联关系；根据所述关联关系将所述部件的视频动画添加至所述视频中，以生成所述产品的虚拟电子说明书。2.根据权利要求1所述的方法，其特征在于，所述获取产品的标识包括：通过移动终端读取所述产品上的二维码信息，并根据所述二维码信息获得所述产品的标识。3.根据权利要求2所述的方法，其特征在于，所述获取包含所述产品的部件的图像包括：通过设置在所述移动终端上的摄像设备获取包含所述产品的部件的图像。4.根据权利要求1所述的方法，其特征在于，所述对所述图像中的所述产品的部件进行识别，获得所述部件的特征描述符包括：对所述图像进行特征点检测、特征点描述子生成以及特征点匹配处理，获得所述部件的特征描述符。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：制作所述部件的视频动画；所述制作所述部件的视频动画包括：通过Kinect传感器获取所述产品的部件的RGB图像数据和深度图像数据；利用所述RGB图像数据和深度图像数据进行建模，获得所述产品的第一类三维模型数据；对所述第一类三维模型数据进行渲染分析、文字标注及引线标注处理，获得第二类三维模型数据；根据所述第二类三维模型数据制作所述部件的视频动画。6.一种虚拟电子说明书的实现装置，其特征在于，所述装置包括：标识及视...

【专利技术属性】
技术研发人员：滕书华，鲁敏，
申请(专利权)人：湖南拓视觉信息技术有限公司，
类型：发明
国别省市：湖南,43