在输入图像中确定注册图像的方法及相关装置、设备制造方法及图纸

本申请公开了一种在输入图像中确定注册图像的方法及相关装置、设备，在输入图像中确定注册图像的方法包括：获取注册图像中的至少一个注册特征点，以及输入图像中的与注册特征点对应的至少一个输入特征点；注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度；根据注册特征点及其对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；计算由关系矩阵处理的输入图像与注册图像的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；根据最优关系矩阵在输入图像中确定注册图像。上述方案，能够确定小尺寸的注册图像在输入图像的位置。

【技术实现步骤摘要】
在输入图像中确定注册图像的方法及相关装置、设备
本申请涉及注册算法的
，特别是涉及一种在输入图像中确定注册图像的方法及相关装置、设备。
技术介绍
增强现实技术(AugmentedReality，缩写为AR)是一种将虚拟信息与真实世界巧妙融合的技术。虚拟现实技术(英文名称：VirtualReality，缩写为VR)是一种囊括了计算机、电子信息、仿真技术于一体并通过计算机模拟虚拟环境来给人以环境沉浸感的技术。增强/虚拟现实是计算机视觉领域中热门的应用热点。算法通过摄像机作为输入设备，通过图像算法的处理，数字化周围环境的信息，从而获得与真实环境进行交互的体验。现有的注册算法分为两类：深度学习和特征点法。其中，深度学习需要离线地训练，通过给定一组训练数据，来学习注册图像的表面特征，得到检测网络模型。在使用时，将图像输入到检测网络模型中，便可获得注册图像在图像上的位置。这类方法流程简洁高效，是一种端到端的设计方案。但该类方法计算量大、难以部署到边缘设备中且对小目标的检测能力有限。目前，针对小目标的图像注册，行业内没有较好的技术方案对其进行定位处理。
技术实现思路
本申请提供一种在输入图像中确定注册图像的方法及相关装置、设备。本申请第一方面提供了一种在输入图像中确定注册图像的方法，包括：获取注册图像中的至少一个注册特征点，以及输入图像中的与注册特征点对应的至少一个输入特征点；注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度；根据注册特征点及其对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；计算由关系矩阵处理的输入图像与注册图像的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；根据最优关系矩阵在输入图像中确定注册图像。因此，先获取注册图像中的至少一个注册特征点，以及输入图像中的与注册特征点对应的至少一个输入特征点；注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度，通过分别获取注册图像和输入图像上的特征点进行定位计算，以减少定位计算量和在一定程度上保证所获取的注册特征点及其对应的输入特征点所对应的关系矩阵能够定位注册图像在输入图像中的位置；再根据注册特征点及其对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；计算由关系矩阵处理的输入图像与注册图像的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；根据最优关系矩阵在输入图像中确定注册图像，通过对至少一个关系矩阵进行相似度挑选，以进一步排除注册图像在输入图像中定位不准确的情况，提高在输入图像中确定注册图像的准确性和可靠性。上述方案能够实现针对小目标的注册图像的定位，并提高在输入图像中确定注册图像的准确性与鲁棒性。其中，获取注册图像中的至少一个注册特征点，以及输入图像中的与注册特征点对应的至少一个输入特征点，包括：获取注册图像中的至少一个注册特征点，以及输入图像中的至少一个输入特征点；将每一个注册特征点与每一个输入特征点匹配，确定每一个注册特征点所对应的输入特征点。因此，通过将获取的至少一个注册特征点和至少一个输入特征点进行匹配，以建立每个注册特征点和每个输入特征点之间的对应关系，从而基于每个点对的对应关系进行注册图像的定位。其中，将每一个注册特征点与每一个输入特征点匹配，确定每一个注册特征点所对应的输入特征点，包括：计算每一个注册特征点与每一个输入特征点的差异度；将差异度小于差异度阈值的作为对应的注册特征点和输入特征点。因此，通过将每一个注册特征点和每一个输入特征点之间的差异度，并对差异度进行判断，从而预先对每个点对之间的相似度进行筛选，以提高在输入图像中定位注册图像的速度和效率。其中，关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵；坐标关系矩阵与注册特征点坐标和输入特征点坐标相关，方向关系矩阵与注册特征点方向和输入特征点方向相关，尺度关系矩阵与注册特征点尺度和输入特征点尺度相关。因此，关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵；坐标关系矩阵与注册特征点坐标和输入特征点坐标相关，方向关系矩阵与注册特征点方向和输入特征点方向相关，以及尺度关系矩阵与注册特征点尺度和输入特征点尺度相关，使得关系矩阵能够表示注册图像与输入图像之间的转换关系，从而通过关系矩阵实现对输入图像上的注册图像的定位，包括坐标定位、角度定位以及尺度定位，从而对整个注册图像进行定位。其中，方向关系矩阵与注册特征点方向和输入特征点方向之差相关，尺度关系矩阵与输入特征点尺度和注册特征点尺度之商相关。因此，通过注册特征点方向和输入特征点方向之差计算方向矩阵，以得到注册图像对应的矩形与输入图像之间的旋转角度差；通过输入特征点尺度和注册特征点尺度之商计算注册图像对应的矩形在输入图像上的尺度，从而确定注册图像与输入图像之间的角度定位的角度关系和角度关系。其中，根据最优关系矩阵在输入图像中确定注册图像，包括：若相似度小于阈值，则确定输入图像中没有注册图像；若相似度大于等于阈值，则根据最优关系矩阵确定输入图像中注册图像的位置。因此，通过相似度对最优关系矩阵进行进一步判断，使得最优关系矩阵确实反映注册图像的位置，以保证最优关系矩阵的可靠性和准确性。其中，计算由关系矩阵处理的输入图像与注册图像的相似度，包括：根据误差平方和算法或归一化互相关计算相似度。因此，根据误差平方和算法或归一化互相关计算相似度，以提高对注册图像定位的准确性和可靠性。本申请第二方面提供了一种在输入图像中确定注册图像的装置，包括：获取模块，用于获取注册图像中的至少一个注册特征点，以及输入图像中的与注册特征点对应的至少一个输入特征点；注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度；处理模块，用于根据注册特征点及其对应的输入特征点，计算注册图像到输入图像的关系矩阵，获得至少一个关系矩阵；计算模块，用于计算由关系矩阵处理的输入图像与注册图像的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；确定模块，用于根据最优关系矩阵在输入图像中确定注册图像。本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的在输入图像中确定注册图像的方法。本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的在输入图像中确定注册图像的方法。上述方案，本申请通过先获取注册图像中的至少一个注册特征点，以及输入图像中的与注册特征点对应的至少一个输入特征点；注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度，通过分别获取注册图像和输入图像上的特征点进行定位计本文档来自技高网...

【技术保护点】
1.一种在输入图像中确定注册图像的方法，其特征在于，包括：/n获取所述注册图像中的至少一个注册特征点，以及所述输入图像中的与所述注册特征点对应的至少一个输入特征点；所述注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，所述输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度；/n根据注册特征点及其对应的输入特征点，计算所述注册图像到所述输入图像的关系矩阵，获得至少一个关系矩阵；/n计算由关系矩阵处理的输入图像与所述注册图像的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；/n根据所述最优关系矩阵在所述输入图像中确定所述注册图像。/n

【技术特征摘要】
1.一种在输入图像中确定注册图像的方法，其特征在于，包括：
获取所述注册图像中的至少一个注册特征点，以及所述输入图像中的与所述注册特征点对应的至少一个输入特征点；所述注册特征点包括注册特征点坐标、注册特征点方向和注册特征点尺度，所述输入特征点包括输入特征点坐标、输入特征点方向和输入特征点尺度；
根据注册特征点及其对应的输入特征点，计算所述注册图像到所述输入图像的关系矩阵，获得至少一个关系矩阵；
计算由关系矩阵处理的输入图像与所述注册图像的相似度，将最大的相似度所对应的关系矩阵确定为最优关系矩阵；
根据所述最优关系矩阵在所述输入图像中确定所述注册图像。


2.根据权利要求1所述的在输入图像中确定注册图像的方法，其特征在于，所述获取所述注册图像中的至少一个注册特征点，以及所述输入图像中的与所述注册特征点对应的至少一个输入特征点，包括：
获取所述注册图像中的至少一个注册特征点，以及所述输入图像中的至少一个输入特征点；
将每一个所述注册特征点与每一个所述输入特征点匹配，确定每一个所述注册特征点所对应的输入特征点。


3.根据权利要求2所述的在输入图像中确定注册图像的方法，其特征在于，所述将每一个所述注册特征点与每一个所述输入特征点匹配，确定每一个所述注册特征点所对应的输入特征点，包括：
计算每一个所述注册特征点与每一个所述输入特征点的差异度；
将所述差异度小于差异度阈值的作为对应的注册特征点和输入特征点。


4.根据权利要求1-3任一项所述的在输入图像中确定注册图像的方法，其特征在于，所述关系矩阵包括坐标关系矩阵、方向关系矩阵以及尺度关系矩阵；所述坐标关系矩阵与所述注册特征点坐标和输入特征点坐标相关，所述方向关系矩阵与所述注册特征点方向和所述输入特征点方向相关，所述尺度关系矩阵与所述注册特征点尺度和所述输入特征点尺度相关。


5.根据权利要求4所述的在输入图像中确定注册图像...

【专利技术属性】
技术研发人员：王求元，王楠，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：浙江;33