图像处理方法及相关终端、设备和存储介质技术

本申请公开了一种图像处理方法及相关终端、设备和存储介质，其中，图像处理方法包括：终端获取拍摄装置拍摄得到的图像帧，其中，图像帧包括第一图像帧和第二图像帧；利用第一线程执行：将第一图像帧作为待配准图像，并将待配准图像与目标图像进行配准，以得到待配准图像的第一处理结果；利用第二线程执行：将第二图像帧作为待跟踪图像，并基于参考图像帧的参考处理结果、待跟踪图像与参考图像帧中的图像信息，以得到待跟踪图像的第二处理结果，其中，参考图像帧为在待跟踪图像之前的图像帧，参考处理结果是基于第一处理结果确定，第一线程和第二线程是异步处理的。通过该方法，提高了终端的响应速度，降低了延迟。降低了延迟。降低了延迟。

【技术实现步骤摘要】
图像处理方法及相关终端、设备和存储介质


[0001]本申请涉及人工智能
，特别是涉及一种图像处理方法及相关终端、设备和存储介质。

技术介绍

[0002]图像配准以及跟踪是AR、VR等计算机视觉领域中的研究重点，通过图像配准、图像跟踪技术可以获取相机拍摄到的当前图像与目标图像之间的变换参数，从而后续可以通过变换参数，得到目标图像在当前图像中的位置。
[0003]目前，终端在运行图像处理算法时，需要将本地端获取的图像通过网络上传至云端，由云端来对图像进行具体的处理，本地端再根据云端反馈的处理结果进行后续的渲染、展示等等。然而，这样的处理方法，容易受到网络传输速度不佳、云端处理速度较慢的影响，导致设备无法及时得到结果，延迟较高，阻碍了该技术的进一步发展。
[0004]因此，如何提高设备在运行图像处理算法的速度，具有非常重要的意义。

技术实现思路

[0005]本申请提供一种图像处理方法及相关终端、设备和存储介质。
[0006]本申请第一方面提供了一种图像处理方法，方法包括：终端获取拍摄装置拍摄得到的图像帧，其中，图像帧包括第一图像帧和第二图像帧；利用第一线程执行：将第一图像帧作为待配准图像，并将待配准图像与目标图像进行配准，以得到待配准图像的第一处理结果；利用第二线程执行：将第二图像帧作为待跟踪图像，并基于参考图像帧的参考处理结果、待跟踪图像与参考图像帧中的图像信息，以得到待跟踪图像的第二处理结果，其中，参考图像帧为在待跟踪图像之前的图像帧，参考处理结果是基于第一处理结果确定，第一线程和第二线程是异步处理的。
[0007]因此，通过将第一线程和第二线程是设置为异步处理，使得终端具有在进行图像配准的过程中，还可以进行图像跟踪的能力，故使得图像跟踪不一定需等待图像配准的结果(第一处理结果)，进而终端能够及时得到跟踪结果(第二处理结果)实现图像跟踪，提高了终端的响应速度，降低了延迟。
[0008]其中，上述的将待配准图像与目标图像进行配准，以得到待配准图像的第一处理结果，包括：基于待配准图像与目标图像之间的第一匹配点对，确定待配准图像与目标图像之间的第一变换参数；基于第一变换参数，得到第一处理结果；上述的参考处理结果为参考图像帧与目标图像之间的参考变换参数；上述的基于参考图像帧的参考处理结果、待跟踪图像与参考图像帧中的图像信息，以得到待跟踪图像的第二处理结果，包括：基于待跟踪图像与参考图像帧之间的第二匹配点对，确定第二变换参数；利用参考变换参数和第二变换参数，得到待跟踪图像与目标图像之间的第三变换参数；基于第三变换参数，得到第二处理结果。
[0009]因此，通过获取第一匹配点对，可以得到待配准图像与目标图像之间的第一变换
参数，并最终得到第一处理结果，另外，通过获取第二匹配点对，可以得到待跟踪图像与目标图像之间的第三变换参数，并最终得到第二处理结果。
[0010]其中，上述的第一处理结果为待配准图像与目标图像之间的第一变换参数，第二处理结果为待跟踪图像与目标图像之间的第三变换参数；或者，第一处理结果为待配准图像的位姿，第二处理结果为待跟踪图像的位姿；或者，第一处理结果为第一变换参数，第二处理结果为待跟踪图像的位姿，且方法还包括利用第二线程执行以下步骤：利用第一变换参数，得到待配准图像的位姿。
[0011]因此，通过将第二处理结果设置为不同的类型(第三变换参数或者是待跟踪图像的位姿)，后续可以根据需要进行选择。
[0012]其中，在上述的基于参考图像帧的参考处理结果、待跟踪图像与参考图像帧中的图像信息，得到待跟踪图像的第二处理结果之前，方法还包括利用第二线程执行以下步骤：响应于参考处理结果不是基于最新得到的第一处理结果确定的情况下，基于最新得到的第一处理结果，得到参考处理结果。
[0013]因此，通过最新的第一处理结果得到参考处理结果，可以是实现对参考处理结果的更新。
[0014]其中，上述的最新得到的第一处理结果所对应的待配准图像为第三图像帧；其中，上述的基于最新得到的第一处理结果，得到参考处理结果，包括：在参考图像帧为第三图像帧的情况下，将第三图像帧的第一处理结果作为参考处理结果；和/或，在参考图像帧不为第三图像帧的情况下，基于第三图像帧的第一处理结果以及第三图像帧与参考图像帧之间的变化关系，得到参考处理结果。
[0015]因此，通过确定参考图像帧是否为第三图像帧，可以分别确定对应的参考处理结果。
[0016]其中，在上述的将第一图像帧作为待配准图像之前，方法还包括利用第二线程执行以下步骤：选出满足配准条件的图像帧作为第一图像帧，并将第一图像帧传递给第一线程，或者，将获取到的图像帧传递给第一线程，利用第一线程选出满足配准条件的图像帧作为第一图像帧。
[0017]因此，通过选出满足预设条件的图像帧作为第一图像帧，可以避免对每一图像帧都执行图像配准的步骤，可以减少运算量，提高终端的响应速度。
[0018]其中，上述的配准条件为属于每间隔预设数量的图像帧，或者为与前一图像帧之间的相似度不满足相似度要求的图像帧。
[0019]因此，通过设置具体的预设条件，可以选出满足预设条件的图像帧。
[0020]在利用利用第一线程执行：将第一图像帧作为待配准图像，并将待配准图像与目标图像进行配准，以得到待配准图像的第一处理结果之前，方法还包括利用第二线程执行以下步骤：将第一线程进行初始化；和/或，方法还包括利用第二线程执行以下至少一个步骤：在第二线程得到待跟踪图像的第二处理结果之后，基于待跟踪图像的第二处理结果，对待跟踪图像进行渲染并显示；在第一线程得到待配准图像的第一处理结果的情况下，基于待配准图像的第一处理结果，对待配准图像进行渲染并显示。
[0021]因此，通过利用第二线程对待跟踪图像进行渲染并显示，或者是利用第二线程对待配准图像进行渲染并显示，可以实现对图像帧的加工，实现与真实环境之间的交互。
[0022]其中，上述的第一线程为网页中的woker工人线程；和/或，第一线程和第二线程的部分或全部执行步骤是由WebAssembly(WASN)编程语言实现；和/或，第一线程和第二线程之间采用消息传递机制进行数据传递。
[0023]因此，通过在网页端创建并利用worker线程，可以使得网页端能够执行多线程任务，提高了网页端运行本申请图像处理方法的运行速度。另外，通过在网页端利用WASN编程语言来执行第一线程或者第二线程的部分或全部执行步骤，可以充分利用终端自身的算力，提高了设备的使用效率，并且可以提高整个图像处理方法的运行速度，降低延迟。
[0024]其中，上述的参考图像帧为待跟踪图像的前第i帧，i为大于或等于1的整数；和/或，上述的第一图像帧与第二图像帧为不同的图像帧，或者，至少部分第一图像帧为第二图像帧。
[0025]因此，通过将第一图像帧与第二图像帧为不同的图像帧，或者是将至少部分第一图像帧为第二图像帧，可以分别针对第一图像帧进行图像配准或者针对第二图像帧进行图像跟踪。...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：终端获取拍摄装置拍摄得到的图像帧，其中，所述图像帧包括第一图像帧和第二图像帧；利用第一线程执行：将所述第一图像帧作为待配准图像，并将所述待配准图像与目标图像进行配准，以得到所述待配准图像的第一处理结果；利用第二线程执行：将所述第二图像帧作为待跟踪图像，并基于参考图像帧的参考处理结果、所述待跟踪图像与所述参考图像帧中的图像信息，以得到所述待跟踪图像的第二处理结果，其中，所述参考图像帧为在所述待跟踪图像之前的所述图像帧，所述参考处理结果是基于所述第一处理结果确定，所述第一线程和第二线程是异步处理的。2.根据权利要求1所述的方法，其特征在于，所述将所述待配准图像与目标图像进行配准，以得到所述待配准图像的第一处理结果，包括：基于所述待配准图像与目标图像之间的第一匹配点对，确定所述待配准图像与所述目标图像之间的第一变换参数；基于所述第一变换参数，得到所述第一处理结果；所述参考处理结果为所述参考图像帧与目标图像之间的参考变换参数；所述基于参考图像帧的参考处理结果、所述待跟踪图像与所述参考图像帧中的图像信息，以得到所述待跟踪图像的第二处理结果，包括：基于所述待跟踪图像与所述参考图像帧之间的第二匹配点对，确定所述第二变换参数；利用所述参考变换参数和第二变换参数，得到所述待跟踪图像与所述目标图像之间的第三变换参数；基于所述第三变换参数，得到所述第二处理结果。3.根据权利要求1或2所述的方法，其特征在于，所述第一处理结果为所述待配准图像与所述目标图像之间的第一变换参数，所述第二处理结果为所述待跟踪图像与所述目标图像之间的第三变换参数；或者，所述第一处理结果为所述待配准图像的位姿，所述第二处理结果为所述待跟踪图像的位姿；或者，所述第一处理结果为所述第一变换参数，所述第二处理结果为所述待跟踪图像的位姿，且所述方法还包括利用所述第二线程执行以下步骤：利用所述第一变换参数，得到所述待配准图像的位姿。4.根据权利要求1至3任一项所述的方法，其特征在于，在所述基于参考图像帧的参考处理结果、所述待跟踪图像与所述参考图像帧中的图像信息，得到所述待跟踪图像的第二处理结果之前，所述方法还包括利用所述第二线程执行以下步骤：响应于所述参考处理结果不是基于最新得到的第一处理结果确定的情况，基于最新得到的所述第一处理结果，得到所述参考处理结果。5.根据权利要求4所述的方法，其特征在于，所述最新得到的第一处理结果所对应的待配准图像为第三图像帧；所述基于最新得到的所述第一处理结果，得到所述参考处理结果，包括：在所述参考图像帧为所述第三图像帧的情况下，将所述第三图像帧的第一处理结果作
为所述参考处理结果；和/或，在所述参考图像帧不为所述第三图像帧的情况下，基于所述第三图像帧的第一处理结果以及所述第三图像帧与所述参考图像帧之间的变化关系，得到所述参考处理结果。6.根...

【专利技术属性】
技术研发人员：王求元，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：