The invention discloses a manual real-time splicing method for microscope video stream, which comprises the following steps: first, the input frame is automatically deleted and selected; then, the three-step registration method of coarse matching, fine matching and re matching is used for image registration to improve the speed and accuracy of image matching; finally, the reference frame is selected and fused and spliced. In addition, aiming at the possible mismatches in the process of dynamic splicing, two schemes of automatic error correction and manual error correction are designed to ensure the success of manual splicing or discontinuous sample splicing. The manual real-time splicing method can control the splicing speed manually according to the image matching quality, which can not only ensure the image splicing accuracy, but also improve the image splicing speed.
【技术实现步骤摘要】
一种用于显微镜视频流的手动实时拼接方法
本专利技术属于图像处理
，尤其涉及一种用于显微镜视频流的手动实时拼接方法。
技术介绍
通过显微镜可以看到微小物体，但在大倍率情况下，显微镜可观察范围很小，大范围的感兴趣区域无法显示在同一视野下，这给显微观测和操作造成了极大不便，尤其在生物和医学显微观测领域。因此需要利用图像拼接技术，将不同视野图像拼成一幅大视野图像，来增大视野范围或提高观测分辨率。目前的图像拼接算法主要有两种处理方式，一种是纯软件端的处理，重点在研究相邻两幅图像或多幅图像的拼接，在强调准确度的同时却降低了速度上的要求，并没有适合显微镜下视频流的实时精确配准拼接，实时性差，体验感不佳。另一种是利用电机控制XY载物台位置，通过有规律的扫描得到拼接图像，但由于电机工艺上的误差，导致拼接准确度不高，并且不能消除累计拼接误差和回程误差，成本昂贵，不利于普及与推广。申请公布号为CN108492328A的专利技术专利申请公开了一种视频帧之间目标匹配方法、装置和实现装置。申请公布号为CN108063941A的专利...
【技术保护点】
1.一种用于显微镜视频流的手动实时拼接方法，包括以下步骤：/n在获取的显微镜视频流中，选取第一张最清晰的视频帧图像作为参考帧，以更换观察区域时获得的最清晰视频帧图像作为当前匹配帧；/n通过基于相位相关性进行当前匹配帧与参考帧的粗匹配；基于粗匹配结果，通过特定区域特征点的匹配进行当前匹配帧与参考帧的精匹配，得到当前匹配帧相对于参考帧的精确偏移量；/n根据当前匹配帧相对于参考帧的精确偏移量对当前匹配帧进行再匹配，获得当前匹配帧相对于初始帧的精确偏移量；/n根据计算得到的当前匹配帧相对于参考帧的精确偏移量确定当前匹配帧的匹配质量，依据匹配质量，手动调节观察区域并控制调节速度；/n...
【技术特征摘要】
1.一种用于显微镜视频流的手动实时拼接方法，包括以下步骤：
在获取的显微镜视频流中，选取第一张最清晰的视频帧图像作为参考帧，以更换观察区域时获得的最清晰视频帧图像作为当前匹配帧；
通过基于相位相关性进行当前匹配帧与参考帧的粗匹配；基于粗匹配结果，通过特定区域特征点的匹配进行当前匹配帧与参考帧的精匹配，得到当前匹配帧相对于参考帧的精确偏移量；
根据当前匹配帧相对于参考帧的精确偏移量对当前匹配帧进行再匹配，获得当前匹配帧相对于初始帧的精确偏移量；
根据计算得到的当前匹配帧相对于参考帧的精确偏移量确定当前匹配帧的匹配质量，依据匹配质量，手动调节观察区域并控制调节速度；
根据当前匹配帧的匹配质量以及其与前一次融合图像的偏移量的大小确定当前匹配帧的拼接融合资格，在当前匹配帧具有融合资格后，与整张拼接大图中对应偏移位置的背景区域进行拼接融合；
依据当前匹配帧图像质量和匹配质量，以及相对于当前参考帧的偏移量更新参考帧。
2.如权利要求1所述的用于显微镜视频流的手动实时拼接方法，其特征在于，所述通过基于相位相关性进行当前匹配帧与参考帧的粗匹配包括：
首先，对参考帧和当前匹配帧在时域上进行周期复制延伸；
然后，利用傅里叶变换将空间域表示的匹配帧和参考帧变换到频率域，在频率域中进行互功率谱计算后，再对互功率谱计算结果进行傅里叶逆变换，将匹配帧和参考帧信号变换回空间域，在空间域上求取当前匹配帧相对于参考帧的初始平移量；
最后，将初始平移量分别在X方向和Y方向加减参考帧图像尺寸的1/2，得到9个偏移量，分别计算参考帧与当前匹配帧在每个偏移量对应的图像重叠区域上的相关度，选择最大相关度对应的偏移量最佳粗匹配结果。
3.如权利要求1所述的用于显微镜视频流的手动实时拼接方法，其特征在于，所述基于粗匹配结果，通过特定区域特征点的匹配进行当前匹配帧与参考帧的精匹配，得到当前匹配帧相对于参考帧的精确偏移量包括：
根据粗匹配获得的偏移量，求取当前匹配帧上重叠区域和参考帧上重叠区域的梯度矩阵，并对两个梯度矩阵分别进行积分图计算，在积分图中快速寻找梯度值的和最大的300*300的矩阵块，作为参考帧区域特征块和匹配帧区域特征块；
通过特征点匹配法计算参考帧区域特征块和匹配帧区域特征块中对应特征点之间的偏移量，以此确定当前匹配帧相对于参考帧的精确偏移量。
4.如权利要求3所述的用于显微镜视频流的手动实时拼接方法，其特征在于，所述通过特征点匹配法计算参考帧区域特征块和匹配帧区域特征块中对应特征点之间的偏移量，以此确定当前匹配帧相对于参考帧的精确偏移量包括：
采用FAST算法提取参考帧区域特征块中的特征点和匹配帧区域特征块中的特征点；
利用RBRIEF描述子对参考帧特征点和匹配帧特征点进行描述，生成256维二进制描述子，为了增加图像旋转不变性，计算参考帧特征点和匹配帧特征点的主方向；
根据描述子，利用汉明距离对参考帧特征点和匹配帧特征点进行匹配，获得与匹配帧特征点唯一匹配的参考帧特征点，形成匹配特征点对；
利用邻域相似性对匹配特征点对进行验证，删除匹配不正确的参考帧特征点和匹配帧特征点；
在剩下的参考帧特征点和匹配帧特征点中，根据匹配帧特征点之间距离和与匹配帧特征点匹配的参考帧特征点之间距离的距离误差，挑选匹配质量最好的匹配特征点对集合，以匹配特征点对集合中所有匹配特征点对偏移量的均值作为当前匹配帧相对于参考帧的精确偏移量。
5.如权利要求4所述的用于显微镜视频流的手动实时拼接方法，其特征在于，所述手动实时拼接方法还包括：
在利用FAST算法提取参考帧区域特征块和匹配帧区域特征块中的参考帧特征点和匹配帧特征点时，确定FAST算子的自适应阈值，利用该自适应阈值提取参考帧特征点和匹配帧特征点；
按照以下方法确定FAST算子的自适应阈值：
滑动窗口在图像上按照一定步长移动，每次移动中计算每个像素点与窗口中心点的灰度差值，取所有灰度差值的均值为迭代初始值T0；
根据迭代初始值T0将灰度差直方图分为两部分，按照公式(1)计算下一个自适应阈值Ti：
其中，m为每个窗口中像素点和中心像素点的灰度差值，h(m)为整张图像中具有该灰度差值的点的数量，Cmax为灰度差值的最大值，每进行一次迭代后进行判断，若︱Ti+1－Ti︱＝0，停止迭代，取Ti作为最后的FAST算子的自适应阈值。
6.如权利要求4所述的用于显微镜视频流的手动实时拼接方法，其特征在于，所述利用邻域相似性对匹配特征点对进行验证，删除匹配不正确的参考帧特征点和匹配帧特征点包括：
利用公式(2)确定任意图像中特征点之间的对应关系：
其中，和分别表示第r幅图像中第p个特征点和第q个特征点的坐标向量，表示第r幅图像中第p个特征点与第q个特征点的对应关系，当r＝I时，和分别表示匹配帧中第p个参考帧特征点和第q个参考帧特征点的坐标向量；当r＝II时，和分别表示参考帧中第p个匹配帧特征点...
【专利技术属性】
技术研发人员：余飞鸿，陈诗敏，朱晨辉，周海洋，
申请(专利权)人：杭州图谱光电科技有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。