一种视觉伺服斑马鱼心脏注射方法技术

一种视觉伺服斑马鱼心脏注射方法，本发明专利技术涉及视觉伺服斑马鱼心脏注射方法。本发明专利技术的目的是为了解决现有技术都是手工对斑马鱼心脏进行注射，成功率低，而且需要对人员进行培训，费时费力，成功率低的问题。过程为：一、将斑马鱼幼鱼、注射针和吸持针置于显微镜视野范围内，得到图像；二、进行预处理，得到斑马鱼幼鱼所在区域及斑马鱼幼鱼的倾角θ；三、确定吸持针和注射针轮廓；四、用注射针将斑马鱼幼鱼调整到与注射针相互垂直的方向；五、确定斑马鱼幼鱼心脏区域；六、用吸持针将斑马鱼幼鱼吸住；七、确定斑马鱼幼鱼心脏的左右朝向；八、根据斑马鱼幼鱼心脏的朝向确定注射位置。本发明专利技术用于斑马鱼注射领域。

A visual servoing method for zebrafish heart injection

A visual servo zebrafish heart injection method and the present invention relates to a visual servo zebrafish cardiac injection method. The invention aims to solve the problem that the prior art is manually injected into the heart of a zebrafish, with low success rate, and requiring personnel training, time-consuming and laborious, and low success rate. The process is: first, the zebrafish larvae and the injection needle and needle aspiration in the microscopic field range image is obtained; two, pretreatment, get the angle of zebrafish larvae area and zebrafish larvae; three, confirm needle and needle contour; four, with a needle will adjust to the interaction of zebrafish larvae the vertical and needle direction; five, to determine the juvenile zebrafish heart region; six, suction needle will hold seven, determine the zebrafish larvae; juvenile zebrafish heart around eight, according to the orientation; toward the heart of zebrafish larvae determine the injection position. The present invention is used in the field of zebrafish injection.

【技术实现步骤摘要】
一种视觉伺服斑马鱼心脏注射方法
本专利技术涉及视觉伺服斑马鱼心脏注射方法。
技术介绍
斑马鱼目前已经成为最重要的有脊椎模式动物之一。它的优点包括繁殖能力极强，与人类基因相似度很高，生长速度快，从胚胎至幼鱼时期都为透明故便于观察其身体发育等特性。因此，斑马鱼在研究脊椎动物发育生物学方向具有极其重要的研究价值。由于在特定的研究中需要将药物注射进斑马鱼的心脏(例如，将荧光试剂注射进斑马鱼幼鱼的心脏后，观察荧光试剂随血液的流动和分布情况)，观察斑马鱼变化，但现有都是手工对斑马鱼心脏进行注射，成功率低，而且需要对人员进行培训，费时费力，成功率低。
技术实现思路
本专利技术的目的是为了解决现有技术都是手工对斑马鱼心脏进行注射，成功率低，而且需要对人员进行培训，费时费力，成功率低的问题，而提出一种视觉伺服斑马鱼心脏注射方法。一种视觉伺服斑马鱼心脏注射方法具体过程为：步骤一、将斑马鱼幼鱼、注射针和吸持针置于显微镜视野范围内，得到图像；步骤二、对步骤一中得到的图像进行预处理，得到斑马鱼幼鱼所在区域及斑马鱼幼鱼的倾角θ；步骤三、基于步骤二得到的斑马鱼幼鱼所在区域及斑马鱼幼鱼的倾角θ，确定吸持针和注射针轮廓；步骤四、基于步骤三确定的吸持针和注射针轮廓，用注射针将斑马鱼幼鱼调整到与注射针相互垂直的方向；步骤五、基于步骤四，确定斑马鱼幼鱼心脏区域；步骤六、基于步骤五确定斑马鱼幼鱼心脏区域后，用吸持针将斑马鱼幼鱼吸住；步骤七、基于步骤六，确定斑马鱼幼鱼心脏的左右朝向；步骤八、根据斑马鱼幼鱼心脏的朝向确定注射位置。本专利技术的有益效果为：本专利技术将斑马鱼幼鱼、注射针和吸持针置于显微镜视野范围内，得到图像；对图像进行预处理，得到斑马鱼幼鱼所在区域及斑马鱼幼鱼的倾角θ；确定吸持针和注射针轮廓；用注射针将斑马鱼幼鱼调整到与注射针相互垂直的方向；确定斑马鱼幼鱼心脏区域；用吸持针将斑马鱼幼鱼吸住；确定斑马鱼幼鱼心脏的左右朝向；根据斑马鱼幼鱼心脏的朝向和角度确定注射位置。完成自动对斑马鱼心脏进行注射，成功率高，而且不需要对人员进行培训，自动完成，省时省力。实施例一中对50条斑马鱼幼鱼进行了心脏注射，平均速度为每分钟5条，各步骤所用时间如图7所示，针尖检测需要0.8s，计算幼鱼区域需要1.3s，旋转幼鱼需要3.6s，确定心脏区域需要0.9s，吸持幼鱼需要0.8s，缩小心脏区域需要1.2s，心脏定位需要5.1s，注射需要0.3s，释放幼鱼需要0.7s，撤回注射针需要0.3s，整个过程共需要15s，可得出本专利技术可以快速准确的对斑马鱼幼鱼心脏进行注射，成功率高。附图说明图1为本专利技术j与ey的关系图；图2为本专利技术斑马鱼幼鱼的旋转示意图；图3为心脏向上时心脏区域示意图；图4为侧向时心脏区域示意图；图5为斑马鱼幼鱼截面图；图6为旋转后的斑马鱼幼鱼截面图；图7为实施例一中对50条斑马鱼幼鱼进行了心脏注射，各步骤所用时间示意图；图8a为斑马鱼幼鱼根据心脏斜向示意图，tu为两个坐标系进行坐标变换的位移，RCH为斑马鱼幼鱼心脏区域，LBR为幼鱼区域，l1、l2为确定的包含幼鱼的矩形的两条长边，Medianline为中线，ui为中线上的点的横坐标，vi为中线上的点的纵坐标，ImproveRCH为进一步确定的斑马鱼幼鱼心脏区域，Fittedcurve为拟合曲线；Oi-UV为视野坐标系，为Oi-UV变换为斑马鱼幼鱼的坐标系；Oi是视野坐标系的原点，U和V是视野坐标系的两个轴，是幼鱼坐标系的原点，U*和V*是幼鱼坐标系的两个轴；图8b为斑马鱼幼鱼根据心脏向上示意图；图8c为斑马鱼幼鱼根据心脏向右示意图；图8d为斑马鱼幼鱼根据心脏向左示意图。具体实施方式具体实施方式一：本实施方式的一种视觉伺服斑马鱼心脏注射方法具体过程为：步骤一、将斑马鱼幼鱼、注射针和吸持针置于显微镜视野范围内，得到图像；步骤二、对步骤一中得到的图像进行预处理，得到斑马鱼幼鱼所在区域及斑马鱼幼鱼的倾角θ；步骤三、基于步骤二得到的斑马鱼幼鱼所在区域及斑马鱼幼鱼的倾角θ，确定吸持针和注射针轮廓；步骤四、基于步骤三确定的吸持针和注射针轮廓，用注射针将斑马鱼幼鱼调整到与注射针相互垂直的方向；步骤五、基于步骤四，确定斑马鱼幼鱼心脏区域；步骤六、基于步骤五确定斑马鱼幼鱼心脏区域后，用吸持针将斑马鱼幼鱼吸住；步骤七、基于步骤六，确定斑马鱼幼鱼心脏的左右朝向；步骤八、根据斑马鱼幼鱼心脏的朝向确定注射位置。具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中将斑马鱼幼鱼、注射针和吸持针置于显微镜视野范围内；具体过程为：使用蒸馏水稀释后的MS‐222将斑马鱼幼鱼麻醉，麻醉后的斑马鱼幼鱼根据心脏朝向分为4类：向上、斜向、向左和向右；(由于鱼鳔提供浮力，斜向和向上是最常见的姿态，然而向左和向右则提供了更好的观察心脏跳动的角度)将斑马鱼幼鱼置于显微镜载物台上，手动将斑马鱼幼鱼对焦，并将吸持针和注射针分别移动到视野区域内的斑马鱼幼鱼左右两侧，得到图像，如图2所示，图8a、8b、8c、8d；图8a为斑马鱼幼鱼根据心脏斜向示意图,图中斑马鱼幼鱼鱼头垂直放置，身体倾斜，可看到2个鱼眼；图8b为斑马鱼幼鱼根据心脏向上示意图，图中斑马鱼幼鱼鱼头和身体都垂直放置，身体与鱼头为一条直线，可看到2个鱼眼；图8c为斑马鱼幼鱼根据心脏向右示意图，图中斑马鱼幼鱼鱼头和鱼身向右倾斜放置，可看到1个鱼眼；图8d为斑马鱼幼鱼根据心脏向左示意图，图中斑马鱼幼鱼鱼头和鱼身向左倾斜，放置可看到1个鱼眼；观察者面向斑马鱼幼鱼，观察者左面为斑马鱼左，观察者右面为斑马鱼右；转步骤二；ms-222是间氨基苯甲酸乙酯甲磺酸盐，分子式是C10H15NO5S；蒸馏水稀释后的MS‐222浓度为0.03％；斑马鱼幼鱼为5‐6天的斑马鱼。其它步骤及参数与具体实施方式一相同。具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤二中对步骤一中得到的图像进行预处理，得到斑马鱼幼鱼所在区域及斑马鱼幼鱼的倾角θ；具体过程为:首先将图像转化为灰度图像，再进行高斯滤波除去噪声，然后转化为二值图像，最后对二值图像进行腐蚀去掉漂浮的絮状物和培养皿底部的小污染物；用漫水填充算法确定视野中斑马鱼幼鱼所在区域，漫水填充算法为在二值图像中选定一个像素值为255(白色)的点作为种子点，查找相邻的8个像素中和种子点联通的颜色相同的点并将其作为新种子，重复该过程可以得到一个相连的区域(即OpenCV中的cvFloodFill函数)漫水填充算法可以得到二值图像中的多个区域，其中最大的区域代表斑马鱼幼鱼所在区域；将包含斑马鱼幼鱼所在区域的面积最小的矩形两个长边延长至视野边界，矩形两个长边延长线中任意一条线与视野边界的倾角就是斑马鱼幼鱼的倾角θ。转步骤三；其它步骤及参数与具体实施方式一或二相同。具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述步骤三中基于步骤二得到的斑马鱼幼鱼所在区域及斑马鱼幼鱼的倾角θ，确定吸持针和注射针轮廓，具体过程为:将两条长边中间的区域去掉，获得图像C，移动机械臂A，获得图像D，图像C减图像D(针的移动即使很慢也会对鱼形成扰动，因此应将鱼的区域排除在外)，得到吸持针的轮廓；移动机械臂A范围为略大于图像分辨率，5um～15um；移动机械臂B，获得图像E，图像D减图像E本文档来自技高网...

【技术保护点】
一种视觉伺服斑马鱼心脏注射方法，其特征在于：所述方法具体过程为：步骤一、将斑马鱼幼鱼、注射针和吸持针置于显微镜视野范围内，得到图像；步骤二、对步骤一中得到的图像进行预处理，得到斑马鱼幼鱼所在区域及斑马鱼幼鱼的倾角θ；步骤三、基于步骤二得到的斑马鱼幼鱼所在区域及斑马鱼幼鱼的倾角θ，确定吸持针和注射针轮廓；步骤四、基于步骤三确定的吸持针和注射针轮廓，用注射针将斑马鱼幼鱼调整到与注射针相互垂直的方向；步骤五、基于步骤四，确定斑马鱼幼鱼心脏区域；步骤六、基于步骤五确定斑马鱼幼鱼心脏区域后，用吸持针将斑马鱼幼鱼吸住；步骤七、基于步骤六，确定斑马鱼幼鱼心脏的左右朝向；步骤八、根据斑马鱼幼鱼心脏的朝向确定注射位置。

【技术特征摘要】
1.一种视觉伺服斑马鱼心脏注射方法，其特征在于：所述方法具体过程为：步骤一、将斑马鱼幼鱼、注射针和吸持针置于显微镜视野范围内，得到图像；步骤二、对步骤一中得到的图像进行预处理，得到斑马鱼幼鱼所在区域及斑马鱼幼鱼的倾角θ；步骤三、基于步骤二得到的斑马鱼幼鱼所在区域及斑马鱼幼鱼的倾角θ，确定吸持针和注射针轮廓；步骤四、基于步骤三确定的吸持针和注射针轮廓，用注射针将斑马鱼幼鱼调整到与注射针相互垂直的方向；步骤五、基于步骤四，确定斑马鱼幼鱼心脏区域；步骤六、基于步骤五确定斑马鱼幼鱼心脏区域后，用吸持针将斑马鱼幼鱼吸住；步骤七、基于步骤六，确定斑马鱼幼鱼心脏的左右朝向；步骤八、根据斑马鱼幼鱼心脏的朝向确定注射位置。2.根据权利要求1所述一种视觉伺服斑马鱼心脏注射方法，其特征在于：所述步骤一中将斑马鱼幼鱼、注射针和吸持针置于显微镜视野范围内；具体过程为：使用蒸馏水稀释后的MS‐222将斑马鱼幼鱼麻醉，麻醉后的斑马鱼幼鱼根据心脏朝向分为4类：向上、斜向、向左和向右；将斑马鱼幼鱼置于显微镜载物台上，手动将斑马鱼幼鱼对焦，并将吸持针和注射针分别移动到视野区域内的斑马鱼幼鱼左右两侧，得到图像；MS‐222是间氨基苯甲酸乙酯甲磺酸盐。3.根据权利要求2所述一种视觉伺服斑马鱼心脏注射方法，其特征在于：所述步骤二中对步骤一中得到的图像进行预处理，得到斑马鱼幼鱼所在区域及斑马鱼幼鱼的倾角θ；具体过程为:首先将图像转化为灰度图像，再进行高斯滤波除去噪声，然后转化为二值图像，最后对二值图像进行腐蚀去掉漂浮的絮状物和培养皿底部的污染物；用漫水填充算法确定视野中斑马鱼幼鱼所在区域，将包含斑马鱼幼鱼所在区域的面积最小的矩形两个长边延长至视野边界，矩形两个长边延长线中任意一条线与视野边界的倾角就是斑马鱼幼鱼的倾角θ。4.根据权利要求3所述一种视觉伺服斑马鱼心脏注射方法，其特征在于：所述步骤三中基于步骤二得到的斑马鱼幼鱼所在区域及斑马鱼幼鱼的倾角θ，确定吸持针和注射针轮廓，具体过程为:将两条长边中间的区域去掉，获得图像C，移动机械臂A，获得图像D，图像C减图像D，得到吸持针的轮廓；移动机械臂B，获得图像E，图像D减图像E，得到注射针的轮廓；吸持针位于机械臂A上，注射针位于机械臂B上。5.根据权利要求4所述一种视觉伺服斑马鱼心脏注射方法，其特征在于：所述步骤四中基于步骤三确定的吸持针和注射针轮廓，用注射针将斑马鱼幼鱼调整到与注射针相互垂直的方向；具体过程为：用注射针接触斑马鱼幼鱼位于上半部分和下半部分的两点以改变斑马鱼幼鱼的倾角，RP1为斑马鱼幼鱼上半部分的点，RP-1为斑马鱼幼鱼下半部分的点；当斑马鱼幼鱼的倾角θ与期望倾角θ*不同时，定义倾角误差eθ＝θ*-θ，则i＝sgn(eθ)；定义注射针针尖坐标(xIPT,yIPT)，故控制注射针在y轴方向上移动的PD控制器为：其中，和为y轴PD控制器控制增益，ey,k为k时刻RP1和RP-1确定的y坐标的位置与k时刻的注射针针尖确定的y轴坐标的位置的差；ey,k-1为k-1时刻RP1和RP-1确定的y坐标的位置与k-1时刻的注射针针尖确定的y轴坐标的位置的差；ey,k-2为k-2时刻RP1和RP-1确定的y坐标的位置与k-2时刻的注射针针尖确定的y轴坐标的位置的差；为k时刻RP1和RP-1确定的y轴坐标的位置，i＝±1，k为整数；为k时刻的注射针针尖确定的y轴坐标的位置；当|ey,k|＜ε时，ε为阈值，取值为20um；注射针针尖x轴的目标设置为其中为斑马鱼幼鱼的宽度，i＝±1，为斑马鱼幼鱼上半部分的的宽度，为斑马鱼幼鱼下半部分的的宽度；控制注射针在x轴方向上移动的PD控制器为：其中，和为x轴PD控制器控制增益，ex,k为k时刻注射针针尖到目标坐标的距离；ex,k-1为k-1时刻注射针针尖到目标坐标的距离；ex,k-2为k-2时刻注射针针尖到目标坐标的距离；其中，为k时刻RP1和RP-1确定的x坐标的位置；j＝0时代表针尖不施加作用，j≠0时代表针尖施加作用的增益；为k时刻的注射针针尖确定的x轴坐标的位置；旋转时斑马鱼幼鱼的模型如下：其中，I是斑马鱼幼鱼转动惯量，B是斑马鱼幼鱼转动的粘滞系数，τ是注射针针尖施加的力矩，为斑马鱼幼鱼的角速度，为斑马鱼幼鱼的角加速度；在RPi点施加的力为F，则τ＝Fli，其中i＝±1，为注射针针尖施加的力的力臂，O(xo,yo)是斑马鱼幼鱼鱼鳔的重心；注射针针尖接触斑马鱼幼鱼的作用力建模如下：F＝keΔxf其中ke表示斑马鱼幼鱼皮肤的硬度，为非负常数；Δxf表示斑马鱼幼鱼的形变量；当倾角误差eθ为正数时，i取+1，注射针针尖触碰斑马鱼幼鱼RP1点；当倾角误差eθ为负数时，i取-1，注射针针尖触碰斑马鱼幼鱼RP-1点；令τ＝kelikθ,ieθ，其中keli是常数，kθ,i是PD控制器参数，针对倾角误差eθ的正负，斑马鱼幼鱼的模型表示为：倾角误差eθ为正时，斑马鱼幼鱼的模型为情况1；倾角误差eθ为0，斑马鱼幼鱼的模型为情况2，表明斑马鱼幼鱼与注射针相互垂直；倾角误差eθ为负时，斑马鱼幼鱼的模型为情况3；其中Ki＝kelikθ,i,i＝±1，为eθ的二阶导数，为eθ的一阶导数，Ki为注射针针尖施加的力矩相对于误差eθ的系数，为常数；li为注射针针尖施加的力的力臂。6.根据权利要求5所述一种视觉伺服斑马鱼心脏注射方法，其特征在于：所述步骤五中基于步骤四，确定斑马鱼幼鱼心脏区域；具体过程为：将使斑马鱼幼鱼与注射针相互垂直后的图像转化为二值图像，然后应用漫水填充算法得到相连的区域；当斑马鱼幼鱼心脏向上时，三个面积最大的区域分别代表两只眼睛和鱼的身体，面积第一大的区域代表鱼的身体，面积第二大的区域、第三大的区域代表两只眼睛；当斑马鱼幼鱼的心脏斜向、向左或向右时，两只眼睛连在一起，面积第一大的区域代表鱼的身体，面积第二大的区域代表两只眼睛连起来的区域，面积第三大的区域代表皮肤上的颜色；故可根据面积第二和面积第三的差异来区分两种情形，若第三大的面积大于第二大的面积的1/2倍小于等于1倍时，则认为斑马鱼幼鱼的心脏向上；若第三大的面积小于等于第二大的面积的1/2倍，大于等于0时，则认为斑马鱼幼鱼的心脏斜向、向左或向右；对于斑马鱼幼鱼的心脏向上的情形，表示斑马鱼幼鱼左眼睛的重心坐标，表示斑马鱼幼鱼右眼睛的重心坐标；(xcSB,ycSB)表示斑马鱼幼鱼鱼鳔的重心gSB坐标，其中为斑马鱼幼鱼左眼睛重心的横坐标，为斑马鱼幼鱼左眼睛重心的纵坐标，为计算重心坐标的中间变量；

【专利技术属性】
技术研发人员：高会军，庄松霖，林伟阳，张格非，尚忻忻，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23