海洋鱼类三维图像获取及处理方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种海洋鱼类三维图像获取及处理方法、装置、设备及介质，该方法包括：通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图，根据第一二维图像以及第二二维图像获取视差图，根据第三二维图像对深度图进行校正，获取校正后的深度图，根据视差图以及校正后的深度图，对各条鱼的深度信息进行校正，确定各条鱼的校正后的深度信息，并获取包括各条鱼的三维信息的目标图像，采用深度学习方法，根据目标图像，确定各条鱼的属性，降低了鱼群分布信息获取的成本，提高了鱼群分布信息获取的准确率。

3-D image acquisition and processing methods, devices, equipment and media of marine fish

The invention discloses a method for acquiring and processing three-dimensional image of marine fish, a device, a device and a medium. The method includes acquiring the first two-dimensional image, the second two-dimensional image, the third two-dimensional image and depth map of the target ocean area through an underwater imaging device, acquiring disparity map according to the first two-dimensional image and the second two-dimensional image, and matching depth map according to the third two-dimensional image. Correction is carried out to obtain the corrected depth map. Depth information of each fish is corrected according to disparity map and corrected depth map. The corrected depth information of each fish is determined, and the target image including three-dimensional information of each fish is obtained. The attributes of each fish are determined according to the target image by depth learning method, which reduces the acquisition of the distribution information of the fish flock. This method improves the accuracy of fish distribution information acquisition.

【技术实现步骤摘要】
海洋鱼类三维图像获取及处理方法、装置、设备及介质
本专利技术实施例涉及图像处理技术，尤其涉及一种海洋鱼类三维图像获取及处理方法、装置、设备及介质。
技术介绍
海洋生态质量评价对海洋生物学科的研究、环境保护和渔业发展有重要意义。获取鱼群分布信息是进行海洋生态质量评价的重要参数。目前，主要是通过人工在定点捕捞鱼类，以获取鱼群分布信息。但是，人工捕捞方式浪费大量人力物力，并且，鱼类对捕捞设备的趋避性使得根据捕捞获取到的鱼群分布信息难以代表整体海域分布。因此，目前获取鱼群分布信息的方式成本较高，并且，准确率较低。
技术实现思路
本专利技术提供一种海洋鱼类三维图像获取及处理方法、装置、设备及介质，以解决目前获取鱼群分布信息的方式成本较高以及准确率较低的技术问题。第一方面，本专利技术实施例提供了一种海洋鱼类三维图像获取及处理方法，包括：通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图；其中，所述水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，所述第一二维图像为通过所述左目相机获取的图像，所述第二二维图像为通过所述右目相机获取的图像，所述第三二维图以及本文档来自技高网...

【技术保护点】
1.一种海洋鱼类三维图像获取及处理方法，其特征在于，包括：通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图；其中，所述水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，所述第一二维图像为通过所述左目相机获取的图像，所述第二二维图像为通过所述右目相机获取的图像，所述第三二维图以及所述深度图为通过所述深度相机获取的图像；根据所述第一二维图像以及所述第二二维图像获取视差图；其中，所述视差图用于指示所述目标海洋区域中的各条鱼的深度信息；根据所述第三二维图像对所述深度图进行校正，获取校正后的深度图；根据所述视差图以及所述校正后的深度图，对各条所述鱼的深度信...

【技术特征摘要】
1.一种海洋鱼类三维图像获取及处理方法，其特征在于，包括：通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图；其中，所述水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，所述第一二维图像为通过所述左目相机获取的图像，所述第二二维图像为通过所述右目相机获取的图像，所述第三二维图以及所述深度图为通过所述深度相机获取的图像；根据所述第一二维图像以及所述第二二维图像获取视差图；其中，所述视差图用于指示所述目标海洋区域中的各条鱼的深度信息；根据所述第三二维图像对所述深度图进行校正，获取校正后的深度图；根据所述视差图以及所述校正后的深度图，对各条所述鱼的深度信息进行校正，确定各条所述鱼的校正后的深度信息，并获取包括各条所述鱼的三维信息的目标图像；其中，所述各条所述鱼的三维信息包括各条所述鱼的校正后的深度信息；采用深度学习方法，根据所述目标图像，确定各条所述鱼的属性。2.根据权利要求1所述的方法，其特征在于，所述根据所述第三二维图像对所述深度图进行校正，获取校正后的深度图，包括：将所述深度图映射到所述第三二维图像中，采用畸变系数修正所述深度图中的各条所述鱼的深度信息，获取所述校正后的深度图；其中，所述畸变系数是预先设置的，或者，是根据所述深度相机中的标定板以及畸变后的标定板确定的。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述视差图以及所述校正后的深度图，对各条所述鱼的深度信息进行校正，确定各条所述鱼的校正后的深度信息，包括：分别识别出所述视差图以及所述校正后的深度图中的各条所述鱼的位置；针对同一位置的目标鱼，当所述视差图中所述目标鱼的深度信息与所述校正后的深度图中所述目标鱼的深度信息相同时，确定所述目标鱼的校正后的深度信息为所述校正后的深度图中所述目标鱼的深度信息或者所述视差图中所述目标鱼的深度信息；当所述视差图中所述目标鱼的深度信息与所述校正后的深度图中所述目标鱼的深度信息不同时，将所述视差图中所述目标鱼的深度信息以及所述校正后的深度图中所述目标鱼的深度信息的加权平均值确定为所述目标鱼的校正后的深度信息。4.根据权利要求1或2所述的方法，其特征在于，所述鱼的属性包括鱼的头尾长度以及种类；所述采用深度学习方法，根据所述目标图像，确定各条所述鱼的属性，包括：根据测试图像训练目标检测网络；将所述目标图像输入训练后的目标检测网络中，确定各条所述鱼的种类以及头尾长度。5.根据权利要求4所述的方法，其特征在于，所述根据测试图像训练目标检测网络，包括：将所述测试图像中鱼的侧面图像剔除，保留鱼的正面图像，形成校正后的测试图像；其中，所述鱼的正面图像中鱼头和鱼尾的深度信息相同，所述鱼的侧面图像中鱼头和鱼尾的深度信息不同；根据所述校正后的测试图像训练所述目标检测网络。6.一种海洋鱼类三维图像获取及处理装置，其特征在于，包括：第一获取模块，用于通过水下成像装置获取目标海...

【专利技术属性】
技术研发人员：方璐，王好谦，戴琼海，王丹，
申请(专利权)人：清华伯克利深圳学院筹备办公室，
类型：发明
国别省市：广东,44