一种基于监控视频的延绳钓捕捞信息提取系统技术方案

本发明专利技术涉及一种基于监控视频的延绳钓捕捞信息提取系统，包括：视频获取装置和监控主机；所述视频获取装置，用于获取延绳钓视频图像信息和鱼类捕获视频图像信息；所述监控主机包括文字提取模块、延绳钓主线收放信息提取模块和鱼类捕捞信息提取模块；所述文字提取模块用于截取延绳钓视频图像信息和鱼类捕获视频图像信息中文字图像区域，并从文字图像区域中提取文字信息，以得到渔船位置与航行状态信息；所述延绳钓主线收放信息提取模块用于提取延绳钓视频图像信息中的主线长度；所述鱼类捕捞信息提取模块用于提取延绳钓视频图像信息中的抓捕鱼类的数量信息。本发明专利技术能够提取视频中的捕捞作业、时间、位置、航行状态等信息。

An information extraction system of longline fishing based on surveillance video

【技术实现步骤摘要】
一种基于监控视频的延绳钓捕捞信息提取系统
本专利技术涉及远洋渔船捕捞监控
，特别是涉及一种基于监控视频的延绳钓捕捞信息提取系统。
技术介绍
近年来视频监控技术发展迅速，在自动化生产、无人驾驶、自动售货等诸多领域得到应用。视频监控技术借助计算机强大的数据处理能力，提取视频中的信息服务于生产、生活，有效地促进了社会的信息化。远洋捕捞渔船在捕捞过程中，为了保障渔船安全生产、记录渔船作业、监控渔船状态，在渔船前后甲板和左右舷等位置安装有视频监控。使用视频监控作业过程，辅助渔业安全生产与管理，为渔业企业带来便利，使渔船管理有序、合理、高效。监控系统与GPS终端连接，在视频影像中嵌入了时间、位置、航向、航速等信息。计算机图像处理技术发展迅速，基于图像的信息提取技术得到广泛应用。远洋渔业捕捞中EMS(ElectronicMonitoringSystem)被称为“电子观察员”。有望替代现在的观察员。远洋渔船作业类型繁多，各渔船监控安装位置差别大，目前没有统一的标准。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于监控视频的延绳钓捕捞信息提取系统，能够提取视频中的捕捞作业、时间、位置、航行状态等信息。本专利技术解决其技术问题所采用的技术方案是：提供一种基于监控视频的延绳钓捕捞信息提取系统，包括：视频获取装置和监控主机；所述视频获取装置，用于获取延绳钓视频图像信息和鱼类捕获视频图像信息；所述监控主机包括文字提取模块、延绳钓主线收放信息提取模块和鱼类捕捞信息提取模块；所述文字提取模块用于截取延绳钓视频图像信息和鱼类捕获视频图像信息中文字图像区域，并从文字图像区域中提取文字信息，以得到渔船位置与航行状态信息；所述延绳钓主线收放信息提取模块用于提取延绳钓视频图像信息中的主线长度；所述鱼类捕捞信息提取模块用于提取延绳钓视频图像信息中的抓捕鱼类的数量信息。所述视频获取装置包括第一摄像机、第二摄像机、第三摄像机和第四摄像机；所述第一摄像机位于渔船右舷，用于获取延绳钓支线回收、鱼类抓捕和渔船卸载鱼获的图像信息；所述第二摄像机位于渔船左舷，用于获取鱼获的进仓和出仓的图像信息；所述第三摄像机位于前甲板顶部，用于获取甲板上鱼类的加工的图像信息；所述第四摄像机位于后甲板，用于获取延绳钓渔线收放情况。所述文字提取模块包括文字图片截取单元、文字图片处理单元和图片文字提取单元；所述文字图片截取单元根据预设位置截取延绳钓视频图像信息和鱼类捕获视频图像信息中的时间图片和航行信息图片；所述文字图片处理单元使用整数算法将截取的时间图片和航行信息图片进行灰度化处理，再通过阈值转换实现二值化处理；所述图片文字提取单元通过识别工具对二值化处理后的图片进行识别，并提取出时间、经纬度、航向和航速。所述文字提取模块还包括识别文字训练单元，所述识别文字训练单元将延绳钓视频图像信息和鱼类捕获视频图像信息中的每一帧作为训练样本来训练自定义字库。所述延绳钓主线收放信息提取模块对延绳钓视频图像信息进行如下处理：首先将延绳钓视频图像信息进行灰度化处理，然后使用低通滤波器平滑像素的亮度再进行高斯滤波，将灰度化处理后的图片和高斯滤波后的图片进行做差处理得到最终图片，最终图片中卷筒轴带线与卷筒盘相交处的点记为O，卷筒盘外圈上的点记为C，卷筒轴不带线时的卷筒盘OC的像素数记为b，实际长度为B，通过计算L-(K÷D)×(π×(M-(n×B÷b)×2)+π×N)×((n×B÷b-N)÷D÷2)得到放出主线长度，其中，L为主线总长度、K为卷筒长度、D为主线直径、M为卷筒轴外部盘直径、N为卷筒轴不带线时直径，n为卷筒在收放干线过程中OC的像素数。所述鱼类捕捞信息提取模块在鱼类抓捕和浮球回收的图片上标注标签，通过深度学习模型进行训练，并根据所述文字提取模块提取鱼类抓捕时的渔船位置与航行状态信息和所述延绳钓主线收放信息提取模块提取浮球回收时的主线长度，通过一次放收网线的作业过程统计出抓捕鱼类的数量、放线长度和捕捞效率，其中，延绳钓作业回收的第一个浮球记为N1，最后一个浮球记为Nk，中间的浮球为Ni，当主线放线结束等待时的位置为(lon,lat)，中间的浮球Ni放出线的长度为li，方向角为α，则浮球Ni的经度为loni＝lon+li×sinα÷[R*cos(lat)×2π÷360]，纬度为lati＝lat+li×cosα÷[R×2π÷360]，R为地球半径。有益效果由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术在延绳钓渔船捕捞生产过程中根据监控摄像头获取的监控视频，基于监控视频提取捕捞信息，可以获取延绳钓作业的过程，统计捕捞金枪鱼的数量，以及浮球布放情况等，能辅助渔业生产与管理，为渔业企业带来便利，使渔船管理有序、高效。视频中提取的时间、位置、航行状态、放钩起止时间、金枪鱼抓捕时间等信息，渔业企业可以查询渔船作业情况，统计捕捞状况，对水产捕捞进行追溯；消费者可以查询了解购买金枪鱼的捕捞时间、位置、抓捕截图与影像；渔业管理组织可以监控是否存在违规捕捞等。附图说明图1是本专利技术的结构示意图；图2是本专利技术实施方式中图片嵌入的文字信息位置示意图；图3是本专利技术实施方式中截取的文字图片灰度化处理和二值化处理后的示意图；图4是本专利技术实施方式中人工交互标注文字示意图；图5是本专利技术实施方式中提取出的渔船位置和航行状态的示意图；图6是本专利技术实施方式中4号摄像机获取的监控视频图；图7是本专利技术实施方式中延绳钓主线收放信息提取模块得到的最终图片示意图；图8是本专利技术实施方式中金枪鱼抓捕监控视频图；图9是本专利技术实施方式中浮球回收监控视频图；图10是本专利技术实施方式中支线回收监控视频图；图11是本专利技术实施方式中金枪鱼卸货和加工监控视频图。具体实施方式下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。本专利技术的实施方式涉及一种基于监控视频的延绳钓捕捞信息提取系统，如图1所示，包括：视频获取装置和监控主机；所述视频获取装置，用于获取延绳钓视频图像信息和鱼类捕获视频图像信息；所述监控主机包括文字提取模块、延绳钓主线收放信息提取模块和鱼类捕捞信息提取模块；所述文字提取模块用于提取延绳钓视频图像信息和鱼类捕获视频图像信息中的文字信息，以得到渔船位置与航行状态信息；所述延绳钓主线收放信息提取模块用于提取延绳钓视频图像信息中的主线长度；所述鱼类捕捞信息提取模块用于提取延绳钓视频图像信息中的抓捕鱼类的数量信息。下面通过将本实施方式应用于金枪鱼延绳钓捕捞船来进一步说明本专利技术。金枪鱼延绳钓渔船安装监控系统，通过监控主机连接摄像头、GPS等设备，采集渔船作业图像、实时GPS、人员活动、渔船行驶状况等信息，实现对船舶进行全方位监控，各种信息数据本地存储。渔本文档来自技高网...

【技术保护点】
1.一种基于监控视频的延绳钓捕捞信息提取系统，其特征在于，包括：视频获取装置和监控主机；所述视频获取装置，用于获取延绳钓视频图像信息和鱼类捕获视频图像信息；所述监控主机包括文字提取模块、延绳钓主线收放信息提取模块和鱼类捕捞信息提取模块；所述文字提取模块用于截取延绳钓视频图像信息和鱼类捕获视频图像信息中文字图像区域，并从文字图像区域中提取文字信息，以得到渔船位置与航行状态信息；所述延绳钓主线收放信息提取模块用于提取延绳钓视频图像信息中的主线长度；所述鱼类捕捞信息提取模块用于提取延绳钓视频图像信息中的抓捕鱼类的数量信息。/n

【技术特征摘要】
1.一种基于监控视频的延绳钓捕捞信息提取系统，其特征在于，包括：视频获取装置和监控主机；所述视频获取装置，用于获取延绳钓视频图像信息和鱼类捕获视频图像信息；所述监控主机包括文字提取模块、延绳钓主线收放信息提取模块和鱼类捕捞信息提取模块；所述文字提取模块用于截取延绳钓视频图像信息和鱼类捕获视频图像信息中文字图像区域，并从文字图像区域中提取文字信息，以得到渔船位置与航行状态信息；所述延绳钓主线收放信息提取模块用于提取延绳钓视频图像信息中的主线长度；所述鱼类捕捞信息提取模块用于提取延绳钓视频图像信息中的抓捕鱼类的数量信息。


2.根据权利要求1所述的基于监控视频的延绳钓捕捞信息提取系统，其特征在于，所述视频获取装置包括第一摄像机、第二摄像机、第三摄像机和第四摄像机；所述第一摄像机位于渔船右舷，用于获取延绳钓支线回收、鱼类抓捕和渔船卸载鱼获的图像信息；所述第二摄像机位于渔船左舷，用于获取鱼获的进仓和出仓的图像信息；所述第三摄像机位于前甲板顶部，用于获取甲板上鱼类的加工的图像信息；所述第四摄像机位于后甲板，用于获取延绳钓渔线收放情况。


3.根据权利要求1所述的基于监控视频的延绳钓捕捞信息提取系统，其特征在于，所述文字提取模块包括文字图片截取单元、文字图片处理单元和图片文字提取单元；所述文字图片截取单元根据预设位置截取延绳钓视频图像信息和鱼类捕获视频图像信息中的时间图片和航行信息图片；所述文字图片处理单元使用整数算法将截取的时间图片和航行信息图片进行灰度化处理，再通过阈值转换实现二值化处理；所述图片文字提取单元通过识别工具对二值化处理后的图片进行识别，并提取出时间、经纬度、航向和航速。


4.根据权利要求1所述的基于监控视频的延绳钓捕捞信息提取系统，其特征在于，所述文...

【专利技术属性】
技术研发人员：张胜茂，范秀梅，崔雪森，戴阳，张潇艺，沈介然，邹国华，于航盛，张收元，
申请(专利权)人：中国水产科学研究院东海水产研究所，上海峻鼎渔业科技有限公司，
类型：发明
国别省市：上海;31