基于机器视觉的林业生态环境人机交互方法技术

本发明专利技术涉及一种基于机器视觉的林业生态环境人机交互方法，属于神经网络领域。该方法融合人工智能在图像处理中的已有先进成果，面向林业生态典型应用场景，采用“云”到“端”的处理方式，利用视觉感知所记忆的信息，构建林业生态环境统一语义表达的人机交互平台。本发明专利技术围绕林业生态中的特殊人群分析、危险行为理解、人流量监测与野生动物识别等典型需求，研究图像敏感区域捕获、目标种类判别与图像语义理解的共性技术，解决林业生态环境中视觉信息交互问题，使多模态交互设备实现智能环境感知，改善林区监管手段、提高管理效率。实现林区智能监控与预警功能，丰富林业生态监管手段、提升林业生态管理效率。

Human-machine interaction method of forestry ecological environment based on machine vision

The invention relates to a human-machine interaction method for forestry ecological environment based on machine vision, which belongs to the field of neural networks. This method combines the advanced achievements of artificial intelligence in image processing. It faces the typical application scene of forestry ecology, uses the \cloud\ to the \end\, and uses the information of visual perception to construct the human-computer interaction platform of the unified semantic expression of the forestry ecological environment. This invention focuses on the typical needs of special population analysis, dangerous behavior understanding, human flow monitoring and wildlife identification in forestry ecology, and studies the common techniques of image sensitive area capture, target classification and image semantic understanding, and solves the interaction problem of visual information in the forest ecological environment, and makes multi-modal interaction equipment. We should realize intelligent environment perception, improve forest supervision means and improve management efficiency. Realize the function of intelligent monitoring and early warning in forest area, enrich the supervision means of forestry ecology, and improve the efficiency of forestry ecological management.

【技术实现步骤摘要】
基于机器视觉的林业生态环境人机交互方法
本专利技术属于神经网络领域，涉及基于机器视觉的林业生态环境人机交互方法。
技术介绍
随着计算机、通信、传感三大核心信息技术的高速发展，以物联网、大数据、人工智能为代表的新一代信息技术成为当今世界的中心科学技术，必将给未来的经济社会和生态环境带来深刻的影响。与此同时，我国现代化林业发展也迈向“智慧林业”2.0发展时代。市场调研表明国家级森林公园、自然保护区、生态保护区、旅游风景区、国有林场等对生态宣传、生态科普、生态旅游服务方面的人机交互设备需求十分迫切。人机交互设备是一类结构复杂、集成度高、技术密集的基础装备，引领高新技术的发展，处于价值链高端和产业链的关键环节。经历数十年的发展，人机交互以越来越自然的方式呈现在人们面前。视觉智能可识别人员性别、衣着色彩、衣着样式、举手姿势、吸烟行为、人群聚集密度等信息，根据举手姿势选择人员咨询发问，根据不文明行为进行提示劝告，根据人群密度进行预警，根据人脸识别进行游客统计。深度学习在机器视觉上的一个重要突破是行人检测。目前基于深度学习最好的结果是20.86％。在最新的研究进展中，很多在物体检测中已经被证明行之有效的思路都有其在深度学习中的实现。例如，联合深度学习提出的形变层，对物体部件间的几何形变进行建模；多阶段深度学习模拟在物体检测中常用的级联分类器；可切换深度网络表示物体各个部件的混合模型；通过迁移学习将一个深度模型行人检测器自适应到一个目标场景。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于机器视觉的林业生态环境人机交互方法，融合人工智能在图像处理中的已有先进成果，面向林业生态典型应用场景，采用“云”到“端”的处理方式，利用视觉感知所记忆的信息，构建林业生态环境统一语义表达的人机交互平台，使之成为林业生态系统与外界沟通的重要信息源与“使能器”。为达到上述目的，本专利技术提供如下技术方案：基于机器视觉的林业生态环境人机交互方法，包括以下步骤：S1：基于尺度相关池与级联抑制分类器的人流量监测；S2：基于目标三维行为时间尺度不变的特殊人群判别；S3：基于级联卷积神经网络的危险行为分析；S4：多层次抽象语义决策图像分类的野生动物监控：通过使用尺度不变特征变换算法(ScaleInvariantFeatureTransform,SIFT)描述符对特征点进行描述以提取特征；通过构建视觉词典，利用K-means聚类方法将特征点聚成数类，视觉词典由聚类中心形成的视觉词汇组成；利用特征局部投影生成码书，构造BoF(Bag-of-Features)特征；通过利用BoF特征训练分类器，获取分类模型，对待分类野生动物图像特征进行预测。进一步，所述步骤S1具体为：通过构造级联卷积神经网络，来识别行人特征，并利用边界框的数量统计，获得人流量估计；卷积神经网络的每一个卷积层都将得到一系列的粗糙对象建议，借助对每一个卷积层使用级联抑制分类器CRC将负面对象建议去除，得到相对精细的建议；幸存的对象建议通过下一层卷积层得到的特征再次使用级联抑制分类器进行负面建议消除；依次循环往下，到达第三层卷积层加入使用尺度相关池与级联抑制分类器相结合；对像素点最少即最小对象的检测识别；依次第四层第五层方法相同，分别对中等对象和大对象进行检测识别；通过对每一层的卷积特征都进行池化，综合使用各层特征对对象目标进行检测。进一步，所述步骤S2具体为：通过建立目标行为的统计模型，来识别及描述具有时空差异性的个体步态与行为；在建模阶段，首先用相似矩阵描述目标姿态变化，并转换矩阵参数到对数空间形成一致的运动参数序列；然后基于多边形近似算法提取时间尺度不变特征(TimeScaleInvariantFeature,TSIF)，并用动态时间规整对有限类别行为进行统计建模；在行为识别阶段，将测试行为与参考模型相匹配得到最小代价行为类别；在层次化流程对视频帧进行处理的前提下，采用基于多点跟踪模型，并用相似矩阵表示目标运动姿态的方法实现单目视觉下目标三维运动姿态估计；在估计相似矩阵时，满足跟踪点数不少于矩阵参数；所跟踪的点包括外部标记点和内部标记点，外部标记点是在目标表面人为设置；内部标记点用尺度不变特征转换或加速分割测试特征关键点算法在目标区域自动选取；为避免内部标记点的位置漂移和误匹配对跟踪的影响，通过采用人工标记的外部点。进一步，所述步骤S3具体为：基于头肩检测的级联深度网络HsNet的行人行为检测过程包括：对检测视频的每一帧图像，用多尺度的滑窗按照预定步长截取一系列的候选小图像块Patch，形成待识别样本；将这些样本送入预先训练好的头肩/非头肩识别模型HsNet进行分类，在网络的每一级被分类为负的样本的Patch直接舍弃，其余样本继续进入网络的下一级进行更严格的识别分类，经过三级CNN网络进行分类鉴别；网络第三级的输出结果用于判断图像Patch是否属于头肩区域，该区域的矩形框被称为头肩框，将头肩框高度扩展为原对应滑动窗口的3倍，得到行人检测的全身框；对于同一个行人，会形成多个检测框，最后用非极大值抑制策略剔除多余的检测框，每个位置只保留最可能的一个检测框，即行人检测结果；引入非线性运动模式学习及在线外观模的基于检测的分层关联多目标跟踪方法型学习策略，算法第一层对检测对象进行底层可信关联，形成轨迹片段；第二层利用非线性运动模式在线学习和外观模型多实例学习，对轨迹片段进行有效连接，得到可靠的对象轨迹；为了避免遮挡问题，仅仅检测行人的头肩部分区域代替行人整体；将高斯过程回归(Gaussianprocessregression,GPR)引入跟踪过程，平滑对象轨迹片段，解决不同帧对象头肩部区域位置跳变问题；通过从对象的运动轨迹中提取基本的参数作为特征，包括速度、方向和距离，对单个特征进行分析或者将多个特征相结合组成更高级的语义来描述事件，进而判断事件是否发生。本专利技术的有益效果在于：本专利技术围绕林业生态中的特殊人群分析、危险行为理解、人流量监测与野生动物识别等典型需求，研究图像敏感区域捕获、目标种类判别与图像语义理解的共性技术，解决林业生态环境中视觉信息交互问题，使多模态交互设备实现智能环境感知，改善林区监管手段、提高管理效率。实现林区智能监控与预警功能，丰富林业生态监管手段、提升林业生态管理效率。附图说明为了使本专利技术的目的、技术方案和有益效果更加清楚，本专利技术提供如下附图进行说明：图1为本专利技术行人检测网络结构示意图；图2为本专利技术级联抑制分类器(CRC)的详细结构图；图3为本专利技术手指关节处4个不同颜色的外部标记点示意图；图4为本专利技术头肩检测的级联深度网络(HsNet)结构示意图；图5为本专利技术事件关键姿态检测的网络结构图。具体实施方式下面将结合附图，对本专利技术的优选实施例进行详细的描述。(1)基于尺度相关池与级联抑制分类器的人流量监测。通过构造级联卷积神经网络，来识别行人特征，并利用边界框的数量统计，获得人流量估计。卷积神经网络的每一个卷积层都将得到一系列的粗糙对象建议，借助对每一个卷积层使用级联抑制分类器(CRC)将负面对象建议去除，得到相对精细的建议。幸存的对象建议通过下一层卷积层得到的特征再次使用级联抑制分类器进行负面建议消除。依次循环往下，到达第三层卷积层加入使用尺度相关池与级联抑制分类器相本文档来自技高网...

【技术保护点】
基于机器视觉的林业生态环境人机交互方法，其特征在于：该方法包括以下步骤：S1：基于尺度相关池与级联抑制分类器的人流量监测；S2：基于目标三维行为时间尺度不变的特殊人群判别；S3：基于级联卷积神经网络的危险行为分析；S4：多层次抽象语义决策图像分类的野生动物监控：通过使用尺度不变特征变换算法(Scale Invariant Feature Transform,SIFT)描述符对特征点进行描述以提取特征；通过构建视觉词典，利用K‑means聚类方法将特征点聚成数类，视觉词典由聚类中心形成的视觉词汇组成；利用特征局部投影生成码书，构造BoF(Bag‑of‑Features)特征；通过利用BoF特征训练分类器，获取分类模型，对待分类野生动物图像特征进行预测。

【技术特征摘要】
1.基于机器视觉的林业生态环境人机交互方法，其特征在于：该方法包括以下步骤：S1：基于尺度相关池与级联抑制分类器的人流量监测；S2：基于目标三维行为时间尺度不变的特殊人群判别；S3：基于级联卷积神经网络的危险行为分析；S4：多层次抽象语义决策图像分类的野生动物监控：通过使用尺度不变特征变换算法(ScaleInvariantFeatureTransform,SIFT)描述符对特征点进行描述以提取特征；通过构建视觉词典，利用K-means聚类方法将特征点聚成数类，视觉词典由聚类中心形成的视觉词汇组成；利用特征局部投影生成码书，构造BoF(Bag-of-Features)特征；通过利用BoF特征训练分类器，获取分类模型，对待分类野生动物图像特征进行预测。2.根据权利要求1所述的基于机器视觉的林业生态环境人机交互方法，其特征在于：所述步骤S1具体为：通过构造级联卷积神经网络，来识别行人特征，并利用边界框的数量统计，获得人流量估计；卷积神经网络的每一个卷积层都将得到一系列的粗糙对象建议，借助对每一个卷积层使用级联抑制分类器CRC将负面对象建议去除，得到相对精细的建议；幸存的对象建议通过下一层卷积层得到的特征再次使用级联抑制分类器进行负面建议消除；依次循环往下，到达第三层卷积层加入使用尺度相关池与级联抑制分类器相结合；对像素点最少即最小对象的检测识别；依次第四层第五层方法相同，分别对中等对象和大对象进行检测识别；通过对每一层的卷积特征都进行池化，综合使用各层特征对对象目标进行检测。3.根据权利要求1所述的基于机器视觉的林业生态环境人机交互方法，其特征在于：所述步骤S2具体为：通过建立目标行为的统计模型，来识别及描述具有时空差异性的个体步态与行为；在建模阶段，首先用相似矩阵描述目标姿态变化，并转换矩阵参数到对数空间形成一致的运动参数序列；然后基于多边形近似算法提取时间尺度不变特征(TimeScaleInvariantFeature,TSIF)，并用动态时间规整对有限类别行为进行统计建模；在行为识别阶段，将测试行为与参考模型相匹...

【专利技术属性】
技术研发人员：朱智勤，郑明耀，李鹏华，李嫄源，赵芬，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50