本发明专利技术涉及图像技术领域，具体是一种新型多角度双目摄像头的图像融合算法和识别应用，包括以下步骤：S1、树莓派接收到语音输入模块的语音信号，根据语音输入模块输出的字符串判定开始执行算法；S2、树莓派发送PWM值控制多角度双目摄像头进行拍摄；S3、对拍摄到的图片进行拼接成一幅大尺幅图像；S4、对合成后的图像进行植物识别与计数，本发明专利技术创新性地采用了双轴云台搭载双摄像头的方式，以此来模拟人类正常生活中使用眼睛观察物体的情形，使机器视觉与智能眼镜相结合，开创性地发明专利技术了多角度图像融合与识别算法，并对融合后的图像中识别出来的物体进行计数，有效的解决了在绿色基础设施统计过程中的人工识别难，计数难的痛点。计数难的痛点。计数难的痛点。
【技术实现步骤摘要】
一种新型多角度双目摄像头的图像融合算法和识别应用
[0001]本专利技术涉及图像
，具体是一种新型多角度双目摄像头的图像融合算法和识别应用。
技术介绍
[0002]摄像头拍摄景物通过镜头，将生成的光学图像投射到传感器上，然后光学图像被转换成电信号，电信号再经过模数转换变为数字信号，数字信号经过DSP加工处理，再被送到电脑中进行处理，最终转换成手机屏幕上能够看到的图像。
[0003]当前智能眼睛（AR/VR/XR/MR/语音眼镜）等设备的摄像头主要以单目且固定角度为主；但是在实际情况中，人在观察某个环境时，可以通过眼球转动增大实际可视角，同时，人有左右两个眼睛，单目摄像头在某一侧单一地观察时，可视角远小于真实情况下人类的可视角，这在一些需要依靠智能眼镜或其他设备来模拟人类真实视觉环境时会造成识别偏差，影响最终的识别结果。同时当前的模拟人类视觉的终端设备存在可视角低、用户操作不方便等问题。当前增加可视角的方法主要集中在增加单个摄像头的可视角上，如采用鱼眼摄像头将可视角增加到90度以上，但该摄像头会将所拍摄到的画面从中轴位置进行畸变，从而达到增加可视角的效果，但是畸变的图像对机器视觉、图像识别结果会造成不利的影响。另外，当前绿色基础设施发展迅速，但在政府与企业进行规划时需要对当前的绿化环境的部分绿植进行种类识别与数量监测，当前的主流方法是依靠人眼进行统计或翻查历史施工记录，此举耗时耗力还会因为施工图的丢失造成影响。
技术实现思路
[0004]本专利技术的目的在于提供一种新型多角度双目摄像头的图像融合算法和识别应用，以解决上述
技术介绍
中提出的问题。
[0005]本专利技术的技术方案是：一种新型多角度双目摄像头的图像融合算法和识别应用，包括以下步骤：S1、树莓派接收到语音输入模块的语音信号，根据语音输入模块输出的字符串判定开始执行算法；S2、树莓派发送PWM值控制多角度双目摄像头进行拍摄：利用多角度双目摄像头摄像头对上左、上中、上右、中左、中中、中右、下左、下中、下右九个方向分别进行照相；S3、多角度双目摄像头摄像头共拍摄到十八张照片，且多角度双目摄像头摄像头复位到初始状态，接着对拍摄到的十八张图片进行拼接成一幅大尺幅图像；S4、对合成后的图像进行植物识别与计数。
[0006]优选的，所述多角度双目摄像头包括镜架、两个可旋转的云台和两个摄像头，两个所述云台分别固定连接于镜架左右两侧的前端位置，两个所述摄像头分别固定连接于两个云台上，两个所述摄像头均通过信号线与主控电路板连接，所述镜架右侧端固定连接有电源。
[0007]优选的，所述云台为双轴云台，X轴以中轴线为0度，模拟平视状态，左右两侧分别可以进行75度逆时针和顺时针旋转；Y轴固定在x轴上，以Y轴中轴线为0度，模拟平视状态，上下两侧分别可以进行75度顺时针和逆时针旋转，所述摄像头固定在Y轴上。
[0008]优选的，所述云台采用舵机进行控制，所述主控电路板使用树莓派zero，所述主控电路板连接有语音模块，所述语音模块包括语音识别和语音输出，所述语音识别采用speed的respeaker，所述语音输出采用耳机接口。
[0009]优选的，S3中，所述对拍摄到的十八张图片进行拼接成一幅大尺幅图像的具体步骤包括：S31、检测并提取图像的特征和关键点、匹配两个图像的描述符；S32、使用RANSAC算法寻找各图像的重叠部分并使用我们匹配出的特征向量估计出单应性矩阵；S33、拼接图片：采用透视变换，输入预设的扭曲的图像、单应矩阵（H）和输出图像的形状。
[0010]优选的，S31中，运用SIFT局部描述算子检测图像中的关键点和特征。
[0011]优选的，S31中，所述检测并提取图像的特征和关键点、匹配两个图像的描述符的步骤包括：S311、提取关键点；S312、定位关键点并确定特征方向：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度；S313、通过各关键点的特征向量，进行两两比较找出相互匹配的若干对特征点，建立景物间的对应关系。
[0012]优选的，S4中，所述对合成后的图像进行植物识别与计数包括数据处理、模型构建、图像识别三个部分。
[0013]优选的，所述数据处理使用线性灰度变换，将原图像的灰度动态范围按线性关系扩展到指定范围或整个动态范围，所述模型构建采用CNN对模型进行训练和池化操作。
[0014]优选的，所述图像识别包括对融合后对大尺度图像进行识别，对图像中的植物进行分析识别，输出图像中植物的数量信息。
[0015]本专利技术通过改进在此提供一种新型多角度双目摄像头的图像融合算法和识别应用，与现有技术相比，具有如下改进及优点：本专利技术创新性地采用了双轴云台搭载双摄像头的方式，以此来模拟人类正常生活中使用眼睛观察物体的情形，解决了现有智能眼镜可视角小且不能满足现实情况的痛点，使机器视觉与智能眼镜相结合，开创性地专利技术了多角度图像融合与识别算法，并对融合后的图像中识别出来的物体进行计数，有效的解决了在绿色基础设施统计过程中的人工识别难，计数难的痛点。
附图说明
[0016]下面结合附图和实施例对本专利技术作进一步解释：图1是本专利技术的多角度图像融合识别算法总体流程图；图2是本专利技术的多角度双目摄像头的结构示意图；
图3是本专利技术的云台的结构示意图；图4是本专利技术的主控电路模块图；图5是本专利技术运用SIFT局部描述算子检测图像中的关键点和特征的结构示意图；图6是本专利技术的透视变换结构示意图；图7是本专利技术的图像识别框图；图8是本专利技术采用CNN对模型进行训练的结构示意图。
具体实施方式
[0017]下面对本专利技术进行详细说明，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]本专利技术通过改进在此提供一种新型多角度双目摄像头的图像融合算法和识别应用，本专利技术的技术方案是：如图1所示，一种新型多角度双目摄像头的图像融合算法和识别应用，包括以下步骤：S1、树莓派接收到语音输入模块的语音信号，根据语音输入模块输出的字符串判定开始执行算法；S2、树莓派发送PWM值控制多角度双目摄像头进行拍摄：利用多角度双目摄像头摄像头对上左、上中、上右、中左、中中、中右、下左、下中、下右九个方向分别进行照相；S3、多角度双目摄像头摄像头共拍摄到十八张照片，且多角度双目摄像头摄像头复位到初始状态，接着对拍摄到的十八张图片进行拼接成一幅大尺幅图像；S4、对合成后的图像进行植物识别与计数。
[0019]其中，如图2所示，所述多角度双目摄像头包括镜架、两个可旋转的云台和两个摄像头，两个所述云台分别固定连接于镜架左右两侧的前端位置，两个所述摄像头分别固定连接于两个云台上，两个所述摄像头均通过信号线与主控电路板连接，所述镜架右侧端固定连接有电源；两个摄像头各自可以随着小型云台的转动而转动，摄像头的信号线采用USB线或CSI线，将摄像本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种新型多角度双目摄像头的图像融合算法和识别应用，其特征在于：包括以下步骤：S1、树莓派接收到语音输入模块的语音信号，根据语音输入模块输出的字符串判定开始执行算法；S2、树莓派发送PWM值控制多角度双目摄像头进行拍摄：利用多角度双目摄像头摄像头对上左、上中、上右、中左、中中、中右、下左、下中、下右九个方向分别进行照相；S3、多角度双目摄像头摄像头共拍摄到十八张照片，且多角度双目摄像头摄像头复位到初始状态，接着对拍摄到的十八张图片进行拼接成一幅大尺幅图像；S4、对合成后的图像进行植物识别与计数。2.根据权利要求1所述的一种新型多角度双目摄像头的图像融合算法和识别应用，其特征在于：所述多角度双目摄像头包括镜架、两个可旋转的云台和两个摄像头，两个所述云台分别固定连接于镜架左右两侧的前端位置，两个所述摄像头分别固定连接于两个云台上，两个所述摄像头均通过信号线与主控电路板连接，所述镜架右侧端固定连接有电源。3.根据权利要求2所述的一种新型多角度双目摄像头的图像融合算法和识别应用，其特征在于：所述云台为双轴云台，X轴以中轴线为0度，模拟平视状态，左右两侧分别可以进行75度逆时针和顺时针旋转；Y轴固定在x轴上，以Y轴中轴线为0度，模拟平视状态，上下两侧分别可以进行75度顺时针和逆时针旋转，所述摄像头固定在Y轴上。4.根据权利要求2所述的一种新型多角度双目摄像头的图像融合算法和识别应用，其特征在于：所述云台采用舵机进行控制，所述主控电路板使用树莓派zero，所述主控电路板连接有语音模块，所述语音模块包括语音识别和语音输出，所述语音识别采用speed的respeaker，所述语音输出采用耳机接口。5.根据权利要求1所述的一种新型多角度双目摄像头的图像融合算法...
【专利技术属性】
技术研发人员：周灵，顾湘，王欣晨，张雨辰，张昕阳，周卓彦，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。