一种基于多种传感器与深度强化学习的自动拍摄控制装置及控制方法制造方法及图纸

本发明专利技术涉及一种基于多种传感器与深度强化学习的自动拍摄控制装置及控制方法，属于控制系统技术领域，包括采集模块，中控模块，执行动作模块，电池模块；采集模块、执行动作模块均与中控模块连接，中控模块用于控制整个装置运动，用采集模块收集的数据进行训练和对比，最终发送指令到执行动作模块，执行相应的动作；通过深度学习网络，实现了对环境的感知，拍摄姿态的调整和画面的调整。在拍摄过程中对目标拍摄时通过多种传感器感知对温度，光照，距离等进行分析，通过采集这些数据，我们利用深度学习网络进行模型搭建，对数据实时分析，进行设备的前进后退，左右移动，调整机械臂的角度，俯仰的姿态调整，从而实现拍摄达到最优效果。从而实现拍摄达到最优效果。从而实现拍摄达到最优效果。

【技术实现步骤摘要】
一种基于多种传感器与深度强化学习的自动拍摄控制装置及控制方法


[0001]本专利技术涉及一种基于多种传感器与深度强化学习的自动拍摄控制装置及控制方法，属于控制系统


技术介绍

[0002]目前智能化发展迅速，在我们生活中随处可见，例如:智能遥控机器人、智能远程遥控摄像头、智能平衡车、无人驾驶等跟我们的生活密切相关。在当前拍摄领域，拍摄设备结合拍摄方法已经成为了一个非常重要的手段。拍摄方式和地点有很多，拍摄效果也大不相同。经调查发现，大部分人拍照时喜欢通过手机、照像机这些拍摄设备。用户对拍摄照片效果质量要求也是很多的，在不同环境下追求照片的效果也不同。拍摄时，有几个大的方向是我们需要参考的，物体，地点，主人公，背景，环境，通过这些方向，人们可以清晰明确拍摄内容。由于缺少对环境因素和拍摄手段的学习，照片的效果质量并不能满足我们的需求，甚至大部分用户在拍摄时，不知道该怎从哪方面下手。缺少了这方面的学习和规划，人们会进行反反复复的拍摄和对比，最终结果达不到心意的程度，影响人们的心情并带来一定的困扰。
[0003]目前，我们辅助拍摄也是多种多样，借助拍摄辅助器也给我们拍摄增加更多功能和拍摄方式。例如：自拍杆，三脚架，云台稳定器，延迟拍照、声控拍照等，在特殊场合下可以满足拍摄，有助我们传统方式手动拍摄带来的不足。这些辅助器，人们通过练习学习的方式，一定程度上辅助器可以方便满足特殊场景带来的困扰，但是问题也逐渐显露，从延迟拍照来说需要用户进行手势和动作配合，耗时耗力，有出现提前或者慢拍的问题。声控拍照是用户通过声音发出指令后进行拍照，用户发出指令后需要迅速调整面部表情，给拍摄增加挑战。云台稳定器使用之前需要用户进行学习和动作练习，需要一定的基础，对时间成本很高。
[0004]神经网络自从它被提出以来就一直没有停止向前发展，其理论不断得到更新，基于神经网络的各种产品也不断被设计出来，被应用在各种科学研究领域。利用神经网络和其它学科的结合去处理问题也成为人们研究解决新问题的一个方向。其中拍摄模块和神经网络的结合为拍摄技术找到了一个新的研究方向，近年来有很多机构和个人都致力于这方面的研究。神经网络在各种应用中都有着优异的表现，尤其是与模式识别理论相结合以后。无论从学术上来讲还是从经济效益上来讲，这个领域都是一个热门领域。值得我们去做出更多的深入研究，开发出更多的应用品。本专利技术基于多种传感器与深度强化学习的自动拍摄控制系统及装置，该系统通过多种传感器和机械臂结合深度学习模型，调整拍摄姿态，让拍摄图片达到最理想状态。
[0005]目前，人们为了从外界获取信息，必须借助于感觉器官。而单靠人们自身的感觉器官，在研究自然现象和规律以及生产活动中它们的功能就远远不够了。为适应这种情况，就需要传感器。因此可以说，传感器是人类五官的延长，又称之为电五官。新技术革命的到来，
世界开始进入信息时代。在利用信息的过程中，首先要解决的就是要获取准确可靠的信息，而传感器是获取自然和生产领域中信息的主要途径与手段。
[0006]由于缺乏相关学习手段和拍摄方式带来的困扰，为此本专利技术提出了一种深度强化学习的自动拍摄技术控制方法及装置，该系统装置包含多个传感器和深度强化学习模型，用于实现自动化拍摄控制。无需人工干预，提高拍摄效率和准确性。采用多种传感器，可以全面地感知环境信息，提高控制的精度和鲁棒性。采用了深度强化学习算法，可以不断优化调整控制策略和图片效果，适应各种拍摄场景。

技术实现思路

[0007]针对现有技术的不足，本专利技术提供一种基于多种传感器与深度强化学习的自动拍摄控制装置及控制方法。本专利技术基于多种传感器与深度强化学习的自动拍摄控制系统及装置，该装置通过多种传感器获取周围事物环境，对周围环境进行实时监控，拍摄时调整拍摄的姿态和对拍摄画质有所提升。
[0008]本专利技术的技术方案如下：
[0009]一种基于多种传感器与深度强化学习的自动拍摄控制装置，包括采集模块，中控模块，执行动作模块，电池模块；
[0010]采集模块包括光照传感器、超声波测距传感器、红外温度传感器、红外热成像传感器、角度传感器、视觉传感器，光照传感器用于检测光照强度，测量周围光线的强度和变化，将其转换为电信号输出，超声波测距传感器用于测量距离，红外温度传感器用于测量温度，红外热成像传感器用于辅助呈现图像时检测拍摄画面时的温度，角度传感器用于测量执行动作模块中机械臂关节角度，视觉传感器包括双目摄像头，用于感知深度和距离；
[0011]中控模块用于控制整个装置运动，用采集模块收集的数据进行训练和对比，最终发送指令到执行动作模块，执行相应的动作；
[0012]执行动作模块包括移动单元、机械臂单元、拍摄单元，移动单元包括驱动电机和轮胎，用于带动装置移动，机械臂单元包括七轴机械臂，机械臂与移动单元之间设有旋转装置，机械臂可以在移动单元上旋转，机械臂用于进行向上向下、左旋右旋、俯视仰视的动作调整，拍摄单元包括摄像头，用于装置调整完后进行拍摄；
[0013]电池模块用于为装置进行供电。
[0014]优选的，所述采集模块包括以下方案之一：
[0015]Ⅰ、光照传感器用于检测光照强度，测量范围0
‑
400klux，光谱范围400nm
‑
700nm,测量误差在正负5％，响应时间为2s，光照传感器测量周围光线的强度和变化，将其转换为电信号输出，反映周围光照情况。
[0016]Ⅱ、超声波测距传感器用于测量距离，测量范围0
‑
15m，响应时间20ms，准确度正负10mm，重复精度大于等于2.5mm，运行环境温度：
‑
40℃至+80℃；为了使设备能自动避障移动就必须借助距离传感器，使其及时获取距障碍物的距离信息，测距一个作用是为了解前方，左侧，右侧，后方的环境，另一个作用是测量拍摄时，画面内容之间距离。超声波测距中，通常因温度和时间检测的误差，使得测距的精度不高，所以采用所述1.3红外温度传感器增加测距时的精度。根据超声波测距公式L＝C
×
T，可知测距的误差是由超声波的传播速度误差和测量距离传播的时间误差引起的。式中L为测量的距离长度；C为超声波在空气中的传播
速度；T为测量距离传播的时间差。
[0017]Ⅲ、红外温度传感器的测量范围
‑
20℃
‑
200℃，精度可达0.5％，热传感利用辐射热效应，探测器件接受辐射引起温度升高，测量空气中的温度，室温下温度等。针对不同场景进行反应不同温度数值。
[0018]Ⅳ、红外热成像传感器的测量距离90m，视角为75*110℃，测温范围
‑
40至300℃，绝对温度误差在正负1.5℃，刷新率0.5至60Hz，工作温度
‑
40至85℃，通过红外温度成像传感器可以帮助呈现图像时检测拍摄画面时的温度，避免轮廓不清，曝光度过高，锐度不够，照片模糊。
[0019]Ⅴ
、角度传感器的测量范围：0
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多种传感器与深度强化学习的自动拍摄控制装置，其特征在于，包括采集模块，中控模块，执行动作模块，电池模块；采集模块包括光照传感器、超声波测距传感器、红外温度传感器、红外热成像传感器、角度传感器、视觉传感器，光照传感器用于检测光照强度，测量周围光线的强度和变化，将其转换为电信号输出，超声波测距传感器用于测量距离，红外温度传感器用于测量温度，红外热成像传感器用于辅助呈现图像时检测拍摄画面时的温度，角度传感器用于测量执行动作模块中机械臂关节角度，视觉传感器包括双目摄像头，用于感知深度和距离；中控模块用于控制整个装置运动，用采集模块收集的数据进行训练和对比，最终发送指令到执行动作模块，执行相应的动作；执行动作模块包括移动单元、机械臂单元、拍摄单元，移动单元包括驱动电机和轮胎，用于带动装置移动，机械臂单元包括七轴机械臂，机械臂与移动单元之间设有旋转装置，机械臂用于进行向上向下、左旋右旋、俯视仰视的动作调整，拍摄单元包括摄像头，用于装置调整完后进行拍摄；电池模块用于为装置进行供电。2.根据权利要求1所述的基于多种传感器与深度强化学习的自动拍摄控制装置，其特征在于，所述采集模块包括以下方案之一：Ⅰ、光照传感器用于检测光照强度，测量范围0
‑
400klux，光谱范围400nm
‑
700nm,测量误差在正负5％，响应时间为2s；Ⅱ、超声波测距传感器用于测量距离，测量范围0
‑
15m，响应时间20ms，准确度正负10mm，重复精度大于等于2.5mm，运行环境温度：
‑
40℃至+80℃；Ⅲ、红外温度传感器的测量范围
‑
20℃
‑
200℃，精度达0.5％；Ⅳ、红外热成像传感器的测量距离90m，视角为75*110℃，测温范围
‑
40至300℃，绝对温度误差在正负1.5℃，刷新率0.5至60Hz，工作温度
‑
40至85℃；
Ⅴ
、角度传感器的测量范围：0
‑
360度，温度漂移为正负0.02℃，分辨率为0.022度，精度为1度，使用温度：
‑
40
‑
85℃，轴转方向：顺时针，逆时针；
Ⅵ
、视觉传感器采用双目摄像头，深度视场角85.2
°
*58
°
，深度分辨率1280*720，适用范围0
‑
15m，最大帧数90FPS，像素尺寸：6.0μm
‑
6.0μm。3.根据权利要求1所述的基于多种传感器与深度强化学习的自动拍摄控制装置，其特征在于，所述执行动作模块包括以下方案之一：1)、移动单元其中包括，驱动电机，轮胎，驱动电机采用四轮驱动，电机功率为400W，轮胎采用橡胶材质，直径为5英寸，峰值扭矩为120NM；2)、机械臂单元其中包括七轴机械臂，自由度为7，有效负载为5kg，重量为8kg，精度为正负0.05mm，工作半径为638.5mm，关节分为J1
‑
J7，关节运动范围：J1为正负180
°
，J2为正负130
°
，J3为正负180
°
，J4为正负145
°
，J5为正负180
°
，J6为正负128
°
，J7为正负360
°
，关节最大速度：J1
‑
J2为180
°
每秒，J3
‑
J7为225
°
每秒；3)、拍摄单元采用摄像头，摄像头最大像素500万，光学变焦：1倍，数码变焦：4倍，分辨率：2560
×
1920，最大光圈：F1.7，实际焦距：f＝8.7mm，光圈范围：F1.7
‑
F16，感光度：自动，ISO 50至ISO 50000，快门速度：1/2048秒；优选的，电池模块中，电池采用3500mAh，标准充电:1050mA
×
260min。
4.根据权利要求1所述的基于多种传感器与深度强化学习的自动拍摄控制装置，其特征在于，中控模块采用深度学习网络模型，用于对大规模的数据进行训练和预测；采用卷积神经网络和循环神经网络，处理采集模块中照片使用卷积神经网络，卷积神经网络包含五种类型的网络层结构：输入层，卷积层，池化层，激活函数层和全连接层；处理距离、温度、角度光照采用循环神经网络，选取长短时记忆网络。5.一种利用权利要求1
‑
4任意一项权利要求所述基于多种传感器与深度强化学习的自动拍摄控制装置的控制方法，其特征在于，包括步骤如下：S1、前期工作，包括数据采集、数据整理、数据处理；数据采集为通过采集模块，利用所包含的传感器进行数据收集；数据整理为将采集的数据和带有标明被测对象的标签信息进行整理；数据处理为将数据归一化、去均值处理；S2、使用卷积神经网络来处理采集模块中的图片数据的深度学习模型，当视觉传感器和红外成像传感器捕捉到画面时，它通过多层卷积和池化操作来提取图像特征，并通过全连接层进行分类或回归任务；S3、使用循环神经网络通过采集模块传感器采集到的温度，光照度，距离，角度数据，将数据分为训练集和测试集，训练集中的数据已标明被测对象的标签信息，标签信息包括：光照偏大、偏暗、距离远近、角度偏大、偏低、温度高低；过滤掉为空值的标签，剩下的均为有效数据；最后划分数据集合的80％作为训练集，20％作为测试集，并预留训练集中的20％作为验证集；构建数据集后进一步的确认数据集的大小，经过数据归一化处理，并转换成数组的形式；S4、模型应用到发明中，将这个训练好的神经网模型络嵌入到装置设备中，让其实时地感知环境，并在识别出目标后自动做出相应的动作，进行自动拍摄。6.根据权利要求5所述的控制方法，其特征在于，步骤S1中，数据采集，通过采集模块，利用所包含的传感器进行数据收集，针对角度、温度、距离，光照，拍摄图片，这几个自变量，将它们作为输入数据，组成一个多通道的图像；数据整理，将采集的数据和带有标明被测对象的标签信息进行整理，正样本为不存在标签状态的数据，负样本为存在标签状态的数据，然后再按照50％：50％的比例将正样本和负样本分开存储为numpy数组格式；数据处理，先使用softmax函数将数据归一化，把所有得数据都归一到同样的范围，使的不同维度的数据具有相同的分布，再去均值，把输入数据各个维度都中心化为0，把数据从原先的标准坐标系下的一个个向量组成的矩阵，变成以这些向量的均值为原点建立的坐标系，使用python的numpy工具包，用np.mean(X,axis＝0)，其中X为参数，axis＝0为压缩行，对各列求均值，返回1*n矩阵。7.根据权利要求5所述的控制方法，其特征在于，步骤S2包括以下步骤，先构建CNN模型，编译模型，再训练模型，经过特征提取，最终生成序列；构建CNN模型时，卷积层提取图像特征，池化层用于降低特征图的尺寸，全连接层用于进行分类或回归，图片采集所需要的因素有：人物，背景，环...

【专利技术属性】
技术研发人员：朱之炜，吴冰，王同林，周义隆，张绍明，
申请(专利权)人：济南来搜医疗科技有限公司，
类型：发明
国别省市：