本申请实施例提供一种面向软件定义卫星的成像系统及成像方法，所述自适应曝光成像系统包括：相机载荷，被配置为：根据初始化成像参数获取RGB三通道图像；以及根据曝光值增量确定目标成像参数值，并根据所述目标成像参数值生成新的RGB三通道图像，其中，所述的相机载荷包括镜头组件、感光器件以及图像处理器ISP；成像决策智能体，被配置为：接收所述RGB三通道图像；根据所述新的RGB三通道图像得到所述曝光值增量并提供给所述相机载荷；以及，确认达到设定的循环次数，向空间视觉处理任务提供所述RGB三通道图像。本申请的实施例使得控制单元的算法与相机载荷松耦合，在软件定义背景下满足跨卫星平台型号部署的需求，可迁移的适应性能力较强。能力较强。能力较强。
【技术实现步骤摘要】
一种面向软件定义卫星的成像系统及成像方法
[0001]本申请涉及数字图像处理领域，具体而言本申请实施例涉及一种面向软件定义卫星的成像系统及成像方法。
技术介绍
[0002]基于数字图像处理的航天相机成像控制系统架构与一般相机类似，在成像过程中通过内置算法调节光圈、感光度、曝光时间、焦距等核心参数以获取更高质量的图像，主要研究集中在自动曝光(AE)、自动对焦(AF)和自动白平衡(AWB)三个领域，通常称为3A技术。
[0003]近年来随着深度学习技术的兴起，也有学者尝试将神经网络应用于最佳曝光参数的求解问题中，但由于各相机型号及成像场景的差异巨大，且目前缺乏公开可用的训练数据集，相关数据驱动的算法模型迁移性较差，实际的使用价值和落地场景有限。
技术实现思路
[0004]本申请实施例的目的在于提供一种面向软件定义卫星的成像系统及成像方法，通过本申请实施例的可移动的自适应曝光成像系统以及方法使得相机载荷在成像过程中，每次迭代阶段都无需进行评价值估计，加速了成像过程。
[0005]第一方面，本申请的一些实施例提供一种面向软件定义卫星的成像系统，该成像系统包括：相机载荷，被配置为：根据初始化成像参数获取RGB三通道图像；以及根据曝光值增量确定目标成像参数的值，并根据目标所述成像参数的值生成新的RGB三通道图像，其中，所述的相机载荷包括镜头组件、感光器件以及图像处理器ISP；成像决策智能体，被配置为：接收所述RGB三通道图像；根据所述RGB三通道图像得到所述曝光值增量并向所述相机载荷提供所述曝光值增量；以及，确认达到设定的循环次数，向空间视觉处理任务提供所述新的RGB三通道图像；其中，所述成像参数的类型包括：曝光时间、感光度、增益或者光圈。
[0006]与相关技术公开的将控制单元(或者控制系统)集成在相机载荷内部，并以感光器件采集的原始图像(即RAW图像)作为控制单元的输入的方案相比，本申请的实施例不是将曝光时间、感光度、光圈等成像参数作为控制单元向相机载荷输出的控制决策变量，而是以各种相机都能接收的曝光值增量作为控制单元的输出，这使控制单元的算法与相机载荷松耦合，在软件定义背景下满足跨卫星平台型号部署的需求，可迁移的适应性能力较强。
[0007]在一些实施例中，通过曝光仿真图像集训练智能体，得到所述成像决策智能体，其中，所述曝光仿真图像集是通过伽玛校正理论对多曝光遥感图像进行合成得到的。
[0008]在真实的复杂太空环境中为智能体提供用于模型训练的成像数据十分困难，对此，本申请的一些实施例提出了一种基于Gamma校正理论的曝光仿真成像环境构建方法，为架构中的决策智能体(即待训练的模型)提供近乎无限的合成曝光数据用于模型训练。
[0009]在一些实施例中，通过如下方法获取用于训练所述智能体的标注数据：选择遥感数据集中的图像作为初始样本数据，并将所述图像的像素值归一化到[0,1]空间；对所述初始样本数据中的每幅图像，根据第一伽马值应用伽马校正将所述每幅图像映射到线形空
间，得到第一校正图像集，其中，所述第一伽马值为2.2；通过乘法的方式对所述第一校正图像集中的图像的亮度值进行线形调整，以模拟不同的曝光量，得到多曝光量图像集；根据第二伽马值，再次应用伽马校正将所述多曝光量图像集中的图像复原到非线形空间中，得到所述曝光仿真图像集，其中，所述第二伽马值为1/2.2；根据空间感知任务的不同，为所述曝光仿真图像集中图像合成相应的任务数据标注。
[0010]本申请的一些实施例通过两次伽马校正有效模拟相机基于不同曝光值成像的结果，保障智能体在训练和验证环境中数据分布的近似一致。
[0011]在一些实施例中，所述选择遥感数据集中的图像作为初始样本数据，包括：选择所述遥感数据集中的图像作为基础元数据；对所述基础元数据中的图像进行数据增强操作，得到所述初始样本数据，其中，所述数据增强操作包括：翻转、裁剪、旋转、伸缩、位移和噪声添加中的至少一种。
[0012]本申请的一些实施例为了解决训练图像缺乏的问题还会对遥感数据集中的图像进行多种预处理来增加训练图像的数量。
[0013]在一些实施例中，所述成像决策智能体是通过如下策略训练得到的：通过将训练中的智能体与空间环境交互，探索和积累不同成像参数组合的历史经验数据，并基于反馈控制的认知学习机制来拟合逼近评价函数与曝光值之间的非线性映射关系，以挖掘出适用于目标空间感知任务的最优RGB三通道图像与曝光值增量之间的对应关系，得到自适应的曝光决策。
[0014]本申请的一些实施例采用强化学习的方式通过一系列试错运行之后，能够使得智能体学习到最优的曝光策略，即能够使得成像决策智能体学习到相机载荷拍摄的图像与最优的曝光值增量之间的逻辑关系，进而控制相机载荷生成质量最优的图像用于空间视觉任务中。
[0015]在一些实施例中，通过如下策略训练所述智能体：随机初始化状态，选择一张由第一种类的相机载荷输出的RGB图像；重复执行循环过程直至目标空间感知任务对应的智能体的模型收敛，得到所述成像决策智能体，其中，所述循环过程包括：将所述RGB图像输入所述智能体，由所述智能体根据策略或值函数网络的输出得到曝光值增量ΔEV作为曝光调整动作；根据所述曝光调整动作，指导所述相机载荷再次成像，得到新的图像；将所述新的图像应用于所述目标空间感知任务，根据所述目标空间感知任务取得的性能计算得到相应的奖励；基于所述奖励计算累计回报，评估所述智能体提供的所述曝光调整动作的优劣，得到损失并利用反向传播算法进行梯度更新。
[0016]本申请的一些实施例提供了一种具体的强化学习的实现过程，通过基于强化学习范式建模相机载荷的成像过程，使智能体通过与环境的交互来自主学习演化，拟合视觉任务与曝光值增量间的非线性映射关系，相比于已有的监督学习数据驱动算法，能够得到更好的自适应能力。
[0017]在一些实施例中，所述目标空间感知任务对应的模型包括：目标检测分类模型或者图像分割模型。
[0018]本申请的一些实施例通过训练多种视觉任务的强化学习模型，能够挖掘出这些模型的曝光值增量与输入的RGB图像之间的关系。
[0019]在一些实施例中，所述Gamma校正是通过一阶幂函数、高阶幂函数、指数函数、对数
函数或者初等函数的复合函数实现的。
[0020]本申请的一些实施例通过多种非线性函数实现Gamma校正对曝光环境的仿真，最终改善了训练数据缺乏导致的模型无法训练的问题。
[0021]第二方面，本申请的一些实施例提供一种自适应曝光成像方法，应用于相机载荷，所述自适应曝光成像方法包括：接收由成像决策智能体根据所述相机载荷拍摄RGB图像得到的曝光值增量；根据所述曝光值增量拍摄新的RGB图像；向所述成像决策智能体发送所述新的RGB图像；重复执行上述步骤，直至达到设定的循环次数或者达到设定的循环终止条件。
[0022]在一些实施例中，所述接收由成像决策智能体根据所述相机载荷拍摄RGB图像得到的曝光值增量之前，所述自适应曝光成像方法还本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种面向软件定义卫星的成像系统，其特征在于，所述成像系统包括：相机载荷，被配置为：根据初始化成像参数获取RGB三通道图像；以及根据曝光值增量确定目标成像参数的值，并根据所述目标成像参数的值生成新的RGB三通道图像，其中，所述的相机载荷包括镜头组件、感光器件以及图像处理器ISP；成像决策智能体，被配置为：接收所述RGB三通道图像；根据所述RGB三通道图像得到所述曝光值增量并提供给所述相机载荷；以及，确认达到设定的循环次数，向空间视觉处理任务提供目标RGB三通道图像；其中，所述目标成像参数的类型包括：曝光时间、感光度、增益或者光圈。2.如权利要求1所述的成像系统，其特征在于，通过曝光仿真图像集训练智能体，得到所述成像决策智能体，其中，所述曝光仿真图像集是通过伽玛校正理论对多曝光遥感图像进行合成得到的。3.如权利要求2所述的成像系统，其特征在于，通过如下方法获取用于训练所述智能体的标注数据：选择遥感数据集中的图像作为初始样本数据，并将所述图像的像素值归一化到[0,1]空间；对所述初始样本数据中的每幅图像，根据第一伽马值应用伽马校正将所述每幅图像映射到线形空间，得到第一校正图像集，其中，所述第一伽马值为2.2；通过乘法的方式对所述第一校正图像集中的图像的亮度值进行线形调整，以模拟不同的曝光量，得到多曝光量图像集；根据第二伽马值，再次应用伽马校正将所述多曝光量图像集中的图像复原到非线形空间中，得到所述曝光仿真图像集，其中，所述第二伽马值为1/2.2；根据空间感知任务的不同，为所述曝光仿真图像集中图像合成相应的任务数据标注。4.如权利要求3所述的成像系统，其特征在于，所述选择遥感数据集中的图像作为初始样本数据，包括：选择所述遥感数据集中的图像作为基础元数据；对所述基础元数据中的图像进行数据增强操作，得到所述初始样本数据，其中，所述数据增强操作包括：翻转、裁剪、旋转、伸缩、位移和噪声添加中的至少一种。5.如权利要求1
‑
2任一项所述的成像系统，其特征在于，所述成像决策智能体是通过如下策略训练得到的：通过将训练中的智能体与空间环境交互，探索和积累不同成像参数组合的历史经验数据，并基于反馈控制的认知学习机制来拟合逼近评价函数与曝光值之间的非线性映射关系，以挖掘出适用于目标空间感知任务的最优RGB三通道图像与曝光值增量之间的对应关系，得到自适应的曝光决策。6.如权利要求2所述的成像系统，其特征在于，通过如下策略训练所述智能体：随机初始化状态，选择一张由第一种类的相机载荷输出的RGB图像；重复执行循环过程直至目标空间感知任务对应的智能体的模型收敛，得到所述成像决策智能体，其中，所述循环过程包括：
将所述RGB图像输入所述智能体，由所...
【专利技术属性】
技术研发人员：赵军锁，林翊钧，吴凤鸽，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。