【技术实现步骤摘要】
本专利技术涉及一种基于视网膜成像原理的成像控制方法，属于成像。
技术介绍
1、相机作为一种光电信号转换设备，能有效地采集环境中的光信号并将其转换为电信号从而显示图像，被广泛应用于日常生活、安防、国防等领域中。传统相机中，成像芯片会对所有像素进行均匀地读出，即对所有的像素进行同等地处理，该处理方式虽然可以获得质量较高的图像，但需要耗费大量的存储空间，对后续的图像处理等任务也会有巨大的算力和功耗要求。
2、与传统相机中成像芯片均匀地采集环境中的光信号不同，生物中，例如人类的视网膜，在成像过程中是非均匀采样的，即在视觉中心对图像进行高分辨的采样，在视觉边缘对图像进行低分辨率的采样。如果相机能够模仿视网膜成像原理实现非均匀采样，则可以在满足分辨率要求的前提下尽可能降低对于算力和功耗的要求。
3、以模拟视网膜成像原理的成像方式获得成像结果时，还需要考虑的一个问题是：由于边缘处分辨率过低，会导致无法准确判断处于视野边缘位置的物体身份，因此需要探索针对性改进的方法，实现对边缘处低分辨率图像的准确估计，而且要能够动态调整成像视野中心位置，提高对视野中每个物体识别的置信度。
技术实现思路
1、为了解决目前存在的问题，本专利技术提供了一种基于视网膜成像原理的成像控制方法，通过分级降采样策略，模拟视网膜成像特点，在保证关注点的分辨率的同时降低整体图像的分辨率。所述基于视网膜成像原理的成像控制方法，具有同构的行选址电路和列选址电路，所述行选址电路和列选址电路输入包括关注点中心坐标，
2、具体的，本申请提供的基于视网膜成像原理的成像控制方法应用于视网膜成像相机中，所述视网膜成像相机设置有像素阵列、行选址电路、列选址电路、读出电路，以及n个存储区；所述方法采用分级降采样策略获取当前帧图像对应的各级采样图像，并通过决策网络分析每级图像中的物体信息，根据物体信息确定下一帧图像的分级降采样策略，所述分级降采样策略包括中心点坐标、每级采样图像的尺寸、以及当前采用的降采样级数n；所述视网膜成像相机的成像芯片根据分级降采样策略选通像素阵列中对应的像素进行采样。
3、该方法采用分级降采样策略获取下一帧图像对应的各级采样图像时，对第级降采样的图像为在采样范围为的区域内每隔2n-1个点进行一次采样得到的大小为的图像。
4、进一步的，该方法对图像进行分级降采样时，若采样范围超出像素阵列的范围，则对超出范围的采样点进行补零。
5、进一步的，所述决策网络基于transformer模型实现，损失函数包括对整个场景中每个物体身份的估计函数项、对整个场景中每个物体位置的估计函数项、对整个场景中每个物体大小的估计函数项、对下一时刻观测结果的估计函数项以及决策网络生成概率与后验概率的差异函数项；损失函数为：
6、
7、其中，、、、、为各函数项对应的权重值。
8、进一步的，所述对整个场景中每个物体身份的估计函数项为：
9、
10、其中，表示整个场景中第k个物体的身份，表示以决策网络参数化的后验概率分布，表示t时刻的观测视角，、、分别表示整个场景中的第个物体时刻在第级中的身份、位置和大小，表示l2范数。
11、进一步的，所述对整个场景中每个物体位置的估计函数项为：
12、
13、其中，表示整个场景中第k个物体的位置。
14、进一步的，所述对整个场景中每个物体大小的估计函数项为：
15、
16、其中，表示整个场景中第k个物体的大小。
17、进一步的，所述对下一时刻观测结果的估计函数项为：
18、
19、其中，表示决策网络预测的t+1 时刻的观测，表示以决策网络参数化的生成概率分布，表示决策网络预测的t+1时刻的观测视角，、、分别表示决策网络预测的第个物体t+1时刻在第级中的身份、位置和大小。
20、进一步的，所述决策网络的生成概率与后验概率的差异函数项为：
21、
22、其中，表示kl 散度，用来衡量两个概率分布之间的差异。
23、本专利技术提出的基于视网膜成像原理的成像控制方法，相比于典型的相机成像方法，该成像方法对第一级降采样区域采用步进为1的采样间隔进行采样，第二级降采样区域采用步进为2的采样间隔进行采样，第三级降采样区域采用步进为4的采样间隔进行采样，以此类推，第n级降采样区域采用步进为2n-1的采样间隔进行采样，由此得到的n张不同分辨率的图片，相比于全图进行全采样的图片，数据存储降低了n/2n-1，节省了大量存储空间，并会缓解图像处理所需要的计算量，相比于普通相机，计算量降低了n/4n-1。
24、本专利技术提出的基于视网膜成像原理的成像控制方法，对于使用该成像方法得到的多级图像，该成像方法使用决策网络分析每级图像中的物体的身份、大小、位置等信息，并估计到整个场景中各物体在原始图像中的分布情况，由该评估结果动态调整下一时刻成像策略，即下次成像的注视中心，大小，分级数应当如何配置。使用所述决策网络，可以有效解决由于边缘处分辨率过低，无法准确判断处于视野边缘位置的物体身份的问题，能够有效提高视野中每个物体识别的置信度。
25、本专利技术有益效果是：
26、本申请方案采用分级降采样策略模拟视网膜成像特点，在保证关注点的分辨率的同时降低整体图像的分辨率，可以大量降低数据存储空间，决策网络对该成像方法的输出结果可以进行评估和动态观测，并且在网络计算中，该方法可以大量降低计算量，有效减小数据传输带宽和功耗，有望成为边缘成像设备端标准部署范式。
本文档来自技高网...【技术保护点】
1.一种基于视网膜成像原理的成像控制方法，其特征在于，所述方法应用于视网膜成像相机中，所述视网膜成像相机设置有像素阵列、行选址电路、列选址电路、读出电路，以及n个存储区；所述方法采用分级降采样策略获取当前帧图像对应的各级采样图像，并通过决策网络分析每级图像中的物体信息，根据物体信息确定下一帧图像的分级降采样策略，所述分级降采样策略包括中心点坐标、每级采样图像的尺寸、以及当前采用的降采样级数n；所述视网膜成像相机的成像芯片根据分级降采样策略选通像素阵列中对应的像素进行采样。
2.根据权利要求1所述的方法，其特征在于，所述方法采用分级降采样策略获取下一帧图像对应的各级采样图像时，对第级降采样的图像为在采样范围为的区域内每隔2n-1个点进行一次采样得到的大小为的图像。
3.根据权利要求2所述的方法，其特征在于，所述方法对图像进行分级降采样时，若采样范围超出像素阵列的范围，则对超出范围的采样点进行补零。
4.根据权利要求3所述的方法，其特征在于，所述决策网络基于Transformer模型实现，损失函数包括对整个场景中每个物体身份的估计函数项、对整个场景
5.根据权利要求4所述的方法，其特征在于，所述对整个场景中每个物体身份的估计函数项为：
6.根据权利要求5所述的方法，其特征在于，所述对整个场景中每个物体位置的估计函数项为：
7.根据权利要求6所述的方法，其特征在于，所述对整个场景中每个物体大小的估计函数项为：
8.根据权利要求7所述的方法，其特征在于，所述对下一时刻观测结果的估计函数项为：
9.根据权利要求8所述的方法，其特征在于，所述决策网络的生成概率与后验概率的差异函数项为：
...【技术特征摘要】
1.一种基于视网膜成像原理的成像控制方法，其特征在于，所述方法应用于视网膜成像相机中，所述视网膜成像相机设置有像素阵列、行选址电路、列选址电路、读出电路，以及n个存储区；所述方法采用分级降采样策略获取当前帧图像对应的各级采样图像，并通过决策网络分析每级图像中的物体信息，根据物体信息确定下一帧图像的分级降采样策略，所述分级降采样策略包括中心点坐标、每级采样图像的尺寸、以及当前采用的降采样级数n；所述视网膜成像相机的成像芯片根据分级降采样策略选通像素阵列中对应的像素进行采样。
2.根据权利要求1所述的方法，其特征在于，所述方法采用分级降采样策略获取下一帧图像对应的各级采样图像时，对第级降采样的图像为在采样范围为的区域内每隔2n-1个点进行一次采样得到的大小为的图像。
3.根据权利要求2所述的方法，其特征在于，所述方法对图像进行分级降采样时，若采样范围超出像素阵列的范围，则对超出范围的采样点进...
【专利技术属性】
技术研发人员：闫锋，刘泉，蒋骏杰，杨婷，王凯，吴天泽，王一鸣，
申请(专利权)人：南京大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。