一种数字天文成像方法及终端设备上的图像信号处理器技术

一种数字天文成像方法，可选地在终端设备上实现，包括以下步骤：获取包括天空区域的拍摄图像的图像数据，从该图像数据中获取天空数据，获取终端设备的全局定位信息，获取终端设备的运动数据，获取天文特征信息，并对图像数据、天空数据、全局定位信息、运动数据和天文特征信息进行图像数据合成，以提供包括合成天空区域的最终图像。区域的最终图像。区域的最终图像。

【技术实现步骤摘要】
一种数字天文成像方法及终端设备上的图像信号处理器


[0001]本申请涉及可选地包括天文摄影和天文摄像在内的数字天体成像领域中的图像处理，尤其涉及一种可选地在带有数字摄像传感器的终端设备上实现的数字天文成像方法、执行该方法的图像信号处理器(ISP，Image Signal Processor)和包括这种ISP的终端设备。

技术介绍

[0002]天文成像，指的是对天体的成像，即采集天体的静态图像和/或录制一段时间内天体的视频。其中，采集的天体包括，例如，行星系统、恒星、星团、星系等。这种摄影和摄像方式可以将太空中人的肉眼看不到的物体可视化。特别是，可以提供天文摄像的预览模式，让用户预览太空中的物体的录制视频。
[0003]有两种方式进行天文成像。第一种方式是通过专业的图像采集装置，包括数码单反相机(DSLR,Digital Single Lens Reflex)、三脚架和三脚架与地球运动同步器来进行天文成像，以避免因曝光时间过长而产生星轨(见图1(b)中的示例星轨)。此外，近来天文成像在数字成像领域越来越普及。因此，也可以使用数字摄像设备，例如，摄像手机。
[0004]第二种方式是使用天空替换软件作为后期处理。这种方式需要一个专用的软件作为后期处理器，并且通常会生成不真实的假天文成像内容。此外，假如所有设备的用户都会分享有着相同的、或者随机的天空图案的夜空照片或视频，仅仅使用一个银河系图像替换夜空将变得相当重复乏味并且最终将给予多余的属性。
[0005]此外，上述用DSLR或摄像手机采集天文图像或视频的方式有几个缺点。首先，需要一个专用的照片采集装置，包括三脚架和地球运动同步器等。此外，所需的采集时间可长达数分钟。此外，大气条件也起着一定的作用，只有在大气光污染较小、天空晴朗(即无云)的情况下，才能生成天文成像内容。此外，为了实现想要的输出，需要Luminar、Adobe Photoshop等后期处理软件。在这方面，现有的数字摄像手机上安装的软件应用程序的性能还不够好。
[0006]由于上述原因，很难为用户带来真实的天文影像。因此，为了能将天文摄像推广到大量的智能手机用户，就需要一种既不需要专用的天文摄影和摄像设置，也不需要用户进行后期处理软件来改善最终图像和视频的方法，从而解决传统天文成像的上述弊端。

技术实现思路

[0007]因此，本申请的目的是提供一种可选地在终端设备中实现的数字天文成像的方法，以高效地生成真实的、有增强精度的天文成像内容。此外，本申请的目的在于提供一种图像信号处理器(ISP，Image Signal Processor)，其被配置为执行该方法的步骤。此外，本申请的目的是提供一种包含该ISP的终端设备。
[0008]根据权利要求1所述的方法、根据权利要求13所述的ISP以及根据权利要求14所述的终端设备能够解决上述提出的问题。
[0009]根据本申请、可选地在终端设备上实现的数字天文成像方法包括以下步骤：从包含在终端设备中的数字摄像传感器获取获取包括天空区域的采集图像的图像数据；从图像数据中获取天空数据；获取终端设备的全球定位信息；获取终端设备的运动数据；获取天文特征信息，其中，天文特征信息关联于天空中的一个或多个锚点；以及对图像数据、天空数据、全球定位信息、运动数据和天文特征信息进行图像数据合成，以提供包括合成天空区域的最终图像。其中，图像数据可选地指的是所采集图像的图像像素数据，天空数据可选地指的是图像数据中所包含的、关联于所采集图像中的天空区域的数据。进一步地，全局定位信息可选地涉及图像被采集时终端设备的位置，而运动数据可选地涉及采集图像时终端设备的方向和姿态。此外，天空中的一个或多个锚点可选地指实际夜空中的亮星或星座。天文特征信息可选地指的是夜空的观测特征，可以事先从科学天文数据中获取。因此，天文特征信息不一定关联于天空中的锚点。此外，由于录制的天体视频是由一帧帧图像组成的，因此本申请的上述方法可同样适用于对采集的视频进行成像处理。因此，本申请提供的最终天文成像内容包括最终图像以用于天文摄影，以及由一个或多个最终图像组成的最终视频以用于天文录像。
[0010]根据所采集的图像、所采集图像中的天空区域、终端设备的位置和方向、以及夜空的科学天文数据，向终端设备(如数字摄像设备)的使用者提供真实场景下的天文成像内容。特别是，来自全球不同地点的观测者看到的银河系等天文天体的不同区域，通过本申请可以正确再现。此外，由于地球斜度(即倾斜度)在一年中是不断变化的，因此一年中天体会出现在设备的不同方向上。因此，通过本申请的图像数据分析，应用终端设备的位置和方向依赖信息，来提高最终图像中合成天空区域的精度。此外，本申请的方法不需要任何复杂的天文成像专用设置，也不需要用户使用任何后期处理软件，从而提高了为实用数字摄像装置采集或录制的场景提供上述精确的天文成像内容的效率。
[0011]可选地，天空数据包括关联于从采集的图像分割出的天空区域的天空区域信息。其中，从采集的图像分割出天空区域可选地指的是对包含在图像数据中的天空数据和非天空数据进行区分。可选地，上述分割是在像素水平上进行的。根据本申请的方法，对由采集的图像构成的天空区域进行分割，从而提高最终图像中的合成天空区域的精度。
[0012]可选地，天空数据包括关联于天空区域中采集到的一个或多个锚点的天空特征信息。其中，关联于图像中采集的亮星或星座的信息包含在天空特征信息中。可选地，天空特征信息包括采集的锚点的像素数据。因此，通过获取特别地关联于采集图像中的锚点的数据，以提高最终图像中合成天空区域的精度。
[0013]可选地，天文特征信息是从预先记录/预存的星空图中获取的，其中，星空图包括与天空数据对应、且可选地与采集到的一个或多个锚点中的至少一个对应的一个或多个目标锚点，以基于包括一个或多个目标锚点的图上(on
‑
map)天空区域提供合成天空区域。其中，星空图可选地从预存的开源科学数据中获得，包括例如美国国家航空航天局(NASA，National Aeronautics and Space Administration)提供的深空星图和欧洲航天局(ESA，European Space Agency)发布的星系数据库。此外，图上天空区域指的是星空图上的天空区域，并包括一个或多个目标锚点。因此，通过本申请的方法，应用目标锚点与采集的锚点之间的对应关系，使星空图中包括有一个或多个目标锚点的图上天空区域可以被图像数据分析利用，以生成最终图像中的精确天文内容。
[0014]可选地，图像数据合成包括基于学习的算法，基于学习的算法可选地使用生成式对抗网络(GAN，Generative Adversarial Network)。可选地，基于学习的算法包括已经用训练图像数据训练过的学习型网络，从而可以为采集图像的图像数据提供预测。可选地，用科学星系图像的原始版本和降级版本训练的GAN被应用，从而GAN能够以更高的精度生成最终的星系图像。根据本申请的图像数据分析，不仅将采集的图像中所包含的天空本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的数字天文成像方法，所述方法在终端设备上实现，并且包括：从包含在所述终端设备中的数字摄像传感器获取包括天空区域的采集图像的图像数据；从所述图像数据中获取天空数据；获取所述终端设备的全球定位信息；获取所述终端设备的运动数据；获取天文特征信息，其中，所述天文特征信息关联于天空中的一个或多个锚点；以及对所述图像数据、所述天空数据、所述全球定位信息、所述运动数据和所述天文特征信息进行图像数据合成，以提供包括合成天空区域的最终图像。2.根据权利要求1所述的方法，其特征在于，所述天空数据包括关联于从所述采集图像上分割的所述天空区域的天空区域信息。3.根据权利要求1或2所述的方法，其特征在于，所述天空数据包括关联于所述天空区域中采集到的所述一个或多个锚点的天空特征信息。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述天文特征信息是从星空图中获取的，其中，所述星空图包括与所述天空数据对应、且与采集到的所述一个或多个锚点中的至少一个对应的一个或多个目标锚点，以基于包括所述一个或多个目标锚点的图上天空区域提供所述合成天空区域。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述图像数据合成包括基于学习的算法，所述基于学习的算法使用生成式对抗网络GAN。6.根据权利要求1至5中任一项所...

【专利技术属性】
技术研发人员：乌伊加尔，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：