用于部署在开阔海域上的传感器携带设备或浮子的选择性图像捕获的系统和方法技术方案

本说明书涉及图像捕获。更具体地，本说明书涉及用于例如部署在开阔海域上的传感器携带设备或浮子的选择性图像捕获。在一种形式中，数据由板载惯性测量单元(IMU)在该传感器携带设备或浮子上生成，并且用于自动预测海的波运动。然后使用这些预测来确定用于触发板载相机的可接受的运动参数集。然后，相机捕获图像。一个考虑因素是，在波顶的峰处或波顶的峰附近以最小的俯仰和滚动捕获的图像将包含较少的障碍(诸如其他波)。此类图像提供了地平线更深处的视野，以便例如监测海事海上交通和其他现象。因此，捕获感兴趣对象(诸如船舶、小船、垃圾、鸟类等)的可能性增加。然后可以以多种方式进一步处理和/或传输这些图像。式进一步处理和/或传输这些图像。式进一步处理和/或传输这些图像。

【技术实现步骤摘要】
用于部署在开阔海域上的传感器携带设备或浮子的选择性图像捕获的系统和方法
[0001]关于联邦政府资助研究或发展的声明
[0002]本专利技术是在由DARPA授予的HR00112090101下由美国政府支持完成的。美国政府对本专利技术享有一定的权利。


[0003]本说明书涉及图像捕获。更具体地，本说明书涉及用于部署在开阔海域上的浮动传感器(或传感器携带设备或浮子)的选择性图像捕获。因此，本专利技术结合海洋传感器可得到适当应用，并且将特别参考其进行描述。然而，应当理解，本文所述的主题同样适合和/或适用于其他类似应用。

技术介绍

[0004]已有人提出部署廉价的浮动在海洋上的设备以检测和报告各种信号，包括图像、环境信息以及人类活动和无线电通信生成的信号。例如，一项提议的举措旨在部署大量包括相机的廉价的浮动传感器(在本文中也称为浮子或传感器携带设备或浮子)。
[0005]如所提出的，包括由浮子相机采集的图像数据的采集数据，经由无线电通信和/或无线电信链路(例如，到围绕地球轨道中的卫星的无线链路和/或无线电通信)从浮子传送到期望的远程位置(即，相对于浮子的远程位置)。此数据的传输通常被允许使用和/或占用正在进行传输的卫星和/或无线链路的有限时间量、带宽和/或其他资源。
[0006]在一些情况下，这些设备或浮子可能被限制为选择性地以极其有限的数据速率(例如，320字节/20分钟)传输获取的数据。因此，仅传输与特定目标或目的相关的必要信息通常很重要。而且，这些设备或浮子具有有限的功率存储能力。例如，在处理由浮子的设备上相机捕获的图像时，由于需要大量功率消耗，因此无法通过深度神经网络连续处理图像。
[0007]一些现有方法仅关注图像捕获问题，并且将整个电池容量和传输带宽专用于此。这些类型的方法可能不适合小型、低功率多感知浮子。

技术实现思路

[0008]在当前描述的实施方案的一个方面，部署在开阔的海域中的浮动设备上的系统包括：被配置成用于捕获图像的相机、被配置成用于捕获IMU数据的惯性测量单元(IMU)、以及至少一个处理器和至少一个其上存储有代码的存储器，当该代码由该至少一个处理器执行时基于该IMU数据来触发该相机以捕获图像。
[0009]在当前描述的实施方案的另一方面，该至少一个处理器执行校准序列。
[0010]在当前描述的实施方案的另一方面，该至少一个处理器基于预定标准来触发相机以捕获图像。
[0011]在当前描述的实施方案的另一方面，该预定标准包括：
[0012]z＞z_阈值x z_峰值
[0013]‑
p_半径＜p＜p_半径
[0014]‑
r_半径＜r＜r_半径
[0015]其中z是对传感器携带设备或浮子的高度(在海平面上、高于海平面或低于海平面)的当前估计，z_阈值是设备或浮子需要高于其以允许捕获的平均预测波高的百分比，z_峰值是设备或浮子在c秒内的最大高度(用于接近波顶的高度)，p是俯仰，p_半径是设备或浮子需要在其中以允许捕获的俯仰半径，r是滚动，并且r_半径是设备或浮子需要在其中以允许捕获的滚动半径。
[0016]在当前描述的实施方案的另一方面，该至少一个处理器基于对传感器携带设备或浮子何时将位于波的顶部的估计来触发该相机以捕获图像。
[0017]在当前描述的实施方案的另一方面，该估计基于该IMU数据和预测性例程。
[0018]在当前描述的实施方案的另一方面，该预测性例程包括卡尔曼滤波器的实施以预测波行为。
[0019]在当前描述的实施方案的另一方面，部署在开阔海域中的浮动设备上的系统包括：被配置成用于捕获图像的相机、被配置成用于捕获IMU数据的惯性测量单元(IMU)、以及至少一个处理器和至少一个其上存储有代码的存储器，当该代码由该至少一个处理器执行时，基于该IMU数据触发该相机捕获多个图像并且触发该至少一个处理器选择所捕获的图像。
[0020]在当前描述的实施方案的另一方面，该至少一个处理器执行校准序列。
[0021]在当前描述的实施方案的另一方面，该相机随机地捕获多个图像。
[0022]在当前描述的实施方案的另一方面，该相机基于预测的波的顶捕获多个图像。
[0023]在当前描述的实施方案的另一方面，该至少一个处理器将来自该惯性测量单元的数据与多个图像同步，使用预定标准针对每个所捕获的图像过滤来自该惯性测量单元的该数据，并且选择满足该预定标准的所捕获的图像。
[0024]在当前描述的实施方案的另一方面，该预定标准包括：
[0025]z＞z_阈值x z_峰值
[0026]‑
p_半径＜p＜p_半径
[0027]‑
r_半径＜r＜r_半径
[0028]其中z是对传感器携带设备或浮子的高度(在海平面上、高于海平面或低于海平面)的当前估计，z_阈值是设备或浮子需要高于其以允许捕获的平均预测波高的百分比，z_峰值是设备或浮子在c秒内的最大高度(用于接近波顶的高度)，p是俯仰，p_半径是设备或浮子需要在其中以允许捕获的俯仰半径，r是滚动，并且r_半径是设备或浮子需要在其中以允许捕获的滚动半径。
[0029]在当前描述的实施方案的另一方面，一种用于具有至少一个相机和惯性测量单元的传感器携带设备或浮子上的图像捕获的方法包括：选择性地启动图像捕获例程，执行校准序列以预测传感器携带设备或浮子的当前高度，估计海平面以及预测波顶高度，使用来自惯性测量单元的数据来确定传感器携带设备或浮子的当前高度，通过惯性测量单元来测量传感器携带设备或浮子的俯仰和滚动，以及如果基于传感器携带设备或浮子的确定的高度、俯仰和滚动，预定标准得以满足，则由相机捕获图像。
[0030]在当前描述的实施方案的另一方面，校准序列包括在最后w次测量中对该惯性测
量单元的加速度计数据进行积分，该加速度计数据对应于在垂直于海洋表面(Z)的方向上的所测得的加速度，以预测该浮子或设备的当前高度(z)，其中w是被积分以预测当前高度(z)的点数，然后对所有z值求平均以估计该海平面，并且使用随时间推移的z的最大的测得的值来预测该波顶高度。
[0031]在当前描述的实施方案的另一方面，该预定标准包括：
[0032]z＞z_阈值x z_峰值
[0033]‑
p_半径＜p＜p_半径
[0034]‑
r_半径＜r＜r_半径
[0035]其中z是对传感器携带设备或浮子的高度(在海平面上、高于海平面或低于海平面)的当前估计，z_阈值是设备或浮子需要高于其以允许捕获的平均预测波高的百分比，z_峰值是设备或浮子在c秒内的最大高度(用于接近波顶的高度)，p是俯仰，p_半径是设备或浮子需要在其中以允许捕获的俯仰半径，r是滚动，并且r_半径是设备或浮子需要在其中以允许捕获的滚动半径。
[0036]在当前描述的实施方案的另一方面，一种用于具有至少一个相机和惯性测量单元的传感器携带设备或浮子上的图像捕获的方法包括：选择性地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种部署在开阔海域中的浮动设备上的系统，所述系统包括：相机，所述相机被配置成用于捕获图像；惯性测量单元(IMU)，所述惯性测量单元被配置成用于捕获IMU数据；和，至少一个处理器和至少一个存储器，所述至少一个存储器上存储有代码，当所述代码由所述至少一个处理器执行时基于所述IMU数据来触发所述相机以捕获图像。2.根据权利要求1所述的系统，其中所述至少一个处理器执行校准序列。3.根据权利要求1所述的系统，其中所述至少一个处理器基于预定标准来触发所述相机以捕获所述图像。4.根据权利要求3所述的系统，其中所述预定标准包括：z＞z_阈值x z_峰值
‑
p_半径＜p＜p_半径
‑
r_半径＜r＜r_半径其中z是对所述传感器携带设备或浮子的高度(在海平面上、高于海平面或低于海平面)的当前估计，z_阈值是所述设备或浮子需要高于其以允许捕获的平均预测波高度的百分比，z_峰值是所述设备或浮子在c秒内的最大高度(用于接近波顶的高度)，p是俯仰，p_半径是所述设备或浮子需要在其中以允许捕获的俯仰半径，r是滚动，并且r_半径是所述设备或浮子需要在其中以允许捕获的滚动半径。5.根据权利要求1所述的系统，其中所述至少一个处理器基于对所述传感器携带设备或浮子何时将位于波的顶部时的估计来触发所述相机以捕获图像。6.根据权利要求5所述的系统，其中所述估计基于所述IMU数据和预测性例程。7.根据权利要求6所述的系统，其中所述预测性例程包括卡尔曼滤波器的实施以预测波行为。8.一种部署在开阔海域中的浮动设备上的系统，所述系统包括：相机，所述相机被配置成用于捕获图像；惯性测量单元(IMU)，所述惯性测量单元被配置成用于捕获IMU数据；和，至少一个处理器和至少一个存储器，所述至少一个存储器上存储有代码，当所述代码由所述至少一个处理器执行时，基于所述IMU数据触发所述相机捕获多个图像并且触发所述至少一个处理器选择所捕获的图像。9.根据权利要求8所述的系统，其中所述至少一个处理器执行校准序列。10.根据权利要求8所述的系统，其中所述相机随机地捕获所述多个图像。11.根据权利要求8所述的系统，其中所述相机基于预测的波的顶捕获所述多个图像。12.根据权利要求8所述的系统，其中所述至少一个处理器将来自所述惯性测量单元的数据与所述多个图像同步，使用预定标准针对每个所捕获的图像过滤来自所述惯性测量单元的所述数据，并且选择满足所述预定标准的所捕获的图像。13.根据权利要求12所述的系统，其中所述预定标准包括：z＞z_阈值x z_峰值
‑
p_半径＜p＜p_半径
‑
r_半径＜r＜r_半径其中z是对所述传感器携带设备或浮子的所述高度(在海平面上、高于海平面或低于海
平面)的当前估计，z_阈值是所述设备或浮子需要高于其以允许捕获的平均预测波高的百分比，z_峰值是所述设备或浮子在c秒内的最大高度(用于接近波顶的高度)，p是俯仰，p_半径是所述设备或浮子需要在其中以允许捕获的俯仰半径，r是滚动，并且r_半径是所述设备或浮子需要在其中以允许捕获的滚动半径。14.一种用于具有至少一个相机和惯性测量单元的传感器携带设备或浮子上的图像捕获的方法，所述方法包括：选择性地启动图像捕获例程；执行校准序列以预测所述传感器携带设备或浮子的当前高度、估计海平面以及预测波顶高度；使用来自所述惯性测量单元的数据来确定所述传感器携带设备或浮子的所述当前高度；通过所述惯性测量单元来测量所述传感器携带设备或浮子的俯仰和滚动；以...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：帕洛阿尔托研究中心公司，
类型：发明
国别省市：