用于运输系统的视频内容分析系统及方法技术方案

本发明专利技术涉及一种用于移动资产的视频内容分析系统，其包含轨道检测及基础设施监视组件。所述轨道检测及基础设施监视包含用以分析视频数据、音频数据、交通工具数据、天气数据及路线/清单数据以确定与所述资产有关的内部及/或外部状况的强化学习组件、物体检测及位置组件以及障碍物检测组件。数据获取与记录系统将所述数据、内部及/或外部状况信息、物体检测信息、物体位置信息及障碍物检测信息上传到远程存储器模块且向远程定位的用户实时地提供流式传输视频数据。远程定位的用户可通过网络浏览器或虚拟现实装置而以各种视图模式查看所述数据，此提供较快紧急响应、验证修理及重新路线规划的有效性，且监视组员表现及安全。

Video Content Analysis System and Method for Transportation System

The present invention relates to a video content analysis system for mobile assets, which includes track detection and infrastructure monitoring components. The track detection and infrastructure monitoring includes reinforcement learning components, object detection and location components and obstacle detection components for analyzing video data, audio data, vehicle data, weather data and route/inventory data to determine internal and/or external conditions related to the assets. The data acquisition and recording system uploads the data, internal and/or external condition information, object detection information, object location information and obstacle detection information to the remote memory module and provides real-time streaming transmission of video data to the remote positioning user. Remote positioning users can view the data in various view modes through a web browser or virtual reality device, which provides faster emergency response, verifies the effectiveness of repairs and re-routing planning, and monitors the performance and safety of team members.

【技术实现步骤摘要】
【国外来华专利技术】用于运输系统的视频内容分析系统及方法相关申请案交叉参考本申请案主张2016年5月16日提出申请的美国临时申请案第62/337,225号的优先权、主张2016年5月16日提出申请的美国临时申请案第62/337,227号的优先权、主张2016年5月16日提出申请的美国临时申请案第62/337,228号的优先权、主张2017年5月15日提出申请的美国非临时申请案第15/595,712号的优先权、主张2017年5月15日提出申请的美国非临时申请案第15/595,650号的优先权并为所述美国非临时申请案的部分接续申请案，且主张2017年5月15日提出申请的美国非临时申请案第15/595,689号的优先权并为所述美国非临时申请案的部分接续申请案达到法律允许的程度，且所述申请案的内容以其全文引用的方式并入本文中。
本专利技术涉及用于高价值资产中的设备且特定来说，涉及用于高价值移动资产中的实时数据获取与记录系统。
技术介绍
例如机车、航空器、大运量客运系统、采矿设备、可运输医疗设备、货物、海运船舶及军用船舶等高价值移动资产通常采用机载数据获取与记录“黑匣子(blackbox)”系统及/或“事件记录器”系统。这些数据获取与记录系统(例如事件数据记录器或飞行数据记录器)记录用于事故调查、组员表现评估、燃料效率分析、维修计划及预测性诊断的多种系统参数。典型数据获取与记录系统包括数字及模拟输入，以及压力开关及压力传感器，其记录来自各种机载传感器装置的数据。所记录数据可包含例如速度、所行进距离、位置、燃料水平、每分钟发动机转数(RPM)、流体水平、操作者控制、压力及周围状况等参数。除了基本事件及操作数据之外，还对这些相同移动资产中的许多移动资产部署视频及音频事件/数据记录能力。通常，在已发生关于资产且需要进行调查的事故之后，一旦已恢复数据记录器，便从数据记录器提取数据。可出现其中无法恢复数据记录器或数据以其它方式不可用的特定情境。在这些情境中，立即需要由数据获取与记录系统获取的数据(例如事件及操作数据、视频数据以及音频数据)，而不管对数据获取与记录系统或数据的物理存取是否不可用。
技术实现思路
本专利技术一般来说涉及用于高价值移动资产中的实时数据获取与记录系统。本文中的教示可提供对与高价值移动资产有关的视频数据及视频内容分析的实时或近实时存取。本文中所描述的一种用于处理来自移动资产的数据的方法的一个实施方案包含：使用位于所述移动资产上的视频分析组件从以下各项中的至少一者接收基于至少一个数据信号的数据：位于所述移动资产上的至少一个数据源；及远离所述移动资产的至少一个数据源；使用所述视频分析组件的强化学习组件来将所述数据处理成经处理数据；使用所述视频分析组件将所述数据及所述经处理数据中的至少一者发送到位于所述移动资产上的数据记录器；使用所述数据记录器的数据编码器而基于所述经处理数据来编码包括位流的记录；及使用所述数据记录器的机载数据管理器将所述数据、所述经处理数据及所述记录中的至少一者以可配置第一预定速率存储于所述数据记录器的至少一个本地存储器组件中。本文中所描述的一种用于分析视频内容的系统的一个实施方案包含：至少一个360度相机、至少一个固定相机及至少一个麦克风中的至少一者；位于移动资产上的视频分析组件，所述视频分析组件包括强化学习组件、物体检测及位置组件以及障碍物检测组件，所述视频分析组件经配置以从所述至少一个360度相机、所述至少一个固定相机及所述至少一个麦克风中的所述至少一者接收基于至少一个数据信号的数据；所述强化学习组件，其经配置以将所述数据处理成经处理数据；所述物体检测及位置组件，其经配置以基于所述经处理数据而确定第一物体的物体检测数据及物体位置数据；及所述障碍物检测组件，其经配置以基于所述经处理数据、所述物体检测信息及所述物体位置信息中的至少一者而确定障碍物检测信息。下文将以额外细节描述本专利技术的这些及其它方面中的变化。附图说明本文中的描述参考附图，其中在所有数个视图中相似参考编号指代相似部件，且其中：图1图解说明根据本专利技术的实施方案的示范性实时数据获取与记录系统的现场实施方案；图2A是图解说明根据本专利技术的实施方案的示范性轨道检测的图式；图2B是图解说明根据本专利技术的实施方案的示范性轨道检测及道岔(switch)检测的图式；图2C是图解说明根据本专利技术的实施方案的示范性轨道检测、对轨道数目进行计数及信号检测的图式；图3是根据本专利技术的实施方案的用于确定移动资产的内部状态的过程的流程图；且图4是根据本专利技术的实施方案的用于确定在移动资产外部发生的物体检测及障碍物检测的过程的流程图。具体实施方式本文中所描述的实时数据获取与记录系统及视频分析系统向远程定位的用户提供对高价值资产的宽广范围的数据(例如事件及操作数据、视频数据以及音频数据)的实时或近实时存取。数据获取与记录系统记录与资产有关的数据，且在事故已发生之前、期间及之后将所述数据流式传输到远程数据存储库及远程定位的用户。将数据实时或近实时地流式传输到远程数据存储库，从而使信息至少在截至事故或紧急情境时为可用的，由此通过将信息实时地流式传输到远程数据存储库且使信息至少在截至灾难性事件时为可用的而实际上消除对定位及下载“黑匣子”以便调查涉及资产的事故的需要。DARS对移动资产的所记录视频数据执行视频分析以确定(举例来说)车厢占用率及轨道检测。远程定位的用户可使用共同网络浏览器来导览到并查看与所选择资产有关的所要数据且不需要和资产上的数据获取与记录系统进行交互以请求下载特定数据、定位或传送文件以及使用定制应用程序来查看数据。DARS通过在事故之前、期间及之后将视频数据流式传输到远程数据存储库及远程定位的用户而为远程定位的用户提供对所述数据及由视频分析系统执行的视频分析的存取，由此消除使用户手动地下载、提取及回放视频以回顾视频数据来确定车厢占用率、确定在事故、轨道检测、调查或在所关注的任何其它时间期间是否存在组员成员或未经授权人员的需要。另外，视频分析系统通过实时地处理图像及视频数据而提供车厢占用率状态确定、轨道检测、引导及尾随单元确定，由此确保正确数据总是对于用户为可用的。举例来说，实时图像处理确保被指定为尾随机车的机车并非处于引导服务中以增强铁路安全。现有系统通过使用调度系统中的列车编组功能性来在列车内提供机车位置。有时，调度系统信息可为陈旧的，这是因为并未实时地更新所述信息且组员人员在认为必要的情况下可改变机车。在本专利技术的系统之前，检验组员及/或资产人员必须手动地检验轨道状况、手动地检查交通工具是处于引导还是尾随位置中、手动地勘察每一个别所关注物体的位置、手动地创建所有所关注物体的地理位置的数据库、周期性地执行对每一所关注物体的手动现场勘察以验证其位置且识别不同于原始勘察的地理位置的任何改变、在从创建原始数据库的时间以来所关注物体由于修理或额外基础设施开发而改变位置时手动地更新数据库、从数字视频记录器及/或数据记录器选择并下载所要数据且离线检验所下载数据及/或视频并针对任何障碍物而检查轨道，并且交通工具操作者必须物理检查任何障碍物及/或道岔改变。本专利技术的系统已消除使用户执行这些步骤的需要，从而仅需要用户使用共同网络浏览器来导览到所要数据。资产所有者及操作者可使移动资产的效率及安本文档来自技高网...

【技术保护点】
1.一种用于处理来自移动资产的数据的方法，其包括：使用位于所述移动资产上的视频分析组件从以下各项中的至少一者接收基于至少一个数据信号的数据：位于所述移动资产上的至少一个数据源；及远离所述移动资产的至少一个数据源；使用所述视频分析组件的强化学习组件来将所述数据处理成经处理数据；使用所述视频分析组件将所述数据及所述经处理数据中的至少一者发送到位于所述移动资产上的数据记录器；使用所述数据记录器的数据编码器而基于所述经处理数据来编码包括位流的记录；及使用所述数据记录器的机载数据管理器将所述数据、所述经处理数据及所述记录中的至少一者以可配置第一预定速率存储于所述数据记录器的至少一个本地存储器组件中。

【技术特征摘要】
【国外来华专利技术】2016.05.16 US 62/337,228;2016.05.16 US 62/337,227;1.一种用于处理来自移动资产的数据的方法，其包括：使用位于所述移动资产上的视频分析组件从以下各项中的至少一者接收基于至少一个数据信号的数据：位于所述移动资产上的至少一个数据源；及远离所述移动资产的至少一个数据源；使用所述视频分析组件的强化学习组件来将所述数据处理成经处理数据；使用所述视频分析组件将所述数据及所述经处理数据中的至少一者发送到位于所述移动资产上的数据记录器；使用所述数据记录器的数据编码器而基于所述经处理数据来编码包括位流的记录；及使用所述数据记录器的机载数据管理器将所述数据、所述经处理数据及所述记录中的至少一者以可配置第一预定速率存储于所述数据记录器的至少一个本地存储器组件中。2.根据权利要求1所述的方法，其中位于所述移动资产上的所述至少一个数据源包含以下各项中的至少一者：移动资产数据组件、至少一个麦克风、至少一个固定相机及至少一个360度相机。3.根据权利要求2所述的方法，其中从所述移动资产数据组件接收的所述数据包含全球定位系统数据及惯性传感器数据。4.根据权利要求2所述的方法，其中所述数据包括以下各项中的至少一者：从所述至少一个固定相机及所述至少一个360度相机中的至少一者接收的视频信息，以及从所述至少一个麦克风接收的音频信息。5.根据权利要求1所述的方法，其中远离所述移动资产的所述至少一个数据源包含以下各项中的至少一者：天气组件、路线、清单及地理信息系统组件以及远程数据存储库。6.根据权利要求1所述的方法，其进一步包括：使用所述视频分析组件的物体检测及位置组件基于所述经处理数据而确定第一物体的第一物体检测数据及第一物体位置数据中的至少一者；及使用所述物体检测及位置组件基于所述第一物体检测数据及所述第一物体位置数据中的至少一者而识别涉及所述移动资产的内部状况。7.根据权利要求6所述的方法，其进一步包括：使用所述视频分析组件的障碍物检测组件基于所述经处理数据、所述第一物体检测数据及第一所述物体位置数据中的至少一者而确定障碍物检测数据；及使用所述障碍物检测组件基于所述障碍物检测数据而识别与所述移动资产有关的外部状况。8.根据权利要求7所述的方法，其中所述障碍物检测数据是基于以下条件：所述第一物体位置数据及所述第一物体检测数据中的至少一者与第二物体的第二物体位置数据及第二物体检测数据类似。9.根据权利要求6所述的方法，其中所述内部状况中的至少一者包括所述移动资产的车厢占用率且外部状况包括轨道检测。10.根据权利要求1所述的方法，其进一步包括：使用位于所述移动资产上的数字视频记录器从以下各项中的至少一者接收基于至少一个数据信号的多媒体数据：至少一个360度相机；至少一个固定相机；及至少一个麦克风；使用所述数据记录器来接收所述多媒体数据；使用所述数据记录器的所述数据编码器而基于所述多媒体数据来编码包括位流的第二记录；及使用所述数据记录器的所述机载数据管理器将所述多媒体数据及所述第二记录中的至少一者以所述可配置第一预定速率存储于所述数据记录器的所述至少一个本地存储器组件中。11.根据权利要求6所述的方法，其进一步包括：使用所述数据记录器来接收所述内部状况、所述第一物体检测数据及所述第一物体位置数据中的至少一者；使用所述数据记录器的所述数据编码器而基于所述内部状况、所述第一物体检测数据及所述第一物体位置数据中的所述至少一者来编码包括位流的第二记录；及使用所述数据记录器的所述机载数据管理器将所述内部状况、所述第一物体检测数据、所述第一物体位置数据及所述第二记录中的至少一者以所述可配置第一预定速率存储于所述数据记录器的所述至少一个本地存储器组件中。12.根据权利要求7所述的方法，其进一步包括：使用所述数据记录器来接收所述外部状况及所述障碍物检测数据中的至少一者；使用所述数据记录器的所述数据编码器而基于所述外部状况及所述障碍物检测数据中的所述至少一者来编码包括位流的第二记录；及使用所述数据记录器的所述机载数据管理器将所述外部状况、所述障碍物检测数据及所述第二记录中的至少一者以所述可配置第一预定速率存储于所述数据记录器的所述至少一个本地存储器组件中。13.根据权利要求1所述的方法，其中...

【专利技术属性】
技术研发人员：L·B·乔丹，S·V·帕特尔，J·A·米勒，J·拉蒂纳韦尔，R·马特里内兹，
申请(专利权)人：外托尼克斯有限公司，
类型：发明
国别省市：美国,US