用于确定所要传输的视频片段的方法技术

本发明专利技术涉及用于确定在车辆中借助于摄像机所记录的视频（202）的所要传输的视频片段（206）的方法，其包括：针对在车辆中拍摄的视频的多个视频片段中的一个视频片段（206）或每个视频片段，关于多个视频片段中的一个或每个视频片段的相应内容对所述一个或每个视频片段进行分析（208）；产生（210）数据（212），其包括关于相应的视频片段的相应内容的信息；将所述数据传送（214）给车辆外部的计算系统（120）；从该车辆外部的计算系统（120）接收（220）关于一个或多个所要传输的视频片段的信息（222）；而且将所述一个或多个所要传输的视频片段传输（224）给车辆外部的计算系统（120）。本发明专利技术同样涉及在该计算系统中执行的方法，以及摄像机系统和计算系统。统和计算系统。统和计算系统。

【技术实现步骤摘要】
用于确定所要传输的视频片段的方法


[0001]本专利技术涉及用于确定在车辆中借助于摄像机所记录的视频的所要传输的视频片段的方法，以及一种用于执行这些方法的计算系统、一种用于执行这些方法的摄像机系统和一种用于执行这些方法的计算机程序。

技术介绍

[0002]在车辆中可以设置摄像机、尤其是内部和/或外部摄像机，这些摄像机记录车辆的内部空间或周围环境的视频。这些视频例如可以由驾驶员辅助系统来评估，这些驾驶员辅助系统可以从中获得在驾驶车辆的任务方面对驾驶员进行辅助的信息。在所谓的行车记录仪的情况下，也可以规定：存储所记录的视频。

技术实现思路

[0003]按照本专利技术，提出了具有专利独立权利要求的特征的一种用于确定在车辆中借助于摄像机所记录的视频的所要传输的视频片段的方法，以及具有专利独立权利要求的特征的一种用于执行这些方法的计算系统、一种用于执行这些方法的摄像机系统和一种用于执行这些方法的计算机程序。有利的设计方案是从属权利要求以及随后的描述的主题。
[0004]本专利技术涉及摄像机，这些摄像机被设置在车辆中，以便拍摄或记录内部空间和/或外部空间、即车辆的周围环境的视频。尤其是在所谓的行车记录仪作为摄像机的情况下，这些视频也可以在摄像机或与之连接的（带有存储器的）计算系统中至少被存储一定的时长。此外，在这种视频的情况下，能够进行内容分析，例如对车辆的内部空间的内容分析，以便能够实现安全行驶，或者对周围环境的内容分析，以便能够在发生事故的情况下提供证据视频。
[0005]通常存在的车辆经由诸如移动无线电连接那样的无线通信系统与车辆外部的计算系统（例如所谓的云）的连接的可能性是：将由这种摄像机所记录的视频传输给这种车辆外部的计算系统。这例如允许对视频进行比在车辆本身中更深入的分析或评估。
[0006]尽管无线通信系统具有越来越高的数据传输率，但是在这种视频的情况下例如在车辆的较长时间行驶的情况下必须被传输的大数据量是一个问题。只要可能的话，应该将该数据量保持得小，例如以便尽可能少地使用现有的数据流量并且例如也开放该数据流量用于其它服务。在该背景下，在本专利技术的范围内，提出了一种可能性：至少在大多数情况下显著减少所要传输的数据量，但是仍然能够继续将所要传输的视频或这些视频的片段传输给车辆外部的计算系统。为此，一方面在车辆中或在那里在诸如控制设备的计算系统或者与摄像机连接或包含在摄像机系统中的计算单元中实施必要的步骤，但是另一方面也在车辆外部的计算系统中实施必要的步骤。在此，本专利技术涉及在车辆中和在车辆外部的计算系统中单独而且共同执行的方法。然而，这些方法随后应该共同被描述。
[0007]原则上，借助于车辆中的摄像机来拍摄视频。接着，该视频例如被分成多个视频片段，即例如可以产生具有特定长度、诸如30秒或1分钟的视频片段。但是，在极限情况下，视
频片段例如也可能会只是单独的图像或帧。接着，这些视频片段中的每个视频片段都关于其相应的内容被分析。该分析例如也可以在线地或实时地或几乎实时地进行。为此，一旦当前拍摄的视频达到了对于视频片段来说所需的长度，就可以产生视频片段（即可以简单地使用该视频的相对应的部分）。接着，这可以依次针对各一个视频片段来进行。但是，同样也可以将已经存在的较长的视频分成多个视频片段，这些视频片段接着相对应地依次被分析或者如果可能的话也并行被分析。
[0008]在此，关于视频片段的内容对该视频片段的分析尤其应被理解为：分析该视频片段显示出什么，即例如在该视频片段上是否能看到人以及这个人正在做什么，例如把手放在方向盘上、看向后视镜，等等。为了处理视频片段、即图像或视频数据，例如可以使用所谓的“图像描述（image captioning）”方法，诸如在J. Johnson、A. Karpathy、Fei
‑
Fei Li、DenseCap：Fully Convolutional Localization Networks for Dense Captioning，CVPR，2016中所描述的那样。此外，接着产生数据，这些数据包括关于相应的视频片段的相应内容的信息。这些信息尤其可以包括以文本形式的一个或多个词，所述一个或多个词描述相应的视频片段的相应内容。即，那么这些信息是一种自动的图像或视频描述或者图像或视频注释。
[0009]在处理或分析时，例如可以根据视频片段或图像/视频首先通过人工神经网络或其它机器学习方法来创建特征向量。这例如可包括：存在于视频片段中的、不同的信息（诸如可推断出特定内容的几何形状）通过（与已知形状）与特定的值或数字的比较来被关联。接着，在这种情况下获得的结果（特征向量）例如可以被传递给所谓的循环神经网络（例如LSTM网络、即“Long Term Short Memory（长短期记忆）”网络），利用该循环神经网络来创建数据或描述。这里，例如也可以通过与已知的特征向量的比较来确定应选择哪个描述。
[0010]即，在此尤其根据视频片段来产生（语义）描述，例如形式为“孩子正拿着球坐在绿色车辆中，驾驶员分心了”或者“有人坐在车辆中并且正在转向”。借此，这种描述、即所提及的数据的数据量明显小于所基于的视频片段的数据量。即，进行一种数据压缩。
[0011]接着，在此产生的数据由车辆（经由例如无线通信连接）传送给车辆外部的计算系统。接着，在车辆外部的计算系统中，有关所述多个视频片段中的一个或至少一个视频片段（对于该视频片段来说这些数据包括信息或描述）是否应被归类为要传输来对这些数据进行分析。在此，尤其是当相关的视频片段或包含在其中的信息对于特定目的来说被视为重要或令人感兴趣时，归类为要传输。这样，例如在周围环境的视频的情况下，可以将在其上看到的事故视为重要；显示出该事故的所有视频片段接着都被归类为要传输。在内部空间的视频的情况下，这例如可能是其中驾驶员较长时间没有看向行驶方向或者在其它方面分心的情况。
[0012]有关所述多个视频片段中的一个或至少一个视频片段是否应被归类为要传输对这些数据的分析例如可以由人、即所谓的操作人员来进行，该操作人员在车辆外部的计算系统、例如通常在其中收集和评估这种数据的控制中心上查看这些数据。这里，特别有利的是：这些数据包括以文本形式的一个或多个词，原因在于这能够使人特别快地确定或选择所要传输的视频片段。
[0013]但是，同样也特别优选的是：有关所述多个视频片段中的一个或至少一个视频片段是否应被归类为要传输对这些数据的分析在车辆外部的计算系统中自动化地进行，尤其
是在使用机器学习方法、尤其是人工神经网络或者还有其它适合的算法的情况下。这可以比例如由人进行得更快。在这种情况下，当这些数据包括词时，可以根据特定的、关于所要传输的术语来对这些数据进行分析，即所谓的关键词。这些词例如可以根据需要和情况来被指定，例如以列表的形式；接着可以将这些数据中的词与该列表中的词自动化地进行对照。
[0014]但是，尤其是在对这些数据的自动化的分析的情况下，替代以文本形式的词，也可以使用其它信息。例如，可设想的是使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于确定在车辆（100）中借助于摄像机（114）所记录的视频（202）的所要传输的视频片段（206、300）的方法，所述方法包括：针对在所述车辆中拍摄的视频的多个视频片段中的一个视频片段（206、300）或每个视频片段，关于所述多个视频片段中的一个或每个视频片段的相应内容对所述一个或每个视频片段进行分析（208）；产生（210）数据（212），所述数据包括关于相应的视频片段的相应内容的信息；将所述数据传送（214）给车辆外部的计算系统（120）；从所述车辆外部的计算系统（120）接收（220）关于一个或多个所要传输的视频片段的信息（222）；而且将所述一个或多个所要传输的视频片段传输（224）给所述车辆外部的计算系统（120）。2.根据权利要求1所述的方法，其中产生（210）包括关于相应的视频片段的相应内容的信息的数据（212）包括：在使用机器学习方法、尤其是人工神经网络的情况下产生（210）数据（212）。3.一种用于确定已经在车辆（100）中借助于摄像机（112）所记录的视频（202）的所要传输的视频片段（206、300）的方法，所述方法包括：从所述车辆（100）接收（214）数据（212），所述数据包括一个视频片段（206、300）的内容或者所述视频的多个视频片段中的每个视频片段的相应内容的内容的描述；有关所述多个视频片段中的一个或至少一个视频片段是否应被归类为要传输来对所述数据（212）进行分析（216）；而且基于所述分析来确定（218）所要传输的视频片段（206、300）。4.根据权利要求3所述的方法，所述方法还包括：将关于多个所要传输的视频片段中的一个或至少一个视频片段的信息（222）传送（220）给所述车辆（100）。5.根据权利要求3或4所述的方法，所述方法还包括：从所述车辆（100）接收（224）多个所要传输的视频片段中的一个或至少一个视频片段。6.根...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：罗伯特，
类型：发明
国别省市：