为光学相机通讯校正帧的方法和电子装置制造方法及图纸

本案提供一种为光学相机通讯校正帧的方法和电子装置。方法包含以下步骤。撷取光信号。将光信号输入至第一机器学习模型以取得缺失时间戳记。将光信号以及缺失时间戳记输入至第二机器学习模型以取得对应于缺失时间戳记的第一补帧。输出第一补帧。输出第一补帧。输出第一补帧。

【技术实现步骤摘要】
为光学相机通讯校正帧的方法和电子装置


[0001]本专利技术是有关于一种光学通讯技术，且特别是有关于一种为光学相机通讯(optical camera communication，OCC)校正帧的方法和电子装置。

技术介绍

[0002]物联网(Internet of Things，IoT)设备使用各种无线通讯技术进行通讯，这些技术分别具有不同的优缺点和适用场景。随着IoT设备的数量快速增加，具有高频宽的光通讯技术成为IoT设备通讯的可行方案。OCC技术是一种完全基于软体的解决方案，其可与现有的基础设施(例如：商用相机或照明设备)的兼容性极佳。因此，OCC技术是极具潜力的IoT设备通讯的解决方案。OCC系统的接收端可利用相机撷取发射端(例如：IoT设备)发射的光信号，以取得发射端所要传输的数据。
[0003]为了提高数据传输的效率，OCC系统中的发射端可利用较高的频率来传送光信号。然而，相机的取样帧率可能是浮动的或随着时间而产生偏差。当相机的取样帧率改变而导致相机与发射端之间出现异步时，接收端将无法接收到完整的光信号，进而导致所接收到的光信号出现缺失帧。因此，如何解决OCC系统容易出现缺失帧的问题，是本领域人员致力的目标之一。

技术实现思路

[0004]本专利技术提供一种为光学相机通讯校正帧的方法和电子装置，可解决由相机取样帧率浮动造成的通讯不同步现象。
[0005]本专利技术的一实施例公开一种为光学相机通讯校正帧的电子装置，包含处理器、储存媒体、收发器以及撷取器。撷取器用以撷取光信号。储存媒体用以储存包含第一机器学习模型以及第二机器学习模型的多个机器学习模型。处理器耦接储存媒体、收发器以及撷取器，其中处理器经配置以执行：将光信号输入至第一机器学习模型以取得缺失时间戳记；将光信号以及缺失时间戳记输入至第二机器学习模型以取得对应于缺失时间戳记的第一补帧；以及通过收发器输出第一补帧。
[0006]本专利技术的一实施公开一种为光学相机通讯校正帧的方法，包含：撷取光信号；将光信号输入至第一机器学习模型以取得缺失时间戳记；将光信号以及缺失时间戳记输入至第二机器学习模型以取得对应于缺失时间戳记的第一补帧；以及输出第一补帧。
[0007]基于上述，本专利技术的电子装置可基于机器学习演算法预测IoT设备的光信号是否存在缺失帧，并且在光信号存在缺失帧时为光信号进行补帧。如此，可避免光信号因相机与IoT设备之间的异步问题而出现缺失。
附图说明
[0008]图1根据本专利技术的一实施例示出一种为光学相机通讯校正帧的电子装置的示意图。
[0009]图2根据本专利技术的一实施例示出取得用于训练机器学习模型的训练数据的示意图。
[0010]图3根据本专利技术的一实施例示出产生补帧的流程图。
[0011]图4根据本专利技术的一实施例示出感兴趣区域的示意图。
[0012]图5根据本专利技术的一实施例示出缺失时间戳记以及缺失帧的示意图。
[0013]图6根据本专利技术的一实施例示出一种为光学相机通讯校正帧的方法的流程图。
[0014]其中，附图标记：
[0015]10、20:机器学习模型集合
[0016]100:电子装置
[0017]110:处理器
[0018]11、12、13、21、22、23:机器学习模型
[0019]120:储存媒体
[0020]130:收发器
[0021]140:撷取器
[0022]200:外部设备
[0023]300:控制器
[0024]400:影像
[0025]c(t1)、c(t2)、c(t3):帧
[0026]c(tm):缺失帧
[0027]ROI:感兴趣区域
[0028]S301、S302、S303、S304、S305、S306、S307、S308、S601、S602、S603、S604:步骤
[0029]t1、t2、t3:时间戳记
[0030]tm:缺失时间戳记
[0031]x:历史控制信令
[0032]y:历史光信号
[0033]ΔT:预估时间间隔
具体实施方式
[0034]为了使本专利技术的内容可以被更容易明了，以下特举实施例作为本专利技术确实能够据以实施的范例。另外，凡可能之处，在图式及实施方式中使用相同标号的元件/构件/步骤，系代表相同或类似部件。
[0035]图1根据本专利技术的一实施例示出一种为光学相机通讯校正帧(frame)的电子装置100的示意图。电子装置100可包含处理器110、储存媒体120、收发器130以及撷取器140。电子装置100可接收外部设备发射出的光信号，并且为光信号校正缺失帧，其中外部设备例如是机上盒、遥控器或无线存取点等具有光源的IoT设备。
[0036]处理器110例如是中央处理单元(central processing unit，CPU)，或是其他可编程的一般用途或特殊用途的微控制单元(micro control unit，MCU)、微处理器(microprocessor)、数位信号处理器(digital signal processor，DSP)、可编程控制器、特殊应用积体电路(application specific integrated circuit，ASIC)、图形处理器
(graphics processing unit，GPU)、影像信号处理器(image signal processor，ISP)、影像处理单元(image processing unit，IPU)、算数逻辑单元(arithmetic logic unit，ALU)、复杂可编程逻辑装置(complex programmable logic device，CPLD)、现场可编程逻辑闸阵列(field programmable gate array，FPGA)或其他类似元件或上述元件的组合。处理器110可耦接至储存媒体120、收发器130以及撷取器140，并且存取和执行储存于储存媒体120中的多个模组和各种应用程序。
[0037]储存媒体120例如是任何型态的固定式或可移动式的随机存取记忆体(random access memory，RAM)、唯读记忆体(read
‑
only memory，ROM)、快闪记忆体(flash memory)、硬碟(hard disk drive，HDD)、固态硬碟(solid state drive，SSD)或类似元件或上述元件的组合，而用于储存可由处理器110执行的多个模组或各种应用程序。储存媒体120可储存用于分别为不同种类的外部设备校正帧的多个机器学习模型集合。
[0038]在一实施例中，储存媒体120可储存包含机器学习模型11、机器学习模型12以及机器学习模型13的机器学习模型集合10以及包含机器学习模型21、机器学习模型22以及机器学习模型23的机器学习模型集合20，但本专利技术并不限制储存媒体120中的机器学习模型集合的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种为光学相机通讯校正帧的电子装置，包括：收发器；撷取器，用以撷取光信号；储存媒体，用以储存包括第一机器学习模型以及第二机器学习模型的多个机器学习模型；以及处理器，耦接所述储存媒体、所述收发器以及所述撷取器，其中所述处理器经配置以执行：将所述光信号输入至所述第一机器学习模型以取得缺失时间戳记；将所述光信号以及所述缺失时间戳记输入至所述第二机器学习模型以取得对应于所述缺失时间戳记的第一补帧；以及通过所述收发器输出所述第一补帧。2.根据权利要求1所述的电子装置，其中所述多个机器学习模型进一步包括第三机器学习模型，其中所述处理器进一步经配置以执行：将所述光信号以及所述缺失时间戳记输入至所述第三机器学习模型以取得对应于所述缺失时间戳记的第二补帧；以及根据所述第一补帧与所述第二补帧之间的第一相似度决定输出所述第一补帧。3.根据权利要求2所述的电子装置，其中所述处理器进一步经配置以执行：再次将所述光信号以及所述缺失时间戳记输入至所述第二机器学习模型以取得对应于所述缺失时间戳记的第三补帧；再次将所述光信号以及所述缺失时间戳记输入至所述第三机器学习模型以取得对应于所述缺失时间戳记的第四补帧；以及响应于所述第一相似度大于所述第三补帧与所述第四补帧之间的第二相似度，从所述第一补帧和所述第三补帧中选择所述第一补帧以输出所述第一补帧。4.根据权利要求1所述的电子装置，其中所述处理器进一步经配置以执行：通过所述撷取器辨识发射所述光信号的外部设备以产生辨识结果；以及根据所述辨识结果从所述多个机器学习模型中选择对应于所述外部设备的所述第一机器学习模型以及所述第二机器学习模型，以产生所述第一补帧。5.根据权利要求4所述的电子装置，其中所述光信号包括光学码字，其中所述处理器根据所述光学码字辨识所述外部设备。6.根据权利要求4所述的电子装置，其中所述撷取器撷取包括所述外部设备的影像，其中所述处理器基于物件侦测演算法而根据所述影像用以辨识所述外部设备。7.根据权利要求4所述的电子装置，其中所述处理器进一步经配置以执行：根据所述辨识结果产生感兴趣区域；以及响应于所述光信号来自所述感兴趣区域，判断所述光信号对应于所述外部设备。8.根据权利要求1所述的电子装置，其中所述光信号包括对应于第一时间戳记的第一帧，其中所述处理器进一步经配置以执行：将所述光信号输入至所述第一机器学习模型以输出所述第一帧与次一帧之间的预估时间间隔，并且根据所述第一时间戳记和所述预估时间间隔计算对应于所述次一帧的预估时间戳记；
根据所述预估时间戳记侦测所述光信号以取得所述次一帧的像素值，并且根据所述像素值判断所述次一帧是否为缺失帧；响应于判断所述次一帧为所述缺失帧，判断所述预估时间戳记为所述缺失时间戳记；以及将所述第一时间戳记、所述第一帧以及所述缺失时间戳记输入至所述第二机器学习模型以输出所述第一补帧。9.根据权利要求1所述的电子装置，其中所述处理器进一步经配置以执行：通过所述收发器接收历史控制信令，其中所述历史控制信令包括多个历史时间戳记；以及根据所述多个历史时间戳记训练所述第一机器学习模型。10.根据权利要求1所述的电子装置，其中所述处理器进一步经配置以执行：通过所述收发器接收历史控制信令，其中所述历史控制信令包括多个历史时间戳记；通过所述撷取器撷取对应于所述历史控制信令的历史光信号，其中所述历史光信号包括分别对应于多个历史时间戳记的多个历史帧；以及根据所述多个历史时间戳记以及所述多个历史帧训练所述第二机器学习模型。11.一种...

【专利技术属性】
技术研发人员：丁筱雯，
申请(专利权)人：纬创资通股份有限公司，
类型：发明
国别省市：