【技术实现步骤摘要】
本专利技术涉及嵌入式系统远程调试领域。
技术介绍
1、1.现有的远程桌面调试手段包括vnc、远程桌面等软件，只能用于操作系统桌面启动之后的调试场景，而对于整个开机过程的调试是无法实现的，比如开机logo调试，uboot调试、uefi调试、bios调试等场景由于系统桌面还未启动无法使用传统的远程桌面做调试。
2、2.传统的远程桌面只能用于操作系统桌面、鼠标、键盘远程调试，对于音频远程输入输出则无法实现，比如用户想听到开发板的音频播放和将自己的音频输入到开发板是无法实现的，这对于调试嵌入式开发板的音频驱动和多媒体模块是无法满足要求的。
3、3.现有的远程桌面适用于主流的桌面操作系统，比如ubuntu、macos、windows等，而对于一些嵌入式iot场景，比如mcu嵌入式gui桌面则无法兼容。
技术实现思路
1、为了解决上述技术问题，本专利技术提供一种通过硬件采集并中转的方案将嵌入式开发板的hdmi音视频输出内容经过rtc推流服务器实时中转到远程用户显示和播放，同时提供一种usb转网口鼠标键盘接收器将远程用户的鼠标和键盘输入事件指令通过网络中转到开发板，从而实现用户在远程也能实时的调试开发板从开机启动开始的音视频输出，并能实时的远程控制鼠标和键盘，其采用如下技术方案：
2、一种通用嵌入式远程桌面调试的处理系统，包括：
3、远程嵌入式开发板，具有hdmi输出口；
4、hdmi采集芯片，用于采集远程嵌入式开发板hdmi输出口的音
5、远程pc端，连接hdmi采集芯片和远程嵌入式开发板；
6、流媒体服务器；
7、客户端用户电脑；
8、远程嵌入式开发板的音视频数据通过hdmi采集芯片采集后发送到远程pc端，远程pc端编码成rtmp推流到流媒体服务器，客户端用户电脑通过webrtc拉流实现远程的桌面显示和音频输出。
9、其中，还包括：
10、中转服务器，用于将客户端用户电脑的音频数据发送到远程pc端；
11、mcu中转器，连接远程pc端；
12、adc转换芯片，由mcu中转器控制；
13、音频输入口，设在远程嵌入式开发板上；
14、客户端用户电脑录制的音频数据通过中转服务器发送到远程pc端，远程pc端再发送到mcu中转器，mcu控制adc转换芯片将音频数据转换后输出到音频输入口，实现远程的音频输入。
15、其中，还包括：
16、中转服务器，用于将客户端用户电脑的鼠标和键盘事件发送到远程pc端；
17、mcu中转器，连接远程pc端；
18、usb hid芯片，由mcu中转器控制；
19、usb口，设在远程嵌入式开发板上；
20、客户端用户电脑捕获的鼠标和键盘事件通过中转服务器发送到远程pc端，远程pc端再发送到mcu中转器，mcu中转器控制usb hid芯片将鼠标和键盘事件转换成hid协议包发送到usb口，实现远程的鼠标和键盘事件输入。
21、一种处理远程音视频输出的方法，包括以下步骤：
22、步骤1：采用hdmi采集芯片获取远程嵌入式开发板的实时音视频数据；
23、步骤2：通过uvc协议将采集到的音视频数据发送到与远程嵌入式开发板连接的远程pc端；
24、步骤3：远程pc端通过obs软件将音视频转换成rtmp流推送到流媒体服务器；
25、步骤4：流媒体服务器将rtmp流转换成webrtc流；
26、步骤5：客户端用户电脑基于vue和canvas拉流并绘制视频流。
27、一种处理远程音频输入的方法，包括以下步骤：
28、步骤1：客户端用户电脑使用vue前端模块调用电脑麦克风进行录音；
29、步骤2：将录音打包成pcm格式数据，通过中转服务器和远程pc端发送到mcu中转器；
30、步骤3：mcu中转器控制adc转换芯片将pcm格式数据转换后输入到远程嵌入式开发板。
31、一种处理远程鼠标输入的方法，包括以下步骤：
32、步骤1：客户端用户电脑基于前端绘制投屏的canvas控件监听onmousemove、onmouseup、onmousedown、onwheel方法，实时获取用户在显示投屏canvas区域的移动坐标值和点击滑动事件；
33、步骤2：移动坐标值经过换算得到鼠标实际对应的真实坐标值；
34、步骤3：客户端用户电脑将真实坐标值和点击滑动事件打包成json格式数据，通过中转服务器和远程pc端发送到mcu中转器；
35、步骤4：mcu中转器控制usb hid芯片将json格式数据转换成hid协议包通过usb口发送到远程嵌入式开发板。
36、一种处理远程键盘输入的方法，包括以下步骤：
37、步骤1：客户端用户电脑基于vue控件监听document.onkeydown方法，实时获取用户键盘的keycode值；
38、步骤2：将keycode值打包成json格式数据，通过中转服务器和远程pc端发送到mcu中转器；
39、步骤3：mcu中转器控制usb hid芯片将json格式数据转换成hid协议包通过usb口发送到远程嵌入式开发板。
40、本专利技术具有以下有益技术效果：
41、1.实现远程嵌入式开发板的全流程调试，从boot阶段到桌面启动的全过程的远程投屏和远程鼠标键盘操作的纯硬件通用实现，只要支持hdmi和usb、音频通用硬件接口，不需要依赖嵌入式开发板内部新增独立软件和硬件修改；
42、2.实现远程调试嵌入式开发板的音频驱动和多媒体模块，实现远程嵌入式语音交互调试。
本文档来自技高网...【技术保护点】
1.一种通用嵌入式远程桌面调试的处理系统，包括：
2.根据权利要求1所述通用嵌入式远程桌面调试的处理系统，其中，还包括：
3.根据权利要求1所述通用嵌入式远程桌面调试的处理系统，其中，还包括：
4.一种采用如权利要求1所述系统处理远程音视频输出的方法，包括以下步骤：
5.一种采用如权利要求2所述系统处理远程音频输入的方法，包括以下步骤：
6.一种采用如权利要求3所述系统处理远程鼠标输入的方法，包括以下步骤：
7.根据权利要求6所述处理远程鼠标输入的方法，其中，步骤2坐标换算方法为获取移动坐标值x0和y0，真实坐标值x坐标＝(投屏分辨率/Canvas长度)*x0，真实坐标值y坐标＝(投屏分辨率/Canvas长度)*y0。
8.一种采用如权利要求3所述系统处理远程键盘输入的方法，包括以下步骤：
【技术特征摘要】
1.一种通用嵌入式远程桌面调试的处理系统，包括：
2.根据权利要求1所述通用嵌入式远程桌面调试的处理系统，其中，还包括：
3.根据权利要求1所述通用嵌入式远程桌面调试的处理系统，其中，还包括：
4.一种采用如权利要求1所述系统处理远程音视频输出的方法，包括以下步骤：
5.一种采用如权利要求2所述系统处理远程音频输入的方法，包括以下步骤：
【专利技术属性】
技术研发人员：龚思敏，
申请(专利权)人：进迭时空珠海科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。