跨Windows和Linux平台的拼接电脑桌面和摄像头图像的方法技术

本发明专利技术公开了一种跨Windows和Linux平台的拼接电脑桌面和摄像头图像的方法，目的是一套软件，两个平台，核心是解决用户在不同的系统平台，能够采集当前电脑的输出声音、主屏图像、副屏图像、和摄像头图像，并可以将主屏图像与副屏图像，主屏图像与摄像头图像进行拼接成一路图像输出。本发明专利技术能够帮助用户节约成本，降低使用门槛，采集电脑桌面图像和声音，并进行图像拼接和叠加处理，可以减少用户投入。传统的音视频平台，每多编码一路图像，都需要额外增加硬件编码设备；每多显示一路图像，也需要增加显示设备，这对于个人用户和团体用户都是很高的成本投入。同时，一套软件支持两个平台，既方便用户使用和维护，又顺应Linux的发展。

A method of splicing computer desktop and camera images across windows and Linux platforms

【技术实现步骤摘要】
跨Windows和Linux平台的拼接电脑桌面和摄像头图像的方法
本专利技术涉及视频处理领域，更具体地说，涉及一种跨Windows和Linux平台的拼接电脑桌面和摄像头图像的方法。
技术介绍
传统的拼接电脑桌面和摄像头图像的方法，多是基于Windows系统的方法，少数是基于Linux系统的方法，其用于视频教学、视频会议、视频指挥调度、网络庭审等音视频应用平台，采集电脑桌面图像和摄像头的方法，同时可进行图像拼接和叠加处理。随着Linux系统逐渐被重视与发展，要寻找一种跨平台的拼接电脑桌面和摄像头图像的方法，该方法具备同时支持Windows和Linux系统。
技术实现思路
本专利技术的目的是一套软件，两个平台，核心是解决用户在不同的系统平台，能够采集当前电脑的输出声音、主屏图像、副屏图像、和摄像头图像，并可以将主屏图像与副屏图像，主屏图像与摄像头图像进行拼接成一路图像输出。本专利技术解决其技术问题所采用的技术方案是：构造(1)采用QT进行Windows系统的拼接电脑桌面和摄像头图像软件功能的开发，Windows系统下软件完成后，将软件移植到Linux系统下；在Linux系统下重新编译该软件，再次完成后，此套软件就具备同时支持Windows系统和Linux系统的能力，即达到跨平台的能力；所述拼接电脑桌面和摄像头图像软件功能包含：媒体采集单元、媒体过滤单元和媒体分发单元；媒体采集单元用于音视频数据的采集，包含视频部分和音频部分，视频部分包括对于摄像头的采集和桌面图像的采集，音频部分包括对于电脑上麦克风设备的采集以及声卡输出的设备的声音采集；桌面图像的采集时需要配置采集电脑桌面参数，然后根据采集电脑桌面参数，调用Windows或Linux系统提供的方法获取屏幕图像，完成电脑桌面图像采集；摄像头的采集支持USB接口的第三方摄像头，和笔记本自带的摄像头两种，摄像头的采集时需要配置采集摄像头图像的参数，根据采集摄像头图像参数，调用摄像头提供的获取图像方法，完成电脑桌面图像采集；音频采集时，需要选择音频采集设备，根据所选择的音频采集设备，调用Windows或Linux系统提供的方法完成音频采集，如果不选择音频设备，则不进行音频采集；桌面图像的采集时需要配置的采集电脑桌面参数：①采集设备，程序运行时调用Windows或Linux系统提供的方法获取电脑的显示器和摄像头，用户选择采集桌面图像；②采集分辨率，即是显示器分辨率，不可修改；③采集帧率，提供5、10、15、25、30和60帧/秒的帧率提供给用户选择，默认30帧/秒；④采集数据格式，支持RGB24、RGB32、RGB555三种数据格式；摄像头的采集时需要配置的采集摄像头图像的参数：①采集设备，程序运行时调用系统方法获取电脑的显示器和摄像头，用户选择摄像头进行采集；②采集分辨率，即是摄像头支持的分辨率，提供给用户进行选择；③采集帧率，提供5、10、15、25和30帧/秒的帧率提供给用户选择，默认25帧；④采集数据格式，支持I420、RGB24、YUY2、MJPG四种数据格式；媒体过滤单元用于音视频数据处理，包括音频和视频一系列的处理子对象和编码，视频部分是将采集的视频数据编码成H.264格式或H.265格式，音频部分将采集的音频数据编码成G.711格式或AAC格式；设置采集模式：单路采集、双路采集、双路采集拼接和双路采集叠加几种模式给用户进行选择；单路采集，可选择采集电脑桌面、和采集摄像头图像中选择一种；双路采集，可配置两路显示器，或一路显示器一路摄像头；双路采集拼接，需配置两路显示器；双路采集叠加，需配置一路显示器和一路摄像头；设置图像编码参数：①码流类型，支持主码流、子码流、主码流和子码流；②码率控制，支持恒定码率、可变码率、和关闭控制三种；③编码类型，支持H264、和H265两种；④主码流设置：当前码率，支持128、256、384、512、768、1024、2048、3078、4096、5120、6144、7168及8192kbps；最小码率，支持128、256、384、512、768、1024、2048、3078、4096、5120、6144、7168及8192kbps；最大码率，支持128、256、384、512、768、1024、2048、3078、4096、5120、6144、7168及8192kbps；输出分辨率，如果是采集电脑桌面图像则不大于屏幕分辨率，如果是采集摄像头图像则不能大于采集分辨率；输出帧率，如果是采集电脑桌面则支持5、10、15、25、30及60帧/秒，如果是采集摄像头图像则支持5、10、15、25及30帧/秒；最小Q值，范围0-51，默认23；最大Q值，范围11-51，默认25；I帧间隔，不大于200毫秒，默认20毫秒，并提供窗口给用户进行修改；⑤其中最小码率和最大码率仅用于可变码率，其它码率适用于恒定码率和可变码率；⑥如果选择的是子码流，参照主码流参数设置子码流参数；⑦如果选择的是主码流和子码流，则要同时设置主码流参数和子码流参数；设置音频编码参数：①编码格式，支持AAC、G711A、G711U三种格式；②采样率，支持8K、16K、32K、44.1K四种；③采样格式，支持8bit和16bit两种；④通道数，支持单声道和立体声两种；(2)图像编码：根据图像采集模式、视频编码参数、音频编码参数，使用FFMPEG将采集到的图像编码成对应格式；①单路采集是采集电脑桌面图像或采集摄像头图像的一种，单路输出；②双路采集，表示同时采集两路图像，又输出两路图像，多通道分别输出，它没有进行图像的拼接或叠加处理；③双路采集叠加，表示同时采集电脑桌面和摄像头图像，并将摄像头图像显示在电脑桌面图像的右上角，即采集到电脑桌面图像和摄像头图像后，将摄像头图像覆盖电脑桌面图像的右上角，完成图像叠加，图像叠加处理后只会输出一路图像；④双路采集拼接，表示同时采集两路电脑桌面图像，并将两路电脑桌面图像拼接成一路图像，采集到两路电脑桌面图像后，根据主屏幕的分辨率作为副屏幕的宽高偏移，将副屏幕图像拼接到主屏幕的右侧，成为一张图片，图像拼接处理后只会输出一路图像。音频编码：将采集到的原始音频数据，根据音频编码参数，使用FFMPEG进行编码；(3)媒体分发单元进行数据输出处理，包括本地视频文件存储和RTP/TCP传输；(4)软件开发：需要囊括步骤(1)(2)(3)中所有的功能，和参数选项；(5)制作安装包：当需要Windows系统下的软件安装包时，在Windows系统下用QT编译已开发好的软件生成安装包；当需要Linux系统下的软件安装包时，在Linux系统下编译已开发好的软件生成安装包；然后在电脑上安装对应系统的软件安装包。实施本专利技术的跨Windows和Linux平台的拼接电脑桌面和摄像头图像的方法，具有以下有益效果：本专利技术能够帮助用户节约成本，降低使用门槛，采集电脑桌面图像和声音，并进行图像拼接和叠加处理，可以减少用户投入，传统的音视频平台，每多编码一路图像，都需要额外增加硬件编码设备；本文档来自技高网...

【技术保护点】
1.一种跨Windows和Linux平台的拼接电脑桌面和摄像头图像的方法，其特征在于，包含如下步骤：/n(1)采用QT进行Windows系统的拼接电脑桌面和摄像头图像软件功能的开发，Windows系统下软件完成后，将软件移植到Linux系统下；在Linux系统下重新编译该软件，再次完成后，此套软件就具备同时支持Windows系统和Linux系统的能力，即达到跨平台的能力；/n所述拼接电脑桌面和摄像头图像软件功能包含：媒体采集单元、媒体过滤单元和媒体分发单元；/n媒体采集单元用于音视频数据的采集，包含视频部分和音频部分，视频部分包括对于摄像头的采集和桌面图像的采集，音频部分包括对于电脑上麦克风设备的采集以及声卡输出的设备的声音采集；桌面图像的采集时需要配置采集电脑桌面参数，然后根据采集电脑桌面参数，调用Windows或Linux系统提供的方法获取屏幕图像，完成电脑桌面图像采集；摄像头的采集支持USB接口的第三方摄像头，和笔记本自带的摄像头两种，摄像头的采集时需要配置采集摄像头图像的参数，根据采集摄像头图像参数，调用摄像头提供的获取图像方法，完成电脑桌面图像采集；音频采集时，需要选择音频采集设备，根据所选择的音频采集设备，调用Windows或Linux系统提供的方法完成音频采集，如果不选择音频设备，则不进行音频采集；/n桌面图像的采集时需要配置的采集电脑桌面参数：①采集设备，程序运行时调用Windows或Linux系统提供的方法获取电脑的显示器和摄像头，用户选择采集桌面图像；②采集分辨率，即是显示器分辨率，不可修改；③采集帧率，提供5、10、15、25、30和60帧/秒的帧率提供给用户选择，默认30帧/秒；④采集数据格式，支持RGB24、RGB32、RGB555三种数据格式；/n摄像头的采集时需要配置的采集摄像头图像的参数：①采集设备，程序运行时调用系统方法获取电脑的显示器和摄像头，用户选择摄像头进行采集；②采集分辨率，即是摄像头支持的分辨率，提供给用户进行选择；③采集帧率，提供5、10、15、25和30帧/秒的帧率提供给用户选择，默认25帧；④采集数据格式，支持I420、RGB24、YUY2、MJPG四种数据格式；/n媒体过滤单元用于音视频数据处理，包括音频和视频一系列的处理子对象和编码，视频部分是将采集的视频数据编码成H.264格式或H.265格式，音频部分将采集的音频数据编码成G.711格式或AAC格式；/n设置采集模式：单路采集、双路采集、双路采集拼接和双路采集叠加几种模式给用户进行选择；单路采集，可选择采集电脑桌面、和采集摄像头图像中选择一种；双路采集，可配置两路显示器，或一路显示器一路摄像头；双路采集拼接，需配置两路显示器；双路采集叠加，需配置一路显示器和一路摄像头；/n设置图像编码参数：①码流类型，支持主码流、子码流、主码流和子码流；②码率控制，支持恒定码率、可变码率、和关闭控制三种；③编码类型，支持H264、和H265两种；④主码流设置：当前码率，支持128、256、384、512、768、1024、2048、3078、4096、5120、6144、7168及8192kbps；最小码率，支持128、256、384、512、768、1024、2048、3078、4096、5120、6144、7168及8192kbps；最大码率，支持128、256、384、512、768、1024、2048、3078、4096、5120、6144、7168及8192kbps；输出分辨率，如果是采集电脑桌面图像则不大于屏幕分辨率，如果是采集摄像头图像则不能大于采集分辨率；输出帧率，如果是采集电脑桌面则支持5、10、15、25、30及60帧/秒，如果是采集摄像头图像则支持5、10、15、25及30帧/秒；最小Q值，范围0-51，默认23；最大Q值，范围11-51，默认25；I帧间隔，不大于200毫秒，默认20毫秒，并提供窗口给用户进行修改；⑤其中最小码率和最大码率仅用于可变码率，其它码率适用于恒定码率和可变码率；⑥如果选择的是子码流，参照主码流参数设置子码流参数；⑦如果选择的是主码流和子码流，则要同时设置主码流参数和子码流参数；/n设置音频编码参数：①编码格式，支持AAC、G711A、G711U三种格式；②采样率，支持8K、16K、32K、44.1K四种；③采样格式，支持8bit和16bit两种；④通道数，支持单声道和立体声两种；/n(2)图像编码：根据图像采集模式、视频编码参数、音频编码参数，使用FFMPEG将采集到的图像编码成对应格式；①单路采集是采集电脑桌面图像或采集摄像头图像的一种，单路输出；②双路采集，表示同时采集两路图像，又输出两路图像，多通道分别输出，它没有进行图像的拼接或叠加处理；③双路采集叠加，表示同时采集电脑桌面和摄像...

【技术特征摘要】
1.一种跨Windows和Linux平台的拼接电脑桌面和摄像头图像的方法，其特征在于，包含如下步骤：
(1)采用QT进行Windows系统的拼接电脑桌面和摄像头图像软件功能的开发，Windows系统下软件完成后，将软件移植到Linux系统下；在Linux系统下重新编译该软件，再次完成后，此套软件就具备同时支持Windows系统和Linux系统的能力，即达到跨平台的能力；
所述拼接电脑桌面和摄像头图像软件功能包含：媒体采集单元、媒体过滤单元和媒体分发单元；
媒体采集单元用于音视频数据的采集，包含视频部分和音频部分，视频部分包括对于摄像头的采集和桌面图像的采集，音频部分包括对于电脑上麦克风设备的采集以及声卡输出的设备的声音采集；桌面图像的采集时需要配置采集电脑桌面参数，然后根据采集电脑桌面参数，调用Windows或Linux系统提供的方法获取屏幕图像，完成电脑桌面图像采集；摄像头的采集支持USB接口的第三方摄像头，和笔记本自带的摄像头两种，摄像头的采集时需要配置采集摄像头图像的参数，根据采集摄像头图像参数，调用摄像头提供的获取图像方法，完成电脑桌面图像采集；音频采集时，需要选择音频采集设备，根据所选择的音频采集设备，调用Windows或Linux系统提供的方法完成音频采集，如果不选择音频设备，则不进行音频采集；
桌面图像的采集时需要配置的采集电脑桌面参数：①采集设备，程序运行时调用Windows或Linux系统提供的方法获取电脑的显示器和摄像头，用户选择采集桌面图像；②采集分辨率，即是显示器分辨率，不可修改；③采集帧率，提供5、10、15、25、30和60帧/秒的帧率提供给用户选择，默认30帧/秒；④采集数据格式，支持RGB24、RGB32、RGB555三种数据格式；
摄像头的采集时需要配置的采集摄像头图像的参数：①采集设备，程序运行时调用系统方法获取电脑的显示器和摄像头，用户选择摄像头进行采集；②采集分辨率，即是摄像头支持的分辨率，提供给用户进行选择；③采集帧率，提供5、10、15、25和30帧/秒的帧率提供给用户选择，默认25帧；④采集数据格式，支持I420、RGB24、YUY2、MJPG四种数据格式；
媒体过滤单元用于音视频数据处理，包括音频和视频一系列的处理子对象和编码，视频部分是将采集的视频数据编码成H.264格式或H.265格式，音频部分将采集的音频数据编码成G.711格式或AAC格式；
设置采集模式：单路采集、双路采集、双路采集拼接和双路采集叠加几种模式给用户进行选择；单路采集，可选择采集电脑桌面、和采集摄像头图像中选择一种；双路采集，可配置两路显示器，或一路显示器一路摄像头；双路采集拼接，需配置两路显示器；双路采集叠加，需配置一路显示器和一路摄像头；
设置图像编码参数：①码流类型，支持主码流、子码流、主码流和子码流；②码率控制，支持恒定码率、可变码率、和关闭控制三种...

【专利技术属性】
技术研发人员：程家明，孔繁东，周志祥，陶勇，
申请(专利权)人：武汉兴图新科电子股份有限公司，
类型：发明
国别省市：湖北;42