摘要
为解决传统塔台远程塔台修建成本较高、监视存在盲区等问题，远程塔台由此诞生。其基本思想旨在从物理层面上将传统的塔台管理，由远程机场转移到集中式的指挥中心里，通过使用摄像机等传感器，运用图像处理技术，可以得到比传统塔台更加丰富的管制信息，帮助管制员更好地完成空中交通管制工作。本文基于国内外远程塔台技术的发展现状，综合评述了远程塔台基本概念及特点，详细阐述了远程塔台各个模块中使用的关键技术，对已有成果进行了总结分析，并对远程塔台的发展趋势进行展望。
关键词：远程塔台；图像处理；空中交通管制；远程塔台技术
引言
长期以来，我国民航机场场面运行管理主要由空管塔台管制相关席位负责。对于大型繁忙机场，场面布局复杂，在塔台视野上通常都存在一定的盲区。如图1所示，该图为从谷歌地图上截取的广州白云机场图片，从图中可以看到，塔台以北标注有红线的扇形区域存在很大的盲区；图2为双流机场的情况，对于机场新增的跑道，原有塔台的监视距离较远，监视效果不理想，为解决该问题，双流机场被迫耗费巨资新建塔台。因此，对于大型机场，采用传统管制方式无法满足目视要求。
图1 广州白云机场
图2 成都双流机场
随着我国民用航空事业的快速发展，中小型机场在促进地区经济和社会发展的过程中发挥了重要的作用，并逐渐成为区域交通系统中的骨干节点。但是，大部分中小型机场都存在着占用时间较短的问题，通常一天内飞机起降的次数不超过10个架次；同时需要配备一定数量的空管人员和设备以保证其正常运行。而配备这些设施的成本，将占到一个小型机场总成本的20%，在市场竞争如此激烈的环境下，这项成本对于许多中小型机场来说是无法承受的。因此，当前中小型机场面临着使用效率偏低和经济成本投入较高等方面的问题。
不仅我国的中小型机场存在上述问题，就连欧美等航空业较发达的国家也存在此类问题。为了解决这一问题，欧美等国家的相关部门和研究机构，如FAA、EUROCONTROL、NASA等，提出了远程塔台的概念。远程塔台的基本思想旨在从物理层面上将传统的塔台管理，由远程机场转移到集中式的指挥中心里。通过在机场里设置一定数量的摄像机，将机场内跑道、停机坪等重要区域的信息以视频方式实时传输到远程塔台中，再利用视频、图像以及图形处理技术，让管制员在远程塔台中不仅获得如同真实塔台一样的感受，而且可以得到比传统塔台更加丰富的管制信息，从而帮助管制员更好地完成空中交通管制工作。
目前，欧美在远程塔台领域已经做了大量的研究工作。2015年，瑞典萨博集团（Saab）的首个远程塔台系统宣布在瑞典恩舍尔兹维克机场投入使用；2017年，远程塔台和数字化机场解决方案提供商Searidge Technoologies公司开发的远程塔台系统在匈牙利布达佩斯机场正式投入运行，该系统成为首个获得现场运行认证的远程塔台项目。图3为布达佩斯机场远程塔台视觉控制室。
图3 布达佩斯机场远程塔台视觉控制室
由于远程塔台是一个比较新的概念，加之民航技术又是一个很特殊的领域，目前国内很少有单位或机构从事这方面的研究。民航二所是国内较早进行远程塔台技术研究的单位，先后承担了包括国家自然科学基金项目、科研院所技术开发研究专项、四川省科技计划项目等在内的多个项目，成功研制了机场全景增强监视系统，该系统已在桂林、达州、九黄、盐城、重庆、银川等国内多个机场建成使用。目前，民航二所已提出适用于大型繁忙机场的远程塔台整体技术解决方案，已初步实现全景视频与监视数据融合，突破视频目标挂标牌识别等关键技术。2017年，受民航局委托，民航二所在广州白云机场开展了远程塔台技术试点验证工作，旨在为全民航远程塔台全套技术方案提供标杆和示范。
根据我国民航发展“十三五”规划，我国将新建以及续建74个机场，建成机场超过50个，到2020年，我国民用运输机场数量将发展到260个以上，对于远程塔台系统来说，仅国内就存在几十亿元的潜在市场。并且，该系统的研制符合我国民航空管设备的国产化和可持续发展战略，今后将在新机场建设和老机场改造过程中发挥重要的作用。
1 远程塔台系统技术路线
远程塔台系统由前端监视传感器、服务器组及远程塔台席位组成，前端监视传感器包括全景监视前端、ADS-B、多点定位和A-SMGCS、气象无人值守观测、管制员-飞行员陆空通信等设备。服务器组由视频数据、A-SMGCS 数据、飞行数据、气象数据、语音等服务器组成。服务器处理后的数据通过远程传输链路送给远程塔台管制中心，远程塔台席位由全景视频高清拼接大屏、A-SMGCS 显示终端、电子进程单、气象信息、飞行数据、PTZ（Pan-Tilt-Zoom，云台控制模块）、灯光控制、语音通信、内话系统组成。系统总体框架如图4所示。
图4远程塔台系统整体框图
软件系统方面，主要分为全景视频拼接模块、视频图像增强模块、视频数据与监视数据融合识别模块、云台跟踪控制模块、A-SMGCS数据处理模块、气象视频分析模块、语音数据处理模块、灯光控制模块及远程传输模块等。由于远程塔台终端接收的是多路高清视频流，数据量非常大，因此采用多CPU+GPU的方式进行并行处理以满足系统的实时性需求。软件部分各模块框图如图5所示。
图5远程塔台软件部分框图
2 远程塔台关键技术介绍
远程塔台系统综合应用先进的监视定位技术（基于全景视频监控、多源信息融合、增强现实、智能识别等）、通信技术、气象监测技术等，以全面地解决远程可见飞机（可视）、远程可识别飞机标号（可识别）、远程可与机组通信（可通信）、整个系统可稳定高效运行（可运行）、可多角度评估运行效果（可评估）这五方面的问题。以下对系统的主要功能及关键技术进行简要介绍。
2.1全景视频拼接
全景图像的生成是一个复杂的过程，在一些领域中人们为了获得视野比较开阔的照片，通常使用广角镜头来进行拍摄，但这种图像也只是一定范围内的场景，而要想获得360度的全景图像，广角相机显然是不能解决该问题的。此时利用图像拼接技术就可以完全解决这一问题，它不仅可以生成一个360度的全景图像，而且克服了广角相机镜头边缘扭曲问题。
图6基于特征点的图像拼接技术流程
采用尺度不变特征变换(SIFT, Scale Invariant Feature Transform)，即SIFT算法，对输入图像进行特征点检测与提取，得到特征点后，对这些点进行配准，从而找出图像的匹配关系；在进行图像融合前，需要选一幅图像作为基准图像，通过计算单应矩阵，其它图像都向这幅基准图像的平面进行坐标变换，从而在该图像的坐标平面上进行图像融合[1]-[2]。流程如图6所示。
针对机场宽场景下，已实现横向和纵向上的多路高清摄像机拼接，宽场景观察范围达180度以上，能够覆盖整个机场跑道、滑行道及停机坪等重点区域，拼接画面无缝、无畸变、无色度差异，处理帧率达25fps。机场高点位部署上下两排 2*6 路高清网络摄像机，进行同步采集视频流及预处理、图像特征点提取与匹配、多路高清视频纵向和横向的实时拼接融合，可获得比单个横向视频拼接视野增加一倍的宽景视频输出显示。此外，视频支持存储与回放，以及1-4路多画面全景视频切换和同步显示，可对飞行区跑道、滑行道、远/近机坪等机场场面多区域的全景进行预览。图7为温州机场4k摄像机拼接画面。
图7温州机场拼接画面
2.2机场低能见度下的视频实时增强
机场场面监视由于季节、天气、时段等因素变化，需要普适性的图像增强算法。通过研究现有经典图像增强算法，如基于暗通道先验、基于颜色恒定原理、基于特定域变换的增强算法，采用多尺度Retinex（Multi Scale Retinex, MSR）图像增强算法作为机场多变复杂场面的普适性图像增强算法。MSR图像增强算法是在单尺度Retinex (Single Scale Retinex, SSR)基础上发展而来的。它克服了SSR算法无法兼顾动态范围压缩(小尺度)和保持色彩一致性(大尺度)的问题，通过结合多个尺度达到更好的自适应性。图8（a）为双流机场夜间全景增强前场景，图8（b）为该场景增强后效果图。
图8 (a)增强前场景
图8 (b)增强后场景
2.3CUDA并行计算
CUDA(Compute Unified Device Architecture)是NVIDIA公司于2007年推出的以GPU作为通用数据并行计算设备的软硬件体系。用来解决商业、工业以及科学方面的复杂计算问题。由于在全景视频拼接和图像增强算法中，对输入视频图像的各色彩分量分别进行投影、滤波、差分等操作时，各色彩通道及像素数据之间是相互独立的。对数据的计算满足SIMD(Single Instruction Multiple Data，单指令多数据)处理模型，因此可以充分利用CUDA的SIMT(Single Instruction Multiple Thread, 单指令多线程)特性进行高性能并行处理。
通常CUDA程序由在CPU上运行的主机端程序和在GPU上运行的内核程序组成。在CUDA编程模型中，主机端程序除了负责I/O数据的传输和程序流程控制外，还要利用CUDA提供的API接口来实现设备端内存的分配和内核函数的启动。本课题中关于GPU加速的实现部分，主机端程序负责图像数据的读取、主机端和设备端存储空间的分配及回收、内核函数的启动，以及主机端和设备端数据的传输等功能。在设备端，按各模块的处理算法分别实现各路视频的柱面投影、拼接视频的重投影、图像的高斯滤波、对数空间差分和动态范围压缩等多个内核函数。
（1）视频拼接
全景视频拼接是一个多步骤的复杂计算过程，所涉及的数据吞吐量和计算复杂度非常高。在全景图像拼接过程中，特征点提取、投影变换、图像配准、多路图像重投影、图像融合等模块的计算量和模块间的数据吞吐量均非常大，表1给出了全景图像拼接过程中各模块CPU版本的计算耗时统计结果。
全景视频拼接是以全景图像拼接为基础，对系统的处理速度有了更高的要求。因此，对于全景视频拼接而言，采用并行优化计算来加快其处理速度是十分必要的。而且，在目前众多的并行处理解决方案中，CUDA无疑是最具性价比的低成本方案，这也正是选择CUDA来进行远程塔台系统中各关键技术模块优化处理的重要原因。
（2）多尺度Retinex图像增强[3]-[4]
MSR算法在不同尺度上利用高斯核函数对图像各色彩通道分量进行卷积并在对数空间上与原图进行差分。随着图像分辨率的增大和尺度的增多，算法中卷积运算和对数空间差分的计算量会显著增大，算法的实时性急剧下降，难以满足实时应用需求。近几年，GPU处理能力以每年28倍的速度快速发展，明显高于CPU的发展速度。利用GPU的强大并行处理能力来提高MSR图像增强算法的实时性是一种有效的尝试。以CUDA架构为基础，实现基于CUDA架构的并行MSR图像增强算法，并显著提高MSR图像增强的处理速度。
2.4机场场面运动目标检测
运动目标检测是机场场面视频监控系统的关键技术，它能够提供运动目标的大小、位置等基本信息，是场面目标跟踪和数据融合的基础。
在诸多方法中，目标检测效果最好的当属背景差分法，场面运动目标的检测与分割是场面运动目标跟踪的基础，目标检测的准确性直接影响跟踪的稳定性和持续性。在完成背景提取后，分割门限值的选取对运动目标的检测极为关键。当采用单一的固定门限值或自适应门限值时，由于视频图像受场景内容及成像噪声的影响，难以实现前景与背景的完整区分，前景目标的检测和跟踪效果不稳定。
基于机场特定环境中跑道和滑行道上目标特点：场面运动目标较大，运动目标间间距较大，场面运动目标较少，因此提出一种双门限场面运动目标检测与分割算法[5]-[7]。算法的基本思想是使用两个门限值对差分图像进行前景分割，低门限阈值用于粗分割检测出较明显的运动目标，在粗分割的基础上再用高门限阈值进行细分割以去除噪声目标和伪目标，最终得到场面运动目标的准确检测和分割结果。图9为不同运动目标（包括汽车与飞机）检测效果图。图10为不同运动速度飞机的检测效果图。
图9不同运动目标检测效果图
图10运动飞行器检测效果图
2.5多源数据融合挂标牌[8]
通过接入航班雷达/多点定位数据等多源数据，获取到航班的实时定位信息以及与航班相关的其他的属性信息（如：航班速度、航向、航班号等），获得航班在飞行区内的位置；其次，在此基础上，系统采用大场景智能分析、视频增强显示等计算机图形图像关键技术，在全景视频画面中自动识别并精确捕获正在运行的航班，并进行物理坐标系与平面坐标系的智能变换，从而得到航班在全景视频中的精确位置；最后，系统将所整合的上述信息采用视频叠加挂牌的方式[9]进行航班信息的可视化增强显示。
考虑到实际应用中，机场场面滑行道和跑道上飞机距离较远，视频监视目标不会发生重叠或遮挡，此种情况下可以用简单的阈值判断方法来进行视频监视目标和ADS-B监视目标的关联。一旦确定关联后，视频监视系统就直接使用获得的航班号进行航班标牌显示。对于停机坪附近容易发生遮挡情况的飞机来说，除了采用自动关联的方法外，对于某些静止的飞机必要时还需借助人工辅助的方式进行航班号标定。图11为挂标牌后的全景视频图像。
图11挂标牌的全景视频图像
2.6全景与球机协同定位跟踪
PTZ智能云台由长焦变倍镜头、云台护罩和高清摄像机组成，与全景拼接的多个摄像机位于同一塔架支架，如图12所示，支持30倍以上的光学变焦，对机场场面进行局部细节的显示。采用可同时进行全景显示与局部查看的方法及分布式联动方法，实现通过鼠标点击全景画面，云台自动定位到指定位置，并自动放大和聚焦显示，便于指挥人员进行整体和局部的同时把握。图13为PTZ跟踪放大功能示意图。
图12 PTZ（云台控制模块）
图13 PTZ跟踪放大功能
3 结束语
远程塔台是空管领域的一项新的前沿技术，相关技术背后蕴藏着巨大的市场商机，民航二所瞄准远程虚拟塔台这一空管领域的技术制高点，在国内最早开展远程虚拟塔台系统关键技术的研究。目前，民航二所已经打破远程塔台技术领域的壁垒，并不断开拓创新，砥砺前行；未来，通过不断优化各模块功能，并制定远程塔台技术标准和运行规范建议，解决“可视、可识别、可通信、可运行、可验证”五大问题，服务于大型繁忙机场与支线机场，远程控制无人塔台的时代即将到来！
参考文献
[1] Yu Lu, Zhengning Wang, Changzhong Liu, Honggang Wu. A Novel Airport Surface Surveillance Based on Multi-Video Fusion[C], IEEE Internatinal Conference on Intelligent Signal Processing and Commnication Systems (ISPACS2010), Chengdu.
[2] 王凯, 陈朝勇, 吴敏,等. 一种改进的非线性加权图像拼接融合方法[J]. 小型微型计算机系统, 2017, 38(5):1116-1120.
[3] Zhengning Wang, Changzhong Liu, Leiting Chen, et.al. The Implementation of Multi-Scale Retinex Image Enhancement Algorithm Based on GPU via CUDA[C], IEEE Internatinal Conference on Intelligent Signal Processing and Commnication Systems (ISPACS2010), Chengdu.
[4] 王正宁，刘昌忠，陈雷霆等，基于CUDA的多尺度Retinex图像增强实现[J]，计算机应用，vol.30, no.9, pp: 2241-2243, 2010.
[5] 王凯, 吴敏, 姚辉,等. 多帧背景差与双门限结合的运动目标检测方法[J]. 小型微型计算机系统, 2017, 38(1):179-183.
[6] 王凯, 吴敏, 姚辉,等. 多帧背景差与 Cauchy 模型融合的目标检测[J]. 光电工程, 2016, 43(10):12-17.
[7] 吴敏, 吴宏刚, 姚辉,等. 一种自适应的双门限场面运动目标检测方法[J]. 计算机科学, 2015, 42(1):312-316.
[8] Yu Lu, Changzhong Liu, Zhengning Wang, Zhili Xu, Multi-Sensor Data Fusion Based on Environment Database For Airport Surface Surveillance, IEEE IECEO2011, Dalian, Accepted (EI Index)
[9] 唐勇, 胡明华, 吴洪刚,等. 一种在机场视频中实现飞机自动挂标牌的新方法[J]. 江苏大学学报(自然科学版), 2013, 34(6):681-686.
作者：吴敏，唐墨臻
单位：民航局第二研究所科研中心
来源：四型机场
