专题 大数据 市场分析 市场分析 热点透析

数据治理规范助力智慧民航建设

 民航业是一个沉浸在大数据中的行业,航班数据、旅客数据、货邮数据、行业监管数据均具有海量化、异构化、快速化等大数据的特征。如何管好、用好、治理好行业数据,是加快推进行业治理体系和治理能力现代化的重要课题,也是新时期推动行业发展的一项艰巨考验。

数据治理成为智慧民航发展的关键路径与抓手

数据作为民航行业一种新的生产要素和经济社会资源,既是行业数字化转型的基础,也是智慧民航建设的核心元素。而数据治理正是实现民航业务的数据化和数据的业务化,提升行业数据的共享、质量及安全水平,发挥数据业务价值的重要举措和必经之路。无论是以数据为治理对象,还是利用数据进行行业治理,都需要加强对数据治理的理论研究和实践探索,充分发掘数据的价值,以尽量降低成本和减少风险。

随着大数据技术和产业的发展,“数据治理”这一概念的内涵和外延在不断演化。国际数据管理协会给出的数据治理定义为:“数据治理是对数据资产管理行使权力和控制的活动集合。”国际数据治理研究所给出的定义为:“数据治理是一个通过一系列信息相关的过程来实现决策权和职责分工的系统。”结合我国民航发展现状和行业特点,笔者认为“智慧民航数据治理”应该是指以民航行业数据为主要对象,以最大限度实现数据价值为最终目标,在确保数据安全的前提下,通过多方主体共建、共治、共享的方式,实现面向行业数据全生命周期的优化数据质量、改进数据服务、释放数据价值的过程。

民航业是一个沉浸在大数据中的行业,航班数据、旅客数据、货邮数据、行业监管数据均具有海量化、异构化、快速化等大数据的特征。如何管好、用好、治理好行业数据,是加快推进行业治理体系和治理能力现代化的重要课题,也是新时期推动行业发展的一项艰巨考验。从目前行业数据使用和管理现状来看,尚缺少行业数据管控体系,数据来源多样,过于分散,可信度低,价值大打折扣。同时缺少行业数据治理标准,口径不一,数据质量、安全和服务模式难以保证。针对行业数据特征,亟须从理论和框架技术上完善治理方式、治理手段和治理标准,促进各方形成合力,共同管好、用好这些数据,以实现数据的价值创造。

智慧民航数据治理规范体系的初步设想

2020年底,民航局印发《推动新型基础设施建设促进民航高质量发展实施意见》和《推进新型基础设施建设五年行动方案》,提出要“建立健全民航数据治理标准,完善符合高质量发展要求的统计指标体系。制定关键数据项标准和数据目录清单,规范数据来源和数据质量要求,确保数据准确性和时效性等。构建数据共享机制,做到数据分级分类开放共享。建立数据治理的评估与监管制度,以保障各单位的数据治理工作顺利进行”。笔者通过对国内各行业、各地方政府已发布的数据治理相关法律法规、标准规范和技术文件,以及国外经典数据治理案例的学习、梳理、研究,提出智慧民航数据治理规范体系架构的初步构想,包括《智慧民航数据治理框架与管理机制规范》《数据架构规范》《数据质量规范》《数据安全规范》《数据共享规范》《数据治理技术规范》《数据服务规范》和《数据治理实践案例》等八个部分。

其涵盖的主要内容如下:

一  数据治理框架与管理机制

数据治理问题的复杂性和难度决定了数据治理工作不但需要建设实体化的数据管理专业组织,而且需要制定大家共同遵循的统一的数据管理政策、流程和规范要求。作为一种战略资产的管理,需要明确的框架和机制,保障业务管理和IT技术管理的协同;需要明确的管理制度、责任边界,以及责权利交叉时的判定机制,从数据产生到发挥要素作用的全过程保障治理要求的落实落地。《智慧民航数据治理框架与管理机制规范》的设想主要是立足行业发展现状,给出数据治理的内涵与目标、体系框架、实施、组织保障以及制度建设的总体要求,对行业单位开展数据治理工作予以指导。比如在组织保障方面,数据治理组织结构设计包括建立单位层面数据管理组织、各业务数据管理组织、信息技术支撑组织以及跨领域数据联合工作组在内的多层级结构,分别负责单位数据治理工作的统筹和各业务数据治理工作的实施,并通过分层分级原则任命数据责任人,将数据责任落实到业务主体,支撑数据治理工作的实施。

二  数据架构

打通业务和应用系统建设的壁垒是民航业数据治理的关键。数据架构作为统一的数据语言和操作手段,在实现应用系统设计开发与业务架构的深度融合上发挥着至关重要的作用,既是疏通业务流、消除信息孤岛和提升业务流集成效率的关键要素,也是原始业务数据通过治理成为有价值的数据资源,甚至数据要素的决定性环节。《智慧民航数据治理数据架构规范》的设想主要是以识别数据类型和来源为核心,从数据资产目录、数据标准、数据模型、元数据管理、主数据管理等方面,提出数据架构建设的基本要求、一般原则和管理流程,作为后续应用系统和技术架构设计、开发的依据,将为什么干、谁来干、怎么干、干什么这些实际工作当中的具体业务要求映射到应用系统和技术设施中,指导业务单位顺利实现业务需求向IT软硬件设施的首次“翻译”和转移。

三  数据质量

数据质量是数据价值得以发挥的前提,糟糕的数据质量往往意味着糟糕的业务决策。如果数据质量得不到保证,再先进的数据分析工具、再科学的模型和算法,也无法从一堆垃圾数据中得出有意义的数据结论,作出正确的分析判断。随着民航业数据量的飞速增长,数据类型和来源的不断丰富,亟须建立一套行之有效的数据质量管理评价体系和“自愈”“自强”机制,帮助各类用户管控好数据,做好数据质量的提升工作。《智慧民航数据治理数据质量规范》的设想主要是以持续改进数据质量为目标,构建数据全生命周期的质量管控体系和评价策略,在数据设计、产生、汇聚、应用等各个阶段,提出数据质量管理流程、指标规则、监测控制、问题分析与改进、组织保障等方面的具体建议措施,细化各数据项数据质量量化规则,从完整性、及时性、准确性、一致性、有效性及可访问性等多个维度评估数据质量,落实各级数据责任人的职责,定位问题、分析原因、加以修正,避免问题数据流入后续环节,导致质量问题扩大化。

四  数据安全

今年6月,《中华人民共和国数据安全法》正式颁布,标志着我国数据安全进入了有法可依、依法建设的新发展阶段。其中明确“数据安全,是指通过采取必要措施,确保数据处于有效保护和合法利用的状态,以及具备保障持续安全状态的能力”“维护数据安全,应当坚持总体国家安全观,建立健全数据安全治理体系,提高数据安全保障能力”。有别于信息安全防护,数据安全侧重面向单位内部用户,通过安全管理和技术手段,在信息安全防护的基础上实现对数据使用人员和治理行为的安全管控。《智慧民航数据治理数据安全规范》的设想主要是以数据使用更安全为目标,提出由数据安全原则、数据安全分级管理、数据全生命周期安全防护和数据安全组织保障构成的民航数据安全治理体系框架,根据安全分级原则,确定数据在采集、传输、存储、使用、共享以及销毁等各个环节应采取的安全防护策略和管控措施,在促进民航数据安全应用和正常流动的同时,提高本单位的数据管理和安全防护水平。

五  数据共享

过去20年,建设IT系统的标准流程往往是业务部门提出业务需求,信息部门采购系统集成商,再经过需求收集、分析、开发、测试、上线等阶段,生产出一个满足业务需求的“烟囱”系统。但是,这种“烟囱”式的信息系统规划建设模式却成为互联网时代业务发展最大的障碍。如何更好地整合内部资源、更好地提升用户体验,实现系统间的交互是如今各类信息系统规划建设的基本要求。《智慧民航数据治理数据共享规范》的设想主要是从民航业数据共享的原则与范围、共享模式、共享技术、组织保障等方面提出相关规范,解决数据共享中存在的数据标准不一、“烟囱”林立和数据质量、数据安全问题,推动数据的汇聚与主题连接,建立统一的数据资源池,实现数据的打通与复用,并通过技术保障促进行业数据高效共享,营造行业数据开放共享的良好生态。

六  数据治理技术

近年来,数据库(即数据管理技术)经历了从SQL到NoSQL,再到NewSQL,以及从面向交易处理(OLTP)到交易处理与分析处理相结合(OLTP与OLAP)的演进,数据的计算处理技术也出现了分布式处理(如MapReduce等)、流计算(如Storm、Flink等)、图计算(如GraphX等)以及针对特定应用场景的各类融合计算模式等多种类型,数据的分析与挖掘更是涌现出深度学习、知识图谱、多源多模态处理等突破性的方法。这些技术都将与针对元数据、主数据、数据模型等的自动化、智能化技术一道,成为广义数据治理成功的重要基石。《智慧民航数据治理技术规范》的设想主要是从主数据管理、元数据管理技术体系、数据管理技术、数据处理技术、数据分析技术、数据资源池与主题连接技术等维度对数据的汇聚、存储、分析与应用技术提出规范,指导各单位数据平台与信息系统的建设。

七  数据服务

治理数据的目的是为了更好地使用数据,发挥数据的价值,随着信息服务建设的野蛮生长,数据与信息平台数量的快速增加和规模的快速扩大,传统的数据集成方式不仅财务成本高,数据质量难以保证,而且无法满足用户便捷、自主使用数据的实际需要。参考IEEE规范和互联网领域提出的数据服务概念,希望通过发展新的数据服务形式来改进原有数据集成方式,解决数据交互协作过程中的诸多问题,改善数据集成关系,提升数据获取效率和数据安全。《智慧民航数据治理数据服务规范》的主要设想是坚持面向用户、自助服务的原则搭建民航数据服务基本框架,在数据服务内涵与准则、数据服务设计与运营流程、数据服务分类与建设、数据集服务与数据API服务、数据分析能力等方面提出相关规范。指导用户通过数据集或数据API方式按需获取公共数据服务,并可基于数据分析组件进行自助性的数据应用;指导服务提供者逐步实现API接口向API服务能力的转变,更好地对接服务治理工具,提供组件级别的服务治理能力,为用户提供更加自主、高效、可复用的数据服务。

八  数据治理实践案例

身处新一代科技革命和建设数字国家的历史交汇期,在整个社会都在开展数字化转型的浪潮中,民航业内政府部门、企事业单位、行业各运行主体在数据治理理念和治理架构方面也开展了很多有益的实践。“他山之石,可以攻玉”。《智慧民航数据治理实践案例》的主要设想是以行业信息通告的形式,将智慧监管示范项目以及来自航空公司、机场、空管和运行保障单位数据治理的典型案例介绍给行业内外各类用户,为开展民航业务的数字化转型工作提供可借鉴与参考的范例。以行业的智慧监管为例,将通过业务中台和数据中台的构建,形成行业监管业务功能与数据的细分和高复用,进而实现各类信息系统从分散建设到统筹共用、行业监管从经验到数据决策的重要转变。

民航“新基建”是数据治理理论实践与验证的主战场

实践是认识的源泉,也是认识的目的。面对民航业分散、多样的管理与运行主体,高安全要求、紧耦合的既有信息系统架构和纷繁复杂的应用场景,行业数据治理工作将是一项长期、艰巨和有的放矢的系统工程,绝不会是一蹴而就的节奏,也很难形成“处处适用”“包治百病”的方法和技术。比如,面向航空公司、机场运行的很多智能化应用场景需要行业人员更丰富的经验与知识,以及业务逻辑。这和计算机视觉、自然语言理解这类通用性问题是完全不一样的,不能单一地平移深度学习等技术路线,需要构造适用于高维特征的数据架构和算法模型。这就更需要我们在底层数据与技术方面发挥工匠精神,聚焦行业基础数据治理,一方面构建面向应用的高质量数据治理体系,另一方面构建规则与数据多重驱动、可以不断优化的定制化算法。这样才能打牢基础,真正有所突破。

正如技术理念和体系架构只有给用户带来业务价值才有意义,设想只有付诸广泛实践才会得以完善,才可能产生价值,希望本文提出的规范架构对智慧民航“新基建”中开展行业数据治理工作有所启发裨益。

来源:中国民航报,作者:包毅,刘一

作者:包毅系中国民用航空局发展计划司副司长,作者刘一系中国民航管理干部学院大数据与信息管理研究中心主任

Related posts

交通运输部:春运前37天发送旅客同比减少48.3%

一潼

SITA 2021行李IT洞察:人工智能技术勾勒行李追踪无标签的未来图景

一潼

2014年全国机场生产统计公报及吞吐量排名

赵辛

Leave a Comment