电力通信系统中运维数据采集技术的研究与分析 - 信息谷 - ICITU

随着电网跨越式发展，设备规模与人员配置的矛盾日益突出，需要以电力通信网网元设备以及各级网络管理系统为主线，多专业结合，打通数据链，从不同的层面对电力数据进行采集和分析，从而针对性开展网络运维工作提供决策依据。

电力运维数据采集功能是获取电力通信网中各级网管系统运维数据的重要手段。网络管理人员根据实时采集到的运维数据对网络中的资源进行管理和维护，同时对于出现的问题做出准确的定位和及时的处理。因此电力运维数据的有效、准确采集直接影响电力通信网的正常运行。

目前在电力通信网中，综合网管主要通过专业网管接口(一般称作北向接口)采集和网元设备直连采集来获取设备告警、资源及运行状态数据。其中北向接口的实现技术包括Q3、CORBA、SOAP、TLl、SNMP等。后者的实现主要通过SYSLOG、NETFLOW和 TELNET等私有接口技术。丁雍 [1] 等人在分析了这两种采集模式的优缺点之后，创新了两种采集模式融合的采集技术。陶邦胜 [2] 根据CORBA体系结构及网管北向接口的标准规范。开发出适配TMF814标准的南向接口，实现了分布式网管数据的集中采集。刘梦阳 [3] 针对国家电网提出的北向接口统一标准，在Acro View网管基础上提出了基于SNMP协议的网管北向接口软件的实现设计方案。喻丽春 [4] 针对网管系统私有接口采集的需求和现状，设计了一种基于Apache Ant的数据采集管理系统并通过实验测试验证了该系统的实用性。北京邮电大学的李文璟 [5] 等人详细介绍了网络管理的原理和相关技术，刘方利 [6] 、王晓莉 [7] 等人分别提出了电力通信网网管数据采集框架的设计与实现。

本文针对现有电力通信运维系统，结合数据采集接口技术，探讨分别从设备、网元管理系统、综合管理系统、运维流程系统、网络和业务测量等不同层次采集电力运维数据的技术方法以及数据获取模式，从而为支撑电力运维系统高效运行提供理论基础。

本文设计的数据采集功能平台架构如图1所示。本平台从各类数据源采集数据，归一化处理后并入数据库，为电力网络的实时管理提供基础数据。其中，数据源层包括各类设备、网元管理系统、综合管控系统、测量分析系统等运维数据的各个源系统；适配层将抽取的运维数据按照统一格式进行清洗和处理；数据库层根据用户需求将运维数据存储在关系型数据库或分布式列数据库中。数据采集平台覆盖了从最底层数据采集到数据入库的整体流程。

其中，配置数据主要指设备以及网络的资源配置及关联的逻辑配置，包括可以动态采集的网络配置数据和其他需要手工录入的网络资源数据。配置信息的采集一般来源于各种类型设备、各级网管系统以及系统文档；性能数据主要指采集到的设备性能指标，包括设备性能数据、端口性能数据和流量数据等。性能数据的采集主要来源于各级网管系统、运维流程系统和网络业务测量系统；告警数据主要指系统的告警信息 [2] ，包括告实时告警和非实时告警。告警数据信息的采集多来源于设备和各级网管系统。

电力通信运维数据是对电力通信网进行综合管理的基础，电力通信网作为我国电力系统的重要基础，承载着各种业务，结构复杂，在网设备涉及到不同厂家的不同类型。从各个网管设备进行运维数据采集获取时，不同的网络类型或不同的设备厂家提供的接口类型各不相同。目前，网管设备厂家提供的信息接口方式一般有SNMP、CORBA、Web Service、SYSLOG、NETFLOW、TELNET、数据库和MQ等。具体选择哪种接口技术需要根据所要采集数据的类型以及各网管设备实际的支持情况进行判断 [8] 。

CORBA即公共对象请求**体系结构 [4] ，是国际标准组织OMG定义的标准化面向对象建模接口技术，通信协议栈为IIOP (Internet Inter-ORB Protocol，互联网内部对象请求**协议)。CORBA接口技术的IDL (Interface Definition Language，接口定义语言)定义及操作说明参见国际标准TMF-814A。该接口的数据获取模式为同步模式，即根据指定的范围对所有数据进行同步。TMF-814A标准定义了获取各类配置数据、性能数据和告警数据的操作。首先通过CORBA接口发送相应的获取操作给异构通信系统，后者收到操作之后，根据操作中的参数设置要求将相应的数据返回，然后对操作的返回参数进行解析，并将解析到的数据入库。

CORBA是一种分布式计算技术 [9] ，可以屏蔽网络设备的异构性，让分布的应用程序完成通信任务 [5] 。电力通信网结构复杂，运维管理系统涉及到电力网中配置数据、环境数据、性能数据等诸多方面。CORBA接口技术提供的分布式中间件平台，适合解决大型的分布式信息系统的集成、互操作等问题，但技术难度较高。

SNMP即简单网络管理协议，是国际标准组织IETF定义的标准化面向对象建模接口技术 [10] 。SNMP体系架构分为四个部分：**、管理站、MIB (管理信息库)和通信协议，其中管理站与**之间采用一对多的集中式结构。管理站通过周期轮询的模式采集各**中的管理数据，但当**数量较多时，该模式会消耗大量资源。对此，SNMP采用了trap模式，即管理站以较低的频率周期进行初始化，在初始化过程中，管理站对所有**进行轮询，将需要采集的信息标记，然后由各**通过trap方式将信息发送给管理站。

SNMP接口技术难度低，接**互性强，具有很好的兼容性，支持各类基本网管数据的采集，同时还支持对NETFLOW流量分析结果的采集，因此常被用于设备数据及网络和业务测量系统数据的采集中。

Web Service [11] 是一种跨语言、跨平台的远程调用技术，旨在解决互联网环境下商务组件难以有效部署、整合以及集成的问题。该接口技术通过Web部署提供对业务数据访问的功能，不需要借助附加的第三方工具，就可以实现不同设备上不同应用之间数据的交换或集成。

提供者实现服务接口的WSDL (Web Services Description Language)描述；**通过UDDI (Universal Description Discovery and Integration)对这些接口注册，同时接受请求者的查询；请求者经查询得到所需接口的WSDL文件并绑定到这些服务。上述3种操作均由SOAP (Simple Object Access Protocol)完成。其中，SOAP基于XML格式，需要绑定一个传输协议，例如HTTP、SMTP等；WSDL是XML格式文档，用于辅助生成程序代码及配置信息；UDDI用于发布搜索服务，应用程序通过UDDI找到目标Web Service。

Web Service接口技术是面向服务应用的集成，支持跨平台，技术难度和成本较低，易于部署，是互联网环境下构造分布式和模块化应用程序的最新技术，是未来的发展趋势。但是该接口技术不适合用于单机应用程序或局域网的同构网络。目前被广泛应用于各级管控系统和运维流程系统的数据采集。

SYSLOG由TETF定义，采用TCP/IP协议，是一种非建模接口技术，常用于通信系统日志数据的获取。SYSLOG消息数据既可以记录在本地文件中，也可以通过网络发送到SYSLOG日志服务器。日志服务器可以同时对多个设备的SYSLOG数据进行统一处理以及存储，被广泛应用于网络管理系统、安全

其中在网管系统中，SYSLOG接口技术提供了一种新的信息传递方式，即支持设备通过网络把事件信息传递给日志服务器。SYSLOG接口技术研发工作量和难度相对较低，常作为SNMP的补充接口，用于各类日志数据采集、流量分析等，也可作为实时告警信息的上报接口。

NETFLOW是一种用于电力通信网流量流向分析的标准技术，由国际标准组织IETF定义。该接口为非建模接口，目前已被各主流设备厂家支持。NETFLOW接口技术可支持对不同流向、不同协议的流量分析功能，并且与SNMP接口兼容，是目前电力通信网管系统普遍采用的流量分析接口技术。

TELNET接口技术是电力通信网设备普遍支持的接口。该技术由国际标准组织IETF定义，旨在为用户提供远程访问主机的能力。但使用该接口接入时需根据各设备厂家提供的操作维护命令进行语法和语言分析，具有较大的研发难度和工作量，一般仅用于支撑操作权限要求较高的高级功能，作为电力通信网网管接入的辅助接口。

除上述标准接口技术外，数据库接口技术和消息队列(MQ)接口技术等也常用于运维数据的采集。其中MQ接口使用私有协议，功能与TELNET类似；数据库接口除了不支持设备网管的控制功能之外，支持大部分的数据采集功能。但是这类接口的标准化程度较低，技术研发难度和工作量都较大，因此一般仅在不具备标准接口时作为备用接口使用 [12] 。

增量/全量模式是电力综合管理系统提取数据时常用的方式。全量模式对数据库或者数据源中的数据全部提取，然后进行后续的处理工作。全量模式的实现机制比较简单，通常使用备份恢复或者导入数据的方式完成；增量模式仅对发生变化或者新增的数据进行提取。全量提取完成后，后续的提取一般都是通过增量提取实现。如何既准确地捕获变化的数据又不能对业务系统造成太大的压力是增量提取的关键。

该方式是最为常用的一种增量提取技术，需要在源表建立功能触发器。当源表数据改变时，对应触发器被触发，系统自动将变化的数据进行记录。触发器方式数据提取的性能高，速度快，无须对业务系统表结构进行修改，即可实现数据的递增加载。但容易对源数据库造成破坏。

该方式需要在源表上增加一个时间戳字段，进行数据提取时，通过与源表的时间戳字段的对比来进行数据的提取。时间戳方式对源数据提取清楚简单，可实现数据的递增加载。但时间戳的维护需要由业务系统完成。

该方式需要为提取的数据建立一个临时表，数据提取时，对源表和临时表进行比对，提取增加和修改的数据。全表比对方式不影响已有的系统表结构，管理维护统一，可实现数据的递增加载。但设计较为复杂，提取速度较慢。

该方式需要对系统建立日志表，当目标数据发生变化时，更新日志表。数据提取时，根据日志表决定数据的加载。日志表方式数据抽取速度较快，可实现数据的递增加载。但日志表维护较为麻烦，对原系统有较大影响。

电力通信系统在进行运维数据获取时，对于管控系统与设备网管系统之间的接口一般选择增量/全量模式和事件接收模式，其中配置数据、性能数据和非实时告警数据采用增量/全量模式，实时告警数据采用事件接收模式；对于管控系统与异构通信设备之间的接口通常选择同步模式和事件接收模式，其中配置数据和非实时告警数据采用同步模式，实时告警数据采用事件接收模式。

数据采集功能平台系统结构如图3所示。数据接口层位于系统底层，包括数据源、适配层、数据库层三个子层，实现电力通信网各类数据的采集、适配和存储，并提供业务逻辑层的调用接口。业务逻辑层主要包括数据采集和数据处理两个模块，前者根据应用层的需求获取数据接口层相应的数据；后者将采集模块获取的数据处理成为应用层可以呈现给用户的数据，并提供上层调用接口。应用层包括用户配置管理和数据资源管理两个模块，提供了用户访问和数据显示功能。用户可以直接进行平台配置、数据查询等操作。

由图5可以看出，本文设计的数据采集平台系统响应时间大致在0.2~0.5 ms之间波动，这是由于不同时间段网络中传输的数据量不同，系统的处理时间有所变化，导致响应时间产生响应波动，但是总体看来响应时间短、平台系统处理效率高。