信息谷 - ICITU

标题: 基于大数据分析的通信网络预警分析系统 [打印本页]
作者: vguangxian    时间: 2021-10-17 18:31
标题: 基于大数据分析的通信网络预警分析系统
摘要
本发明公开了一种基于大数据分析的通信网络预警分析系统，通过SOA架构把骨干传输网分为网络控制和数据采集层、平台层、管理应用层，实现不同级骨干传输网的全面管理，并通过SOA架构之间的系统互联，完成通信管理系统同级之间及上下级之间中不同级骨干传输网的信息横向共享和应用协同，综合通信管理系统的履历信息、台帐信息、业务使用信息及根据通信网络资源占用的层级分布，从光纤资源、复用段资源、通道资源等多方面综合分析资源的利用情况，实时对通信设备和通信光缆的资源使用情况的数据进行储存；通过对不同层级的通信资源占用分析，利用大数据技术对现有的海量历史运行维护数据进行综合分析，从而能够提前预知通信网络中可能存在潜在的隐患。
1.一种基于大数据分析的通信网络预警分析系统，其步骤是：
A、通过SOA架构把骨干传输网分为网络控制和数据采集层、平台层、管理应用层，实现
不同级骨干传输网的全面管理，并通过SOA架构之间的系统互联，完成通信管理系统同级之间及上下级之间中不同级骨干传输网的信息横向共享和应用协同；
B、综合通信管理系统的履历信息、台帐信息、业务使用信息及根据通信网络资源占用
的层级分布，从光纤资源、复用段资源、通道资源多方面综合分析资源的利用情况，实时对
通信设备和通信光缆的资源使用情况的数据进行储存；
C、数据的采集、导入与预处理：对通信管理系统、客户端、通信设备和通信光缆的数据
进行采集，对采集的数据通过对象化并行计算框架在一个集中的大型分布式数据库或者分
布式存储集群中进行负载均衡或分片储存，在储存过程中使用来自Twitter的Storm来对采
集的数据进行流式计算；
D、数据的统计与分析：通过基于云计算的用电信息采集与数据分析平台，并利用分布
式数据库或分布式计算集群，通过EMC的GreenPlum、Oracle的Exadata以及基于MySQL的列
式存储Infobright和基于半结构化数据需求使用的Hadoop，对存储的海量数据进行普通的
分析和分类汇总，以满足大多数常见的分析需求；
E、数据的挖掘：使用Hadoop的Mahout对现有存储的数据进行用于聚类的Kmeans计算、
用于统计学习的SVM计算、用于分类的NaiveBayes计算，从而实现一些高级别数据分析的需
求，从而起到预测的效果；
所述对象化并行计算框架将业务数据对象化，用对象取代二维表，并采用对象化并行
计算技术，将计算功能封装在对象内部并通过对象接口对外服务，通过调用不同对象服务
器上的对象接口，实现并行计算，将大数据上的统计分析转化为小数据的统计分析，小数据
的统计分析又借助于内存优于磁盘的计算性能进行计算。
2.根据权利要求1所述的基于大数据分析的通信网络预警分析系统，其特征是：所述对
象化并行计算框架是基于数据缓存技术，将各类数据以对象形式缓存到数据库中，提供对
象的高效索引及访问，并具有数据横向扩展技术，通过在线扩展对象服务器来缓存增加的
数据，提供基于对象的数据计算服务。
3.根据权利要求1所述的基于大数据分析的通信网络预警分析系统，其特征是：所述基
于云计算的用电信息采集与数据分析平台采用增加索引、进行数据分区、优化SQL代码等形
式，优化现有关系型数据库系统的处理性能；并通过ETL的手段，实现关系型数据库与非关
系型数据处理环境之间的数据共享和互补协作，实现现有系统向云计算环境下的平稳迁移
和可持续发展。
4.根据权利要求1所述的基于大数据分析的通信网络预警分析系统，其特征是：所述基
于云计算的用电信息采集与数据分析平台包括一个平台和六个核心应用，所述一个平台为
用电信息采集系统的云计算平台，所述六个核心应用包括用户抄表数据与电量数据的存储
和查询、用户电量计算统计、台区线损计算分析、报文数据分析、低压数据完整率计算分析、
档案类数据ETL。
5.根据权利要求1所述的基于大数据分析的通信网络预警分析系统，其特征是：所述客户端包括Web、App或者传感器。
背景技术：
电力系统通信是电力系统不可缺少的重要组成部分，是电网调度自动化和生产管理现
代化的基础，是确保电网安全、经济、稳定运行的重要技术手段。电力通信网络作为构建统
一坚强智能电网和企业信息化的基础支撑，为整个电力系统中的电网调度、自动化、继电保
护、安全自动控制、电力市场交易以及企业信息化等提供安全的信息传输通道，它的优质化
管理是整个电网保持顺畅的关键。随着以特高压电网为核心、各级电网协调发展的统一坚
强智能电网建设，要求作为电网化智能基础支撑的电力通信基础传输网络高速发展。电力
通信网络规模的不断扩大，传输网层次的逐渐增多以及网络结构的日趋复杂，对电力通信
系统的综合监视与运维管理提出了新的挑战。
随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。大数据作为数据分析的前沿技术，可以从各种各样类型的数据中，快速获得有价值的信息。
2012年3月，奥巴马政府公布“大数据研发计划”，旨在提高和改进人们从海量、复
杂的数据中获取知识的能力，发展收集、储存、保留、管理、分析和共享海量数据所需要的核心技术，大数据成为继集成电路和互联网之后信息科技关注的重点。
与国外相比，国内起步稍晚，还未形成整体力量，企业使用数据挖掘技术尚不普
遍,但近几年出现了蓬勃发展的态势。目前，国内相关技术主要集中于数据挖掘相关算法、
实际应用及有关理论方面的研究，涉及行业比较广泛，包括金融业、电信业、网络相关行业、
零售业、制造业、医疗保健、制药业及科学领域，单位集中在部分高等院校、研究所和公司，
特别是在IT等新兴领域，华为、阿里巴巴、百度等对技术进步起到了很大的推动作用。
电力领域，自2010年以来，国家电网公司在大数据技术方向共开展了海量实时数据管理平台、PI数据库应用、非结构化数据快速检索、高通量事件即时处理、分布式实时数据库管理系统研发与应用、信息系统的性能测试与验证方法等研究，取得了海量实时数据库管理平台、性能测试测评等成果，但是在通讯网络预警领域还没有涉及。
发明内容：
本发明所要解决的技术问题是：克服现有技术的不足，通过SOA的架构，提升对通信设备和通信光缆的资源使用效率，通过对不同层级的通信资源占用分析，利用大数据技术对
现有的海量历史运行维护数据进行综合分析，实现对海量运行数据的时序趋势判定，从而
能够提前预知通信网络中可能存在潜在隐患的基于大数据分析的通信网络预警分析系统。
本发明的技术方案是：一种基于大数据分析的通信网络预警分析系统，其步骤是：
A、通过SOA架构把骨干传输网分为网络控制和数据采集层、平台层、管理应用层，实现
不同级骨干传输网的全面管理，并通过SOA架构之间的系统互联，完成通信管理系统同级之间及上下级之间中不同级骨干传输网的信息横向共享和应用协同；
B、综合通信管理系统的履历信息、台帐信息、业务使用信息及根据通信网络资源占用的层级分布，从光纤资源、复用段资源、通道资源等多方面综合分析资源的利用情况，实时对通信设备和通信光缆的资源使用情况的数据进行储存；
C、数据的采集、导入与预处理：对通信管理系统、客户端、通信设备和通信光缆的数据
进行采集，对采集的数据通过对象化并行计算框架在一个集中的大型分布式数据库或者分
布式存储集群中进行负载均衡或分片储存，在储存过程中使用来自Twitter的Storm来对采
集的数据进行流式计算；
D、数据的统计与分析：通过基于云计算的用电信息采集与数据分析平台，并利用分布式数据库或分布式计算集群，通过EMC的GreenPlum、Oracle的Exadata以及基于MySQL的列
式存储Infobright和基于半结构化数据需求使用的Hadoop，对存储的海量数据进行普通的
分析和分类汇总，以满足大多数常见的分析需求；
E、数据的挖掘：使用Hadoop的Mahout对现有存储的数据进行用于聚类的Kmeans计算、
用于统计学习的SVM计算、用于分类的NaiveBayes计算，从而实现一些高级别数据分析的需求，从而起到预测的效果；
所述对象化并行计算框架将业务数据对象化，用对象取代二维表，并采用对象化并行
计算技术，将计算功能封装在对象内部并通过对象接口对外服务，通过调用不同对象服务
器上的对象接口，实现并行计算，将大数据上的统计分析转化为小数据的统计分析，小数据
的统计分析又借助于内存优于磁盘的计算性能进行计算。
所述对象化并行计算框架是基于数据缓存技术，将各类数据以对象形式缓存到数据库中，提供对象的高效索引及访问，并具有数据横向扩展技术，通过在线扩展对象服务器来缓存增加的数据，提供基于对象的数据计算服务。
所述基于云计算的用电信息采集与数据分析平台采用增加索引、进行数据分区、优化SQL代码等形式，优化现有关系型数据库系统的处理性能；并通过ETL的手段，实现关系型数据库与非关系型数据处理环境之间的数据共享和互补协作，实现现有系统向云计算环境下的平稳迁移和可持续发展。
所述基于云计算的用电信息采集与数据分析平台包括一个平台和六个核心应用，所述一个平台为用电信息采集系统的云计算平台，所述六个核心应用包括用户抄表数据与电量数据的存储和查询、用户电量计算统计、台区线损计算分析、报文数据分析、低压数据完整率计算分析、档案类数据ETL。所述客户端包括Web、App或者传感器。
本发明的有益效果是：
1、本发明通过SOA的架构，提升对通信设备和通信光缆的资源使用效率，通过对不同层
级的通信资源占用分析，利用大数据技术对现有的海量历史运行维护数据进行综合分析，
实现对海量运行数据的时序趋势判定，从而能够提前预知通信网络中可能存在潜在的隐
患。
2、本发明通过ETL的手段，实现了关系型数据库与非关系型数据处理环境之间的数据共享和互补协作，实现现有系统向云计算环境下的平稳迁移和可持续发展。
3、本发明通过SOA的架构，实现电网通信管理系统上下级之间、与其他系统横向之间的信息共享和应用协同，全面提升通信全程全网故障定位处理能力。
4、本发明大数据技术中运用各种算法，克服了用于挖掘数据算法复杂，并且计算涉及的数据量和计算量都很大的问题，并应用Fayyad等人设计的多处理阶段模型。
5、本发明运用基于云计算的用电信息采集与数据分析平台，解决了大数据技术中数据统计与分析这部分中分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用的问题。
6、本发明运用对象化并行计算框架解决了大数据技术中数据导入与预处理过程中存在导入的数据量大的问题，实现每秒钟导入百兆，甚至千兆级。
具体实施方式：
基于大数据分析的通信网络预警分析系统，其步骤是：
A、通过SOA架构把骨干传输网分为网络控制和数据采集层、平台层、管理应用层，实现
不同级骨干传输网的全面管理，并通过SOA架构之间的系统互联，完成通信管理系统同级之
间及上下级之间中不同级骨干传输网的信息横向共享和应用协同；
B、综合通信管理系统的履历信息、台帐信息、业务使用信息及根据通信网络资源占用
的层级分布，从光纤资源、复用段资源、通道资源等多方面综合分析资源的利用情况，实时
对通信设备和通信光缆的资源使用情况的数据进行储存；
C、数据的采集、导入与预处理：对通信管理系统、客户端、通信设备和通信光缆的数据
进行采集，对采集的数据通过对象化并行计算框架在一个集中的大型分布式数据库或者分
布式存储集群中进行负载均衡或分片储存，在储存过程中使用来自Twitter的Storm来对采
集的数据进行流式计算；
D、数据的统计与分析：通过基于云计算的用电信息采集与数据分析平台，并利用分布
式数据库或分布式计算集群，通过EMC的GreenPlum、Oracle的Exadata以及基于MySQL的列
式存储Infobright和基于半结构化数据需求使用的Hadoop，对存储的海量数据进行普通的
分析和分类汇总，以满足大多数常见的分析需求；
E、数据的挖掘：使用Hadoop的Mahout对现有存储的数据进行用于聚类的Kmeans计算、
用于统计学习的SVM计算、用于分类的NaiveBayes计算，从而实现一些高级别数据分析的需求，从而起到预测的效果；
对象化并行计算框架将业务数据对象化，用对象取代二维表，并采用对象化并行计算技术，将计算功能封装在对象内部并通过对象接口对外服务，通过调用不同对象服务器上的对象接口，实现并行计算，将大数据上的统计分析转化为小数据的统计分析，小数据的统计分析又借助于内存优于磁盘的计算性能进行计算。
对象化并行计算框架是基于数据缓存技术，将各类数据以对象形式缓存到数据库
中，提供对象的高效索引及访问，并具有数据横向扩展技术，通过在线扩展对象服务器来缓
存增加的数据，提供基于对象的数据计算服务。
基于云计算的用电信息采集与数据分析平台采用增加索引、进行数据分区、优化
SQL代码等形式，优化现有关系型数据库系统的处理性能；并通过ETL的手段，实现关系型数据库与非关系型数据处理环境之间的数据共享和互补协作，实现现有系统向云计算环境下
的平稳迁移和可持续发展。
基于云计算的用电信息采集与数据分析平台包括一个平台和六个核心应用，一个
平台为用电信息采集系统的云计算平台，六个核心应用包括用户抄表数据与电量数据的存
储和查询、用户电量计算统计、台区线损计算分析、报文数据分析、低压数据完整率计算分
析、档案类数据ETL。客户端包括Web、App或者传感器，六个核心应用通过处理器和储存在处理器中的软件进行实现。
大数据技术主要可分为：数据采集，数据存取，基础架构，数据处理，统计分析，数
据挖掘，模型预测，结果呈现等8种技术，但大数据不只是指海量的信息，更强调的是人类对信息的筛选、处理，因此本申请大数据处理流程，可以概括为四步，分别是采集、导入和预处理、统计和分析，最后是数据挖掘。
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成
千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值
时达到上百万，所以需要在采集端部署大量数据库才能支撑。因此在这些数据库之间进行
负载均衡和分片储存设计。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于
本发明技术方案的范围内。





欢迎光临 信息谷 - ICITU (https://icitu.com/) Powered by Discuz! X3.4