基于电力光纤入户大数据应用 - 信息谷 - ICITU

伴随着社会经济和信息技术的快速发展,电力光纤到户的发展为电力监控设备主站系统或用户对实时信息的监测查询成为现实,本文基于电力光纤入户获取的大量设备终端实时数据信息,结合电网公司内部系统相关历史存储数据,运用大数据分析计算技术,构建大数据分析服务应用

发展的指导意见》,要求加快智能电网的建设,开展智能计量技术应用,完善多元化计量模式和互动功能。推动智能电网建设,电力光纤到户是关键,电力光纤到户搭建了小区公共服务平台,为智能电网配用电侧的信息采集、智能互动用电等业务应用提供了有力支持,同时利用富余带宽为社区公共服务建设提供基础。电力光纤到户将获取配网线路的监控设备、用户端智能电表、家庭智能用电设备等大量实时数据,特别是智能电表上的电流、电压及每15分钟的冻结表底电量数据及时上传至主站系统,实现信息的实时采集、监测,并结合电力企业的内部营销业务域、生产业务域及计量自动化业务域数据,应用大数据技术构建智能分析服务应用,将优化电网的运行和管控,提高供电可靠性,提升客户服务水平

面对新形势新挑战,我国提出了加快建设以特高压电网为骨干网架,各级电网协调发展,形成以信息化、自动化、互动化为特征的智能电网,努力实现我国传统电网到现代电网的升级和跨越国家电网已开展电力光纤入户智能小区/宇建设,基本通过在低压通信接入网中采用光纤复合低压电缆( OPLC ),将光纤随低压电力线铺设。光纤到户主要集中在新小区,老旧小区智能电网的需求大多依靠电力线宽带载波实现。南方电网在电力光纤入户上已做好顶层设计,并开展相关课题研究和示范应用,按照规划预计到2020年,全网电表自动抄表率达到95%通过电力光纤到户,可发挥光纤信息通道功能,实现居民家里用水、用电、用气等信息的快速采集,为电力用户用电情况查询、业务办理及用电分析服务等基本服务功能,但目前基于大数据技术的光纤入户应用基本处于探索研究阶段,本文将根据云南电网有限责任公司的信息化现状对基于光纤入户的大数据技术服务分析应用进行研究探索,以构建大数据的光纤入户信息分析服务应用平台，提供电网运营管控和客户服务功能应用

光纤入户信息的大数据技术应用架构设计分为数据采集层、数据存储层、数据分析层及服务应用层构成，如图1信息服务分析应用总体设计所示信息服务分析应用总体设计主要针对电力行业的营销数据、计量自动化数据、生产数据及现场设备数据的不同数据形式进行集成，包括关系型、非关系型及流数据等，通过技术组件 MapReduce 、 Spark 、 Storm 等大数据技术，并结合聚类（距离算法、 kmeans 算法）和关联（逻辑树、神经网络）等算法实现信息的分析，为应用提供实时信息查询、设备状态监测及用电分析服务等功能应用

离线数据主要包含各子系统存量数据及増量数据，数据集成主要通过 ETL 实现跨系统、异构数据集成。跨业务系统的异构数据源之间数据差异性大，不仅存在结构化数据，而且存在大量半结构数据及非结构数据；同时，异构数据的ETL 操作要求数据在抽取和加载的过程中进行远程传输，本方案针对离线跨系统异构数据采用基于 Kettle 构建 ETL 集成模型。对分散在各业务系统中的◆ F 有数据进行抽取、转换、清洗和加载。如图2离线数据集成架构所示数据抽取过程包括数据剖析、増量数据捕获以及数据抽取三个环节。数据剖析是对源数据中数据结构及其内容的统计分析;增量数据捕获是实现增量数据抽取的解决方案;数据获取则是对源数据的获取

针对系统应用到的离线数据计算框架主要采用 MapReduce 及 Spark 组件。离线批量处理主要针对营销客户用电相关数据和计量自动化设备监测历史数据,由于其数据的有序性和准确性相对较高,能充分挖掘用户用电行为习惯及设备运行特征,使数据分析挖掘价值更贴近实际,为决策等提供有效的数据依据MapReduce 是一种编程模型,用于大规模数据集(大于1TB)的并行运算,适用于分析如电力企业的几年营销业务域、生产业务域或计量自动化等大量历史存储数据,其技术实现原理如图3所示Spark 是 UC Berkeley AMP lab 所开源的类 HadoopMapReduce 的通用并行框架, Spark 拥有 HadoopMapReduce 所具有的优点;但不同于 MapReduce 的是 Job 中间输出结果可以保存在内存中,从而不再需要读写 HDFS ,因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 MapReduce 的算法,其技术实现原理如图4所示

用电用户对用电信息的实时信息查询及电力企业内部人员对设备的实时运行监测是电力行业实时性要求较高的常规业务工作,特别是对设备实时运行的分析统计和故障预测应用是保证供电可靠性重要手段,实时数据集成架构如图5所示,服务应用分析平台实时数据集成主要针对光纤通道直接接入智能电表数据、家庭智能家居和配网线路上的各类监测设备数据,基于 SOA 的 Web service 集成接口实现数据的采集,再通过多任务进程及分区方式进行流数据的接入计算

流式计算中,无法确定数据的到来时刻和到来顺序,也无法将全部数据存储起来。因此,不再进行流式数据的存储,而是当流动的数据到来后在内存中直接进行数据的实时计算。流式计算主要针对计量设备的电流、电压、表底数据及潮流等信息通过电力光纤通道传输至服务分析应用主站平台服务器进行实时流式计算,通过移动应用及系统主站提供可视化展示。

信息服务分析服务平台建立不同的数据分析处理模型,主要包括聚类和分类算法模型的应用,找出用电行为和设备运行的规律特征,并不断的训练和验证分析模型的准确度,实现电力数据的大数据价值挖掘聚类分析能将高维数据集合划分为很多类,使得同一类内数据对象相似度最高,类与类之间的数据对象的相似度最小即相异度最大。 kmeans 算法的应用以用电用户用电量为分类依据,设定0—50、50—100等不同层次的用电量,即为 K 值,建立相似或相似关系,通过计算机对所有用户进行逐一比对;将所有用户进行归类,以缴费时间为分类依据进行二次聚类,根据缴费的及时率设置用电用户的优质等级,经过二次组合分类即可快速的在所有用电用户中科学的筛选出优质的用电用户,实现用电行为特征的分析挖掘

根据主站系统获取的大量的设备运行数据和非运行数据,采用设备状态评估大数据挖掘分析方法,基于多元多维度数据进行状态评估,重点考察设备状态量(包括设备权限、故障的结果性状态量)之间的关联性。根据配网线路监测设备、智能电表、家庭智能用电设备等实时信息的采集,结合历史运行计量设备数据实现大数据的设备状态运行评估等应用,为运行决策提供重要数据支撑,提高供电可靠性

本文基于电力光纤通道获取的生产设备运行实时数据,并结合电力营销、生产及计量业务相关历史数据,采用大数据挖掘分析技术,通过对实时运行数据流式处理和历史数据的批量处理,构建大数据分析服务应用并进行示范,实现大数据技术在电力光纤入户领域的应用,增强电网运行管控和客户服务能力