大数据在智能电表系统的应用
随着新一轮科技和产业革命浪潮的兴起，社会信息化程度加剧，海量数据的产生与流转成为常态，大数据迅速并日益深刻的改变人们的生产、生活方式，同时以声势浩大的姿态，席卷全球各个行业和领域，在驱动行业创新与变革中迸发出耀眼的光芒，为新常态下培育新的社会经济增长点提供有利支撑。在电力行业，日益增长的由智能终端产生的海量原始数据，原有的数据存储与处理方案所能覆盖的数据量与时间纬度都严重不足。一方面，传统技术方案下的信息处理系统，当数据量增大或者遇到比较复杂的处理分析逻辑时，性能快速下降，另一方面，在传统方案下系统性能不足时，主要通过硬件的升级换代来实现，成本过高而且效果有限。通过建立供电系统大数据数据库平台，对电力系统新型非结构化数据的整合数据整合，提供有效数据极速查询、分析，为大数据在电力系统的应用提出新思路、新模式。
目录
一、引言 1
（一）供电系统数据库应用背景 1
（二）供电系统大数据数据库平台 1
（三）实时监控与异常分析 2
二、客户需求分析 3
（一）项目背景 3
（二）业务需求 3
（三）需求分析整理 3
三、主要功能 4
（一）标准化、规范化数据资源 4
（二）引入索引和统计模型 4
（三）偷电漏电 5
四、方案和数据库处理 5
（一）项目分析和构想实施 5
（二）环境准备及小数据测试 6
（三）应用中的注意事项 6
五、实施过程 7
（一）配置和环境 7
（二）具体实施流程图 11
（三）调试与验证 11
（四）界面联调显示效果 12
六、运行与维护 14
七、总结 15
致谢 16
参考文献 16
一、引言
（一）供电系统数据库应用背景
我国电力行业发展迅猛，电源结构不断调整，火电优化水平提高，水电开发力度加大，电网建设不断加强，电力环保成绩显著，电力装备技术不断提高，多项技术已经达到国际先进水平。进入21世纪，电力需求更加旺盛，发展潜力巨大，电力建设任务仍
*好棒文|www.hbsrm.com +Q: ^3^5`1^9`1^6^0`7^2#
十分艰巨，电力系统的主要发展趋势是开发新能源，开发节能环保的新产品，降低设备的功耗，加快研究更高一级的电压输电技术，推广柔性输电技术，加快电网建设，优化资源配置，继续推进城乡电网建设与改造，形成可靠的配电网络。
随着新一轮科技和产业革命浪潮的兴起，社会信息化程度加剧，海量数据的产生与流转成为常态，大数据迅速并日益深刻的改变人们的生产、生活方式，同时以声势浩大的姿态，席卷全球各个行业和领域，在驱动行业创新与变革中迸发出耀眼的光芒，为新常态下培育新的社会经济增长点提供有利支撑。我国“互联网+”战略的推广，更加快了各行各业依托大数据创新商业模式，实现融合发展的进程。
（二）供电系统大数据数据库平台
1、数据整合
数据整合是指将不同来源、不同结构的数据整合到同一平台、同一系统下进行联合查询与统计分析，通过信息碰撞来挖掘信息财富、窥测信息的内部关联。在传统的电力系统信息化方案中，沿用的是传统关系型数据库的理念，在存储上采用集中式存储，在数据模式上采用关系型模型进行数据抽象与处理，将整个电力系统的数据与信息割裂地存储于ERP、CRM以及计费系统等多个相互独立的信息系统的数据库中。同时，这些传统数据库采用的集中式存储方式决定这些信息化系统方案都只能进行纵向升级，随着电力系统的业务的迅速扩展，这些系统的升级与换代工作却是举步维艰。一方面，纵向升级意味着需要完全抛弃以前已有的系统，前期的投入无法有效复用；另一方面，纵向升级意味着升级过程中系统将无法提供服务，只有新的系统完全上线，才能重新提供服务。
大数据平台的建设首要目标即是要满足整合的要求。本次设计与实施的电力系统大数据应用平台需要实现：
(1)当前电力系统所有关系型数据库来源的数据整合；
(2)提供对于新型非结构化数据的整合；
(3)支持5年以上历史数据的整合；
(4)支持未来3年以上的新增数据的实时整合入库；
(5)提供对于新电力信息系统的数据访问模式。
2、极速查询与统计
数据库查询的性能主要由索引提供保障，其它的如分库分表等优化手段对于查询性能的提升则非常有限。索引虽然高效，但是关系型数据库的集中式存储方式导致索引本身的开销也会很高，因此所有的DBA都会告诉我们，索引要慎用。同时，索引本身也有很大的局限性，索引都只能为单表的查询进行加速，一旦遇到多表关联、嵌套、分类、判断、转换等操作时，索引就无能为力了。在电力系统中，仅仅客户和智能硬件终端往往都是千万级别的，每天产生少则也是以亿计的数据，这样的数据量显然不是传统数据库方案所能解决的，且不论实际场景中往往还需要实现多表关联、嵌套等多种形式的复杂查询。
在信息化数据处理领域，与数据查询同等重新的就是数据统计，通过对数据的统计我们能够快速发现数据的规律、趋势、异常等信息，同时可以对数据按各种规则进行集合运算。正是由于统计往往都是对批量的数据进行的运算，因此当数据量大了之后，统计的速度将成为瓶颈，一般的传统数据库一次性统计分析的语句在达到亿级以上后都会有性能问题，如果统计分析的逻辑再复杂一些的话，即使采用小型机，做一个年报统计也可能要一天。
电力系统的数据量之大不容置疑，各种统计分析如区域用电分析、行业用电分析、用电周期比对等统计分析的数据量都是要对TB级以上的数据进行聚合和运算。如果采用传统方案，这种场景下唯一可取的方法便是进行数据抽样，将抽样样本导入另一个传统数据库进行统计。这种方案下，一方面会造成数据破坏，统计结果失真，另一方面抽样和再入库统计既带来成本的上升，也要消耗大量的人力与时间。
本次平台的建设目标需要解决的核心问题之一便是大数据下的统计性能问题：
(1)千亿级以上数据量的统计分析在秒级完成；
(2)千亿级以上数据量的跨表关联数据统计分析在秒级完成；
(3)基于大数据的嵌套迭代统计分析在秒级完成；
(4)支持单表TB级以上数据的极速查询和跨表关联查询；
（三）实时监控与异常分析
电力系统极具代表性的一个特色便是小用户数量众多，且每个用户都有独立的计费的终端，这些终端管理完全依赖于工作人员人工现场查验，费时费力而且效果不好。采用大数据架构的应用平台的建设目标之一就是通过大数据技术之上的数据比对分析，实现基于数据化的实时监控与异常分析。例如，可以通过分区网格化数据比对，快速定位和发现窃电行为:在一定的区域范围内安装用电量总表，根据该区域的历史用电数据或实际所需的用电量对比分析该区域范围内是否有窃电行为，再层层细化缩小范围，最终锁定窃电用户。区域范围的选择可根据实际的用电量大小、历史窃电量大小、总表安装部署复杂度来决定，可先从部分区域开始实施，并逐渐减小总表安装的颗粒度。
二、客户需求分析
（一）项目背景
电力公司共有约3300万用户的智能电表，目前每天采集一次数据，部分工业用户每小时采集一次数据，日数据量约为4000万，每月新增数据12亿左右。
之前，使用Oracle、IBM、EMC组建的集中式解决方案，受制于传统数据库的限制，只能支持3个月数据。
在起始的规划中，采用了HBase为核心的大数据方案，但在具体实施过程中发现应用落地很难。当面对灵活多变的需求与复杂的统计分析时，HBase基于Family Key的快速查询方式在灵活性方面的制约非常明显，具体应用开发难的问题日益显现。
目录
一、引言 1
（一）供电系统数据库应用背景 1
（二）供电系统大数据数据库平台 1
（三）实时监控与异常分析 2
二、客户需求分析 3
（一）项目背景 3
（二）业务需求 3
（三）需求分析整理 3
三、主要功能 4
（一）标准化、规范化数据资源 4
（二）引入索引和统计模型 4
（三）偷电漏电 5
四、方案和数据库处理 5
（一）项目分析和构想实施 5
（二）环境准备及小数据测试 6
（三）应用中的注意事项 6
五、实施过程 7
（一）配置和环境 7
（二）具体实施流程图 11
（三）调试与验证 11
（四）界面联调显示效果 12
六、运行与维护 14
七、总结 15
致谢 16
参考文献 16
一、引言
（一）供电系统数据库应用背景
我国电力行业发展迅猛，电源结构不断调整，火电优化水平提高，水电开发力度加大，电网建设不断加强，电力环保成绩显著，电力装备技术不断提高，多项技术已经达到国际先进水平。进入21世纪，电力需求更加旺盛，发展潜力巨大，电力建设任务仍
*好棒文|www.hbsrm.com +Q: ^3^5`1^9`1^6^0`7^2#
十分艰巨，电力系统的主要发展趋势是开发新能源，开发节能环保的新产品，降低设备的功耗，加快研究更高一级的电压输电技术，推广柔性输电技术，加快电网建设，优化资源配置，继续推进城乡电网建设与改造，形成可靠的配电网络。
随着新一轮科技和产业革命浪潮的兴起，社会信息化程度加剧，海量数据的产生与流转成为常态，大数据迅速并日益深刻的改变人们的生产、生活方式，同时以声势浩大的姿态，席卷全球各个行业和领域，在驱动行业创新与变革中迸发出耀眼的光芒，为新常态下培育新的社会经济增长点提供有利支撑。我国“互联网+”战略的推广，更加快了各行各业依托大数据创新商业模式，实现融合发展的进程。
（二）供电系统大数据数据库平台
1、数据整合
数据整合是指将不同来源、不同结构的数据整合到同一平台、同一系统下进行联合查询与统计分析，通过信息碰撞来挖掘信息财富、窥测信息的内部关联。在传统的电力系统信息化方案中，沿用的是传统关系型数据库的理念，在存储上采用集中式存储，在数据模式上采用关系型模型进行数据抽象与处理，将整个电力系统的数据与信息割裂地存储于ERP、CRM以及计费系统等多个相互独立的信息系统的数据库中。同时，这些传统数据库采用的集中式存储方式决定这些信息化系统方案都只能进行纵向升级，随着电力系统的业务的迅速扩展，这些系统的升级与换代工作却是举步维艰。一方面，纵向升级意味着需要完全抛弃以前已有的系统，前期的投入无法有效复用；另一方面，纵向升级意味着升级过程中系统将无法提供服务，只有新的系统完全上线，才能重新提供服务。
大数据平台的建设首要目标即是要满足整合的要求。本次设计与实施的电力系统大数据应用平台需要实现：
(1)当前电力系统所有关系型数据库来源的数据整合；
(2)提供对于新型非结构化数据的整合；
(3)支持5年以上历史数据的整合；
(4)支持未来3年以上的新增数据的实时整合入库；
(5)提供对于新电力信息系统的数据访问模式。
2、极速查询与统计
数据库查询的性能主要由索引提供保障，其它的如分库分表等优化手段对于查询性能的提升则非常有限。索引虽然高效，但是关系型数据库的集中式存储方式导致索引本身的开销也会很高，因此所有的DBA都会告诉我们，索引要慎用。同时，索引本身也有很大的局限性，索引都只能为单表的查询进行加速，一旦遇到多表关联、嵌套、分类、判断、转换等操作时，索引就无能为力了。在电力系统中，仅仅客户和智能硬件终端往往都是千万级别的，每天产生少则也是以亿计的数据，这样的数据量显然不是传统数据库方案所能解决的，且不论实际场景中往往还需要实现多表关联、嵌套等多种形式的复杂查询。
在信息化数据处理领域，与数据查询同等重新的就是数据统计，通过对数据的统计我们能够快速发现数据的规律、趋势、异常等信息，同时可以对数据按各种规则进行集合运算。正是由于统计往往都是对批量的数据进行的运算，因此当数据量大了之后，统计的速度将成为瓶颈，一般的传统数据库一次性统计分析的语句在达到亿级以上后都会有性能问题，如果统计分析的逻辑再复杂一些的话，即使采用小型机，做一个年报统计也可能要一天。
电力系统的数据量之大不容置疑，各种统计分析如区域用电分析、行业用电分析、用电周期比对等统计分析的数据量都是要对TB级以上的数据进行聚合和运算。如果采用传统方案，这种场景下唯一可取的方法便是进行数据抽样，将抽样样本导入另一个传统数据库进行统计。这种方案下，一方面会造成数据破坏，统计结果失真，另一方面抽样和再入库统计既带来成本的上升，也要消耗大量的人力与时间。
本次平台的建设目标需要解决的核心问题之一便是大数据下的统计性能问题：
(1)千亿级以上数据量的统计分析在秒级完成；
(2)千亿级以上数据量的跨表关联数据统计分析在秒级完成；
(3)基于大数据的嵌套迭代统计分析在秒级完成；
(4)支持单表TB级以上数据的极速查询和跨表关联查询；
（三）实时监控与异常分析
电力系统极具代表性的一个特色便是小用户数量众多，且每个用户都有独立的计费的终端，这些终端管理完全依赖于工作人员人工现场查验，费时费力而且效果不好。采用大数据架构的应用平台的建设目标之一就是通过大数据技术之上的数据比对分析，实现基于数据化的实时监控与异常分析。例如，可以通过分区网格化数据比对，快速定位和发现窃电行为:在一定的区域范围内安装用电量总表，根据该区域的历史用电数据或实际所需的用电量对比分析该区域范围内是否有窃电行为，再层层细化缩小范围，最终锁定窃电用户。区域范围的选择可根据实际的用电量大小、历史窃电量大小、总表安装部署复杂度来决定，可先从部分区域开始实施，并逐渐减小总表安装的颗粒度。
二、客户需求分析
（一）项目背景
电力公司共有约3300万用户的智能电表，目前每天采集一次数据，部分工业用户每小时采集一次数据，日数据量约为4000万，每月新增数据12亿左右。
之前，使用Oracle、IBM、EMC组建的集中式解决方案，受制于传统数据库的限制，只能支持3个月数据。
在起始的规划中，采用了HBase为核心的大数据方案，但在具体实施过程中发现应用落地很难。当面对灵活多变的需求与复杂的统计分析时，HBase基于Family Key的快速查询方式在灵活性方面的制约非常明显，具体应用开发难的问题日益显现。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/wljs/585.html
