引言

　　近年来，大数据（big data）技术得到了各国政府和全球学术界、工业界的高度关注和重视，在各行业领域的应用迅猛发展。2012年3月，美国政府发布了“大数据研究发展创新计划”，我国政府、学术界和工业界对大数据也予以了高度关注。就电力行业而言，近年来数据资源开始急剧增长并形成了一定的规模，对大数据技术也产生强烈的需求。具体表现为数据量由tb级向pb级发展，数据高性能存储和高可扩展性面临挑战；业务向智能化、精益化方向发展，对复杂数据处理和实时性提出更高要求；跨业务、跨平台的数据处理和分析能力需要进一步提升。

　　配用电网大数据体系架构方面，大数据软件体系结构可分为数据采集与预处理、数据存储和管理、数据分析和挖掘等几个方面。在大数据存储和管理方面，当前普遍采用的是分布式文件系统和分布式数据库。由于大数据处理的多样性和复杂性，学术界和工业界不断研究和推出新的大数据计算模式和平台；重要的发展趋势包括hadoop平台与其他计算模式的融合、多样性混合计算模式、基于内存的大数据处理技术。可视化是大数据分析的重要手段，同时大数据也对可视化技术提出了新的挑战。实际应用中存在大量高速时序数据，而且这些数据的维度都很高，如何对这样的数据进行可视化还没有得到很好的解决，也是亟需研究的问题。

　　用户用电负荷数据的存储处理方面，用电负荷数据存在着多种形态、频度，如何构建合理的存储结构以满足用电负荷数据的需求，已成为新的研究热点。当前，存储、索引的统筹设计也是适应海量高维时序数据的方向之一。另外，用电负荷数据通常可以从不同层面进行聚类：时间层面上，针对不同时间范畴的负荷序列进行聚类；用户层面上，对不同用户的用电负荷数据和其他信息聚类，实现用户群体的划分。关联分析是在聚类等手段的基础上分析信息内在关联的手段。特别是对用电负荷大数据如何结合具体业务进行聚类和关联分析还亟待研究。

　　本文研究智能配用电大数据应用关键技术，具体包括：

　　①配用电网大数据体系架构及共性基础技术；

　　②用户用电负荷数据存储分析与修正技术；

　　③用电预测等智能配用电业务应用大数据分析技术；

　　④智能配用电大数据示范应用方案设计。

　　1 技术现状

　　1.1 智能配用电业务分析的国内外研究现状

　　近年来，智能配用电得到了重点关注和快速发展，其资源优化配置能力强，运行稳定高效，适应新能源的发展。

　　1）节电方面，国内外学术界对配用电的节电分析主要从配电和用电两个方面开展了研究。在配电侧，主要研究通过无功优化、最优潮流、网络重构、分布式电源接入等方法降低配电网络损耗达到节电目的。

　　2）用电预测方面，国内外研究主要集中在预测数据预处理、影响因素属性约简、构建用电预测模型等方面。如采用基于粗糙集理论的属性约简算法，能够挖掘出与待预测用户相关性大的属性作为预测模型的输入量。

　　3）配用电网架优化方面，国内外对配电网网架优化或规划问题已有较多研究，也开始在配电网优化中考虑分布式供电的影响，模型求解多采用数学规划法、启发式算法、智能优化算法等。

　　4）错峰调度方面，文献分析了“错峰用电”的地位和作用，阐述了“错峰用电”对提高供电质量、减少线路损耗、增加设备的输送能力和延长设备的使用寿命等都具有重要的现实意义和应用价值。

　　1.2 智能配用电大数据应用的国内外研究现状

　　智能电网的目标是建设覆盖电力系统生产全过程的实时系统，而对这个系统提供安全性、可靠性、坚强性支撑的则是电网的全景、实时数据，以及对这些数据的快速分析和对分析结果的应用。因此在本质上，智能电网是大数据在电力上的应用。

　　2012年ibm公司提出，电力能源由单向的电力流动扩展到电力与数据信息的多向流动，这将为传统的电力行业价值链带来突破性的变化。世界各地的电力公司也陆续开展了电力数据应用实践。例如美国sgd&e为客户提供一个可选的“空调负荷循环项目”，通过这个项目顾客可以让电力公司在用电高峰期替他们管理空调。美国加州大学洛杉矶分校的研究者根据大数据理论，将人口调查信息、电力企业提供的用户实时用电信息和地理、气象等信息全部整合，设计了一款“电力地图”。国内各界也已积极投入电力大数据的应用研究。

　　2 智能配用电大数据总体框架

　　配用电大数据应用系统总体架构分数据资源、数据处理、公共服务、业务应用4个层次，见图1。数据资源层为数据处理提供数据源输入，数据处理层为公共服务层提供数据及计算服务功能，公共服务层为业务应用层提供业务应用的交互操作。

　　图1 智能配用电大数据应用总体架构图

　　数据资源层主要实现从历史、实时数据中心或相关业务系统获取电网内外部数据，如配电自动化系统、用电信息采集系统等内部数据，气象信息等外部数据。

　　数据处理层采用混合型的大数据存储和处理架构实现对多源异构配用电大数据的多样性存储和处理功能。混合存储可适应分布式文件系统、列式数据库、内存数据库等多种数据存储和管理形式，以满足不同应用的需求；处理架构分别面向离线分析、实时计算、计算密集型数据分析等场景采用分布式批处理、内存计算、高性能计算等技术实现。

　　公共服务层实现应用系统的基础功能，如数据模型管理、业务流程控制、服务总线、业务权限管理等功能。在公共服务层和数据处理层之间采用支持高并发、低延时事务操作的分布式内存数据缓存技术，降低业务应用操作与数据处理层之间的耦合性，提高应用服务响应效率。

　　业务应用层构建节电、用电预测、网架优化、错峰调度4项业务，实现配用电大数据应用系统的典型业务功能。采用模块化软件设计方法实现4个模块功能的即插即用，并在充分考虑模块之间的信息联络及功能联合的基础上，遵循规范的接口，实现模块之间的功能融合，从而实现4个业务模块之间既可独立运行，又可协作互补。

　　3 智能配用电大数据关键技术

　　目前，国内外对智能配用电大数据的研究大部分处在研究和探索阶段，随着研究的深入和技术的发展，对智能配用电关键技术的研究将着重从以下方面进行。

　　3.1 智能配用电大数据体系架构及数据集成技术

　　智能配用电大数据体系架构及数据集成技术研究包括3个方面：配用电大数据体系架构、多源异构配用电数据集成及存储处理技术、大数据可视化技术，智能配用电大数据体系架构及数据集成技术图见图2。

　　图2 智能配用电大数据体系架构及数据集成技术图

　　3.1.1 配用电大数据体系架构

　　配用电大数据体系架构包括硬件架构、评估方法、技术标准和安全体系。具体包括：

　　①分布式大数据采集、存储和处理硬件体系架构的集群节点规模、硬件优化配置、网络拓扑结构及系统可靠性和可扩展性；

　　②面向数据密集型配用电大数据应用的批处理、图计算和内存计算架构；

　　③面向计算密集型配用电大数据应用的高性能计算架构；

　　④配用电大数据体系结构评估方法；

　　⑤配用电大数据元数据、数据交换等技术标准规范；

　　⑥配用电大数据访问认证、数据存储和隐私加密等安全技术。

　　3.1.2 多源异构配用电数据集成及存储处理技术

　　多源异构配用电数据集成及存储处理技术包括多源数据特性、信息模型、融合方法和标准。具体包括：

　　①对电网企业内部的配电自动化、用电信息采集系统、负荷控制系统等和外部的气象、社会经济等多源数据特性进行分析；

　　②抽象和构建智能配用电大数据环境下包含结构化、非结构化数据的信息模型；

　　③建立智能配用电多业务数据融合方法和信息交换标准，实现智能配用电跨平台数据的迁移与信息交换。

　　3.1.3 大数据可视化技术

　　大数据可视化技术包括可视化信息模型构建及信息压缩、动态高维数据的可视化。具体包括：

　　①配用电数据可视化基础信息模型、数据映射方式和信息交换；

　　②兼顾节点关系的清晰表达和大容量节点的展示需求的超大图布局方法；

　　③历史数据、实时数据以及未来规划数据的动态展示及降维分析。

　　3.2 用户用电负荷数据存储分析与修正技术

　　用户用电负荷数据存储分析与修正技术内容包括2个方面：用电负荷数据存储分析技术、用户用电负荷数据分析与修正技术。用电大数据存储分析图见图3。

　　图3 用电大数据存储分析图

　　3.2.1 用电负荷数据存储分析技术

　　用电负荷数据存储分析技术包括数据索引、高效存储。具体包括：

　　①负荷均衡的高维时序数据分布式索引；

　　②针对用户用电负荷数据不同维度剖面特征的多级索引；

　　③面向配用电网多源数据的行列融合的索引机制；

　　④基于列存储的用户用电负荷时间序列数据的存储模型；

　　⑤基于分布式文件系统的多结构用电负荷数据的存储模型；

　　⑥支持大规模时序数据的数据压缩存储及支持用户用电负荷数据分析的高效行列混合存储技术。

　　3.2.2 用户用电负荷数据分析与修正技术

　　用户用电负荷数据分析与修正技术包括大数据的清洗与修正、聚类分析、关联与演化分析。具体包括：

　　①基于时间序列分析的卡尔曼滤波用电负荷数据修正方法；

　　②基于用户用电数据关联性的分布式海量数据清洗、修正算法；

　　③基于用电负荷数据时序性的并行聚类算法，结合异构数据源的协同聚类分析方法；

　　④面向用电负荷数据的多源用户关联分析方法；

　　⑤基于分布式计算框架的分布式关联规则挖掘算法；

　　⑥基于社会公共信息分析的用电用户关联挖掘算法。

　　3.3 智能配用电典型业务大数据分析技术

　　智能配用电典型业务大数据分析技术研究内容包括4个方面内容：节电技术、用电预测技术、配用电网架优化技术、错峰调度技术。智能配用电大数据分析图见图4。

　　图4 智能配用电大数据分析图

　　3.3.1 节电技术

　　基于智能配用电大数据的节电技术包括典型电力用户用电特性聚类分析、电价、激励机制、用户用电行为、环境感知等多因素用户节电关联分析方法。具体包括：

　　①典型电力用户用电特性局部敏感性相似分析技术；

　　②综合考虑用户社会经济、气候等因素对电力用户用电特性的影响并研究量化不同因素对电力用户用电特性的关联度；

　　③智能配电网中分布式电源的配置和运行策略对电力用户用电特性的关联度；

　　④计及电价、激励机制、用户行为、环境感知等因素的用户用电数据分析模型；

　　⑤与大数据分析相结合的多因素用户节电关联分析方法；

　　⑥面向用户用电、网架结构特性的配电网节电降损分析方法。

　　3.3.2 用电预测技术

　　基于智能配用电大数据的用电预测技术包括用电预测影响因素识别方法、多类型用电预测模型。具体包括：

　　①分布式电源、电动汽车充换（放）电等的用户个体、群体多时态数据的量值特征及规范化方法；

　　②基于用户用电历史数据挖掘的用电预测模型与参数影响因素；

　　③用电预测模型、参数与用户用电行为特征、用户社会经济特征等诸多因素的关联性；

　　④用户用电预测关键因素关联度矩阵构建方法；研究用电预测关键因素关联度的属性约简方法；

　　⑤面向多类型用户的短期和中长期参数自校正时间序列用电预测模型；

　　⑥基于用户多种聚类方法的用户群体短期和中长期参数自校正时间序列用电预测模型。

　　3.3.3 配用电网架优化技术

　　基于智能配用电大数据的配用电网架优化技术包括数据并行聚类及关联分析、可行网架集构建方法。具体包括：

　　①设备负荷率等参数和用户用电规律的并行聚类及关联分析方法；

　　②负荷密度及负荷变化趋势与网架结构的关联分析方法；

　　③研究网架结构与供电可靠性和线路功率损耗等的并行聚类及关联分析方法；

　　④与智能配用电网架构建相关的分层分类数据关联模型；

　　⑤融合社会经济发展趋势、城镇规划与建设、分布式电源和电动汽车充电站接入，以及基于大数据的用电预测和用户用电特征挖掘等多个方面的基于分层分类数据关联模型生成可行网架集的方法。

　　3.3.4 错峰调度技术

　　基于智能配用电大数据的错峰调度技术包括聚类分析技术、自动分配算法。具体包括：

　　①配用电错峰调度资源多源数据融合规则和方法；

　　②满足配用电安全性、经济性及用户多样化用电需求的用户用电特性等多因素的错峰资源大数据层次化聚类分析方法；

　　③考虑经济性和安全性等约束边界，构造配用电侧可调度错峰资源分配指标权重系数矩阵；

　　④综合配电、用电和社会经济等多维可调度资源，建立配用电侧错峰指标分配体系和递阶层次模型。

　　3.4 智能配用电大数据示范应用方案设计

　　在示范工程建设与实施上，结合上海浦东新区配用电业务的具体需求，兼顾工程建设的经济成本的考虑，配置适应配用电业务发展要求的、满足研究性能要求的包含高性能计算机、中低端服务器混合配置的配用电大数据应用系统硬件；在软件配置上，构建大数据统一数据处理平台，构建包含并行计算、高速检索、处理结果缓存等组件的大数据软件处理环境，为多源异构数据的高速处理提供支撑。在充分考虑信息安全要求的基础上，通过国网上海市电力公司已有的海量历史/准实时综合数据平台，按照电力系统“专网专用、安全分区、横向隔离、纵向加密”的安全防护要求通过安全iii区接入能量管理系统、配用电自动化系统、电能质量监测系统、生产管理系统、用电信息采集系统、营销应用系统、客户服务系统7个电力行业内的信息系统，实现对配电和用电的实时数据、业务数据的安全接入；遵循国家信息安全防护的规定接入气象信息系统、社会经济数据2个电力行业外数据，共接入包含电力行业内和行业外的9个信息系统，为大数据配用电应用系统提供多源可靠的综合数据。在基于大数据技术的信息融合与数据挖掘的基础上，部署节电、用电预测、网架优化、错峰调度等高级应用，实现基于大数据技术的智能配用电应用深化与性能提升，推动上海市智能配用电业务的综合智能化、精益化发展。

　　4 结语

　　智能配用电大数据是充分发掘智能电网价值的重要方面，而且是一个在国内外都刚刚起步，具有很大研究空间的领域。主要结论为：

　　1）提出了配用电体系架构，设计先进适用架构，解决多源异构配用电数据的多源集成、统一存储、高效处理的难题。

　　2）详细分析了智能配用电大数据典型业务场景和关键技术，提出了大规模配用电数据存储、处理、修正及应用解决方法。

　　3）设计智能配用电大数据应用方案，为示范工程建设提供支撑。