1 建设内容
（1） 标准体系建设
实现基础设施即服务标准体系、数据即服务标准体系、平台即服务标准体系、软件即服务标准体系建设，为采集、交互、治理、应用、服务提供支撑。
（2） 大数据云平台建设
依托政府政务云机房，以“云计算+大数据”方式建设煤炭产运销大数据平台。以大数据技术实现海量数据的采集，完成模型设计、数据加工整合、数据存储、大数据建模分析，以云架构方式实现硬件资源和应用服务的弹性管理，为能源局煤炭智慧管理提供支撑。
（3） 数据治理系统建设
完成数据建模管理、元数据管理、数据质量管理和数据监控管理等模块功能的建设。
（4） 产运销全环节的数据采集
完成煤矿的基本信息、产量数据、电子地磅数据、RFID数据、合同数据、车辆数据、视频数据进行采集。
（5） 六大应用功能建设
实现综合看板、煤矿生产中心、煤炭承运中心、市煤销售中心、综合政务中心、运营支持中心等6大应用功能建设。
（6） 大数据服务平台建设
实现以服务的方式对大数据平台的平台能力、数据和应用进行封装，同时实现多租户的平台数据服务能力建设。
（7） 安全保障体系建设
完成安全区域边界、安全管理中心及安全通信网络的设计，安全区域划分、保护，网络安全、系统与应用安全及数据安全的建设。
（8） 区县能源局煤炭产运销管理平台建设
区县能源局要按照市能源局的统一立项、规划、设计、招标，建设本辖区的煤炭产运销大数据平台。市能源局的大数据平台为区县煤炭产运销大数据平台提供支持。
（9） 连通煤炭监管信息平台
通过煤炭专网连通煤炭监管信息平台，实现煤炭监管数据共享。
（10） 机房和信息展示终端建设
根据市能源局的实际需求，依照机房建设标准建设模块化标准机房，满足大数据平台建设需求。展示终端可依据实际情况，建设高质量LCD大屏、信息调度台、打印机和办公桌椅等设备。
对机房防雷接地系统进行规范设计，保障终端设备的运行安全。
2 数据平台建设
2.1 数据模型建设
根据招标文件的要求，以及我公司对地区煤矿分布情况的考察，我们设计的软件平台采用1+5模式，即一个市级平台，五个区县级平台。
数据模型设计采用自顶向下与自底向上相结合的方法进行设计。以企业级数据模型为指导，结合相关企业规范，参考业界标杆、成熟模型，以业务需求为出发点，先建立概念模型，再在概念模型的基础上进行细化设计逻辑模型。
1） 模型设计方法
企业级数据模型设计可采用“业务需求驱动自顶向下”和“基于现状驱动自底向上”相结合模式，参照业界参考模型、行业最佳实践，共同形成数据模型。从业务需求驱动入手自顶向下，参照业界参考模型、行业最佳实践搭建数据模型整体框架，通过现状调研获取企业内部业务流程、设计文档、系统模型、接口规范等现状信息，现状驱动自底向上，细化和完善数据模型的设计。
 

数据建模主要分为三个阶段：
指定数据采集策略，针对不同类型的数据，使用不同的数据采集策略：
1、根据数据本身的特性可以将数据分为结构化数据、半结构化和非结构化数据。针对结构化和半结构化数据，我们可以采用OGG、JDBC、Kafka、Flume、Socket、SFTP等方式进行采集；针对非结构化数据，可以采用SFTP方式进行采集。
2、根据数据的时效性，可以将数据分为：流式数据、批式数据、实时数据、历史数据。边缘侧流式数据和实时数据的采集统一使用网关进行采集；大数据平台侧流式数据和实时数据可采用OGG、MQTT、JDBC、Kafka、Flume、Socket、SFTP等方式进行数据采集；针对批式数据和历史数据，可以采用SFTP、ETL进行采集。
3、根据数据量大小、涉密情况、重要性，可将数据采集分为专网采集、公网采集。数据量较大，且时效性要求较高，使用公网采集可能会造成公网的即时拥堵和不确定性，建议采用专线进行采集；针对涉密数据，可采用专线进行采集。
4、根据数据量大小和业务类别不同制定错峰采集机制。在上传数据时，要考虑时间段因素，尽量使用夜间网络空闲时间，避免占用公共网络带宽。
5、原则上历史数据采集，采用一次性入库方式采集；实时数据采集则尽量采用增量方式采集。
6、针对网络不能直接打通的方式可以采用前置机的方式进行数据采集。
7、针对信息资源共享交换平台中的信息采用滚雪球采集的方式进行数据采集。

2） 建模原则
保证模型的稳定性和对业务支持的灵活性，建模阶段将遵循以下的原则：继承性原则、稳定性原则、前瞻性原则、兼顾实际原则、扩展性原则。
3） 模型优化
定期分析数据依赖，对各个关系模式之间的数据依赖进行极小化处理，消除冗余。对动态数据与静态数据进行分离，提升数据处理性能。对低性能模型进行反范式设计，对涉及多个关系模式的数据进行合并，提升查询速度。
4） 数据模型维护管理
随着业务开展及需求的不断变化，数据模型也需要持续维护，不断完善，以保证数据模型的完整性、前瞻性以及扩展性，这是一项长期持续的工作。
2.2 数据采集
1） 采集范围
平台采集数据主要涵盖能源相关的各种数据源，具体如下：
采集系统包括：工业数据平台、设备管理系统、生产实时数据、生产管理系统、燃料管理系统、物资管理系统、视频数据、档案系统、数据集成平台、OA、人力资源、财务共享、全面预算、财务合并、财务核算、互联网数据及第三方的数据等。
2） 采集方式
需根据每类数据的特点来定制采集方式，如下：
内部数据：此类数据数据源一般都是关系型数据库和实时数据库，此类数据采集方式一般采用数据库直连的接口方式，例如内部系统的OA系统，建议采用直接开放数据库的方式，由源系统开放数据库账户，进行实时和定时的数据采集。
互联网数据：主要通过爬虫工具等方式从互联网指定的网站进行数据采集。
第三方数据购买：此类数据一般采用的是文件方式，一般是定期或不定期通过拷贝的方式进行采集。
3） 数据采集保障
数据采集保障主要从分阶段实施、制度、人员、技术等方面去保障数据采集。根据数据难易程度、数据重要性、数据粒度等分出数据的采集实施阶段。
制度保障：建立数据采集的规范接口、规范的数据采集流程、数据传输异常的处理流程、数据采集考核标准等方式来保障数据采集的及时性、稳定性和数据正确性。
人员保障：根据制定的数据采集流程，配备各环节的管理人员，保障数据采集过程中出现问题有专人及时发现和及时解决。
技术核验：通过建立数据质量稽核系统等方式来核验数据的准确性，主要技术手段有接口的连通性、接口的及时性、文件名的规范性、数据质量的准确性等。
4） 数据抽取
（1）定时抽取
定时触发主要针对实时性要求不高的大量数据抽取，定时触发可在每日晚上进行，通过增量式的数据抽取方式，可以使得每日进行的数据传输量能够保持在一个可控的范畴，避免对网络等资源造成过大的负担。
（2）实时抽取
实时抽取主要针对需实时同步至平台的业务数据。实时抽取需通过OGG、kafka、flume等工具进行数据的实时同步。
（3）时间触发抽取
事件触发抽取主要针对实时性要求非常高的具体所需要进行的数据抽取。事件触发通常由业务应用系统发起，因此所需要进行数据抽取也应当有该业务应用系统发起数据提交的请求。通过前端的消息接入网关适配器，可实现及时的数据提交响应。
（4）全量抽取
系统支持全量抽取，类似于数据迁移或数据复制，它将数据源中的表或视图的数据原封不动的从数据库中抽取出来，并转换成平台可以识别的格式。全量抽取通过对数据源的抽取规则预定义，直接通过该模块执行抽取逻辑，并将抽取后的数据对应插入上层平台的目标数据源中，完成全量抽取的整个过程。
（5）增量抽取
增量抽取即阶段性的对本阶段内变更的数据进行采集上报，包括新增、删除、变更的数据，只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在业务操作过程中，增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。
2.3 数据加工处理
（1）数据处理流程
目前进行云计算研究与大数据处理的较为主流的平台有由Apache公司研发的Hadoop系统，其把复杂的作业经过算法优化进行合理切分成若干子作业，然后将子作业分配到具有所需数据的若干节点进行并行MapReduce计算，节点间没有依赖性且可以根据运行状况进行调度，提高处理速度和效率。平台进行并行处理时，需要位于平台底层分布式存储系统中众多节点存储的数据和节点具体操作，众多节点中有唯一的主节点控制其他节点的协同操作和存储信息。
1）处理系统需求分析
大数据解决方案系统主要分为两个子系统：数据迁移子系统和数据分析挖掘子系统。数据迁移子系统把各个在线业务平台服务器的数据实时迁移到海量数据库中，解决大数据的存储、备份和共享问题;数据分析挖掘子系统利用系统集群并行对大数据进行快速分析处理，生成有价值的报告。
2）处理系统方案设计
本项目大数据解决方案系统基于Hadoop平台的集群，以面向列存储的HBase作为海量数据存储数据库。数据迁移子系统通过基于网络的存储虚拟化整合网络异构，规避和减少宕机，保证在线数据迁移时不需间断业务，迁移后由HBase对大数据进行高效管理。数据分析挖掘子系统则基于密集型离线数据分析，通过建立Hive和HBase无缝连接，Hive提供类似SQL查询，经过系统平台编译HQL，生成执行计划，交由MapReduce对HBase管理的数据进行高效地并行计算，把深度挖掘到有价值的结果反馈给用户。
3）数据分析模块的主要流程：
①Hive与HBase集成：Hive和Hbase两个框架通过HBase Storage Handler实现无缝接口整合，在Hive建立的表自动获取与其建立通信的Hbase中的对应的表名、列簇和输入输出格式等信息。
②数据表映射：运行HQL命令创建Hive的外表，该外表和HBase的表映射，通过配置信息映射由HBase到Hive，确保HBase和Hive两者之间列和数据类型的一致性。
③HBase表切分：根据数据表对应的HRegion，将Region作为InputSplit单位，根据拆分数量交给等量的Map操作。
④查询分析统计：用户在系统平台中使用Hive提供的组件，根据业务需求进行编译、提交HQL命令，然后编译器对HiveQL命令进行解析，优化，最后系统生成Hadoop的MapReduce任务，通过构建Scanner对HBase表数据进行扫描，对条件进行过滤、排序、去重，最后通过next（）获取数据，并且把数据生产表格、图表等形式交付给用户。
（2）数据加工
数据加工整合是各类数据资源汇聚后，按照平台构建目标和数据规划，进行的标识类、要素类、索引类、标签类、目录类等各类基础数据的加工和整合，加工整合手段的合理性很大程度上影响了系统建设质量。
以下数据加工整合需要建立常态的异常整合数据分析、回收机制。
加工与整合手段，包括数据资源的管理、流程调度管理、流程监控管理功能，其中：
数据资源管理
对ETL过程中使用的各类数据资源进行配置管理，实现对资源的以下管理功能：
资源的增删改查：对各资源类型进行新增、删除、修改、查询操作，如在资源管理中创建、新增、删除、查询表。
资源的导入、导出：对资源类型进行导入、导出操作，如在资源管理中对映射进行导入与导出，减少二次开发资源映射的工作量及起到安全备份的效果。
流程调度设计
通过统一的ETL平台实现数据的加工及调度。设计数据的映射关系，数据加工过程；设计基础层、汇总层、等各层数据的详细加工流程以及调度时序，通过与ETL的集成，在ETL平台上实现各类加工规则的配置，实现数据加工过程的统一配置及管理。
流程调度监控
本平台设计标准的ETL流程监控，对流程调度的关键点进行实时监控，能够及时发现及处理流程调度过程中的异常问题，保证数据流调度。监控范围、监控点、异常级别以及异常通知机制。
转换过程
对数据结构进行重新组织排列，按平台统一标准进行数据梳理，完成异构数据的整体规划。
数据转换标准
根据对与平台对接应用内容的需求分析，定义出一系列的数据转换标准。这些标准将反映各个应用所需要的数据的结构。同时在标准中定义的还有数据“宿主”位置等信息，表示该块数据将向哪个业务系统请求获得。
数据转换流程
数据转换是依据数据转换流程实现的，针对不同的数据，需要设定不同的数据流转过程。实现数据流转过程的定义。
数据转换映射
由于数据转换标准并不知道在具体业务系统内的相应数据的位置、属性、名称等等信息，所以需要在业务系统内对数据转换标准中的对应项有一个映射关系的定义。功能包括：数据转换标准定义信息的导入；维护数据转换标准与内部数据结构间的映射定义表，包括数据项与数据项的对应或组合对应（公式化）、数据类型的匹配或转换关系、数据项位置描述记录等等。
（3） 数据存储计算
1）数据存储
按资源库类型区分的数据存储设计如下：
资源库类型 细分 存储设计类型
基础数据资源库
综合关联资源库
应用数据资源库 结构化数据 HDFS/Hive/MPP
半结构化数据
非结构化数据 HBASE
元数据 结构化数据 Oracle/MySQL
企业内部数据、企业数据、政府数据和社会面数据等主要以文本数据为主，对应数据价值较高或查询时效性较高的数据，存放在MPP数据库中；对于查询响应时长要求较宽松的，存放在HDFS分布式系统。
本着充分利用和共享存储硬件资源前提，MPP数据库和HDFS共享、或共用存储硬件。
视频、语音和图片数据，如案件音视频数据、视频数据、图片数据等，原则上不存储在数据中心，此类非结构化数据经过结构化处理之后的文本数据推送缓冲区，然后实时处理或批量处理保存到大数据平台的HDFS系统上。非结构化数据属于对象存储，在HBASE中。
元数据存储在关系型数据库中，方便增删改查的交互处理。
2）计算机制
大数据平台将基于云服务平台搭建数据生产加工云计算环境，将根据数据源、数据类型、数据特征以及业务上对数据时效性、安全性等要求，匹配适当的计算手段。
平台按数据的价值特征采取三种生产加工手段：
高价值密度数据：即信息聚合度高、数据关联关系强的数据，采用关系型数据库技术，如Oracle、Mysql、MPP，为数据加工或服务提供SQL支持。
低价值密度数据：即批量或海量的大数据，将基于Hadoop/Cassandra生态体系构建计算能力提供批量计算、海量查询、和大数据存储以满足业务需要。
流数据：主要是指实时数据处理，将基于Storm、SparkSteaming、Kafka等构建实时流计算和分布式消息机制。
3）数据库
Hadoop/Cassandra
搭建全套的hadoop/Cassandra组件。依据Hadoop/Cassandra数据框架，建立大数据中心，实现对结构化数据、非结构化数据的标准化及统一收集、存储和管理。实现对企业各业务应用数据的统一抽取和管理，能够为企业的综合统计、报表、主题分析和数据挖掘等分析决策提供数据支持。
分布式时序数据库
针对实时数据，采用InfluxDB，其是用Java语言编写的一个开源分布式时序、事件和指标数据库，无需外部依赖。也支持类似的数据库有Elasticsearch、Graphite等。
基于时间序列，支持与时间有关的相关函数（如最大，最小，求和等）
可度量性：你可以实时对大量数据进行计算
基于事件：它支持任意的事件数
InfluxDB
无结构（无模式）：可以是任意数量的列；
可拓展的；
支持min, max, sum, count, mean, median 等一系列函数，方便统计；
原生的HTTP支持，内置HTTP API；
强大的类SQL语法。
自带管理界面，方便使用自带管理界面：
分布式：节点对外表现对等（每个节点都可以用来做入口）；加入节点自动均衡
多租户：可根据不同的用途分索引；可以同时操作多个索引
2.4 数据分析算法
1）基于历史的MBR分析（Memory-Based Reasoning；MBR）
基于历史的MBR分析方法最主要的概念是用已知的案例（case）来预测未来案例的一些属性（attribute），通常找寻最相似的案例来做比较。记忆基础推理法中有两个主要的要素，分别为距离函数（distance function）与结合函数（combination function）。距离函数的用意在找出最相似的案例；结合函数则将相似案例的属性结合起来，以供预测之用。记忆基础推理法的优点是它容许各种型态的数据，这些数据不需服从某些假设。另一个优点是其具备学习能力，它能藉由旧案例的学习来获取关于新案例的知识。较令人诟病的是它需要大量的历史数据，有足够 的历史数据方能做良好的预测。此外记忆基础推理法在处理上亦较为费时，不易发现最佳的距离函数与结合函数。其可应用的范围包括欺骗行为的侦测、客户反应预测、医学诊疗、反应的归类等方面。
2）决策树（Decision Trees）
决策树在解决归类与预测上有着极强的能力，它以法则的方式表达，而这些法则以一连串的问题表示出来，经由不断询问问题最终能导出所需的结果。典型的决策 树顶端是一个树根，底部有许多的树叶，它将纪录分解成不同的子集，每个子集中的字段可能都包含一个简单的法则。此外，决策树可能有着不同的外型，例如二元 树、三元树或混和的决策树型态。
3）遗传算法（Genetic Algorithm）
遗传算法学习细胞演化的过程，细胞间可经由不断的选择、复制、交配、突变产生更佳的新细胞。基因算法的运作方式也很类似，它必须预先建立好一个模式，再经 由一连串类似产生新细胞过程的运作，利用适合函数（fitness function）决定所产生的后代是否与这个模式吻合，最后仅有最吻合的结果能够存活，这个程序一直运作直到此函数收敛到最佳解。基因算法在群集 （cluster）问题上有不错的表现，一般可用来辅助记忆基础推理法与类神经网络的应用
4）聚类分析（Cluster Detection）
这个技术涵盖范围相当广泛，包含基因算法、类神经网络、统计学中的群集分析都有这个功能。它的目标为找出数据中以前未知的相似群体，在许许多多的分析中，刚开始都运用到群集侦测技术，以作为研究的开端。
5）链路分析（Link Analysis）
链路分析是以数学中心图形理论（graph theory）为基础，藉由记录之间的关系发展出一个模式，它是以关系为主体，由人与人、物与物或是人与物的关系发展出相当多的应用。例如电信服务业可借链路分析收集到顾客使用电话的时间与频率，进而推断顾客使用偏好为何，提出有利于公司的方案。除了电信业之外，愈来愈多的营销业者亦利用链路分析做有利于企业的研究。
6）OLAP分析（On-Line Analytic Processing；OLAP）
严格说起来，OLAP分析并不算特别的一个数据挖掘技术，但是透过在线分析处理工具，使用者能更清楚的了解数据所隐藏的潜在意涵。如同一些视觉处理技术一般，透过图表或图形等方式显现，对一般人而言，感觉会更友善。这样的工具亦能辅助将数据转变成信息的目标。
7）神经网络（Neural Networks）
神经网络是以重复学习的方法，将一串例子交与学习，使其归纳出足以区分的样式。面对新的例证，神经网络即可根据其过去学习的成果归纳后，推导出新的结果，属于机器学习的一种。数据挖掘的相关问题也可采类神经学习的方式，其学习效果十分正确并可做预测功能。
8）判别分析（Discriminant Analysis）
当所遭遇问题它的因变量为定性（categorical），而自变量（预测变量）为定量（metric）时，通常应用在解决分类的问题上面。若因变量由两个群体所构成，称之为双群体 —判别分析 （Two-Group Discriminant Analysis）；若由多个群体构成，则称之为多元判别分析（Multiple Discriminant Analysis；MDA）。
9）罗吉斯回归分析（Logistic Analysis）
当判别分析中群体不符合正态分布假设时，罗吉斯回归分析是一个很好的替代方法。罗吉斯回归分析并非预测事件（event）是否发生，而是预测该事件的机 率。它将自变量与因变量的关系假定是S行的形状，当自变量很小时，机率值接近为零；当自变量值慢慢增加时，机率值沿着曲线增加，增加到一定程度时，曲线协 率开始减小，故机率值介于0与1之间。
2.5 网络安全系统
（1）网络安全原则与策略
1）安全原则
安全原则体现在五个方面：动态性、唯一性、整体性、专业性和严密性。
1、动态性：不要把安全的静态化，动态性是安全的一个重要的原则。网络、系统和应用会不断出现新的风险和威胁，决定了安全动态性的重要性。
2、唯一性：安全的动态性决定了安全的唯一性，针对每个网络系统安全的解决，都应该是独一无二的。
3、整体性：对于网络系统所遇到的风险和威胁，要从整体来分析和把握，不能那里有问题就补那里，要做到全面的保护和评估。
4、专业性：对于用户的网络、系统和应用，要从专业的角度来分析和把握，不能是一种大概的做法。
5、严密性：整个解决方案，要有一种很强的严密性，不要给人一种虚假的感觉，在设计方案的时候，需要从多方面对方案进行论证。
2）安全技术实施策略
技术实施策略需要从八个方面进行阐述：
1、网络结构安全：通过上一节的风险分析，找出网络结构可能存在的问题，采用相关的安全产品和技术，解决网络拓扑结构的安全风险和威胁。
2、主机安全加固：通过上一节的风险分析，找出主机系统可能存在的问题，采用相关的安全产品和技术，解决主机系统的安全风险和威胁。
3、防病毒：阐述如何实施桌面防病毒、服务器防病毒、邮件防病毒、网关防病毒以及统一的防病毒解决方案。
4、访问控制：三种基本的访问控制技术为路由器过滤访问控制、防火墙访问控制技术和主机自身访问控制技术。
5、传输加密：通过采用相关的加密产品和加密技术，保护卓越信息集团公司的信息传输安全，实现信息传输的机密性、完整性和可用性。
6、身份认证：通过采用相关的身份认证产品和技术，保护重要应用系统的身份认证，实现信息使用的加密性和可用性。
7、入侵检测技术：通过采用相关的入侵检测产品和技术，对网络和重要主机系统进行实时的监控。
8、风险评估：通过采用相关的风险评估工具和技术，对网络和重要的主机系统进行连续的风险和威胁分析。
3）安全管理工具
对安全项目中所用到的安全产品进行集中、统一、安全的管理和培训的产品和技术。
1、紧急响应
制定详细的紧急响应计划，及时的响应用户的网络、系统和应用可能会遭到的破坏。
2、灾难恢复
制定详细的灾难恢复计划，及时的把用户遇到的网络、系统和应用的破坏，恢复到正常状态，并且能够消除产生风险和威胁的根源。
在充分满足合规要求的同时，云安全管理平台致力于为云用户提供立体的、全面的安全防护能力，保护云计算用户在云上资产的访问、使用、数据的安全
（2）远程接入安全
对拥有大量租户的云系统来说，云租户选择将企业内部的业务系统部署在云上，需要为租户在云上的业务提供安全可靠的远程访问，建立企业分支与云之间的具有保密性的网络连接是十分必要的，以提高沟通效率和资源利用效率。此外，云租户的工作人员出差时也需要访问系统内部的一些信息资源，这时同样需要建立保密的网络连接。虚拟专用网（Virtual Private Network，VPN）技术以其灵活、安全、经济、易扩展的特点，满足了这部分需求。
VPN解决方案，可提供的安全解决能力包括IPsec VPN、SSL VPN等远程接入方式。IPSec是业界标准的网络安全协议，可以为IP网络通信提供加密服务，保护 TCP/IP 通信免遭窃听和篡改，从而有效抵御网络攻击。IPSec VPN帮助云上租户解决了分支安全接入云平台的问题。但是它对移动办公用户（出差人员）远程接入的问题无法解决，SSL VPN解决方案正好满足了这部分需求，而且SSL VPN具有细粒度控制、免客户端软件安装等其它特点。
VPN接入网关是整个VPN解决方案的核心部分。它支持多种VPN业务，如L2TP VPN、IPSec VPN、GRE VPN等，它可以针对客户需求通过互联网线路、租用线等方式接入到云网络内部，构建Internet、Intranet、Extranet等多种形式的VPN。SSL VPN解决方案的特点：
接入灵活：采用B/S架构，直接使用“浏览器”完成VPN接入。当员工需要进行远程接入时，其移动终端不需要特别配置，降低了维护成本和使用难度。
细化控制：能够根据用户个人身份和主机安全状态授予其不同的访问权限。在面向合作伙伴时，也可以根据情况，灵活地授予合作伙伴不同的访问权限。
在实际的组网中，租户可以根据云上业务的特点和并发访问数量，采用IPsec、SSL结合灵活多样的组网方式，用最合适的方案满足租户在云上的VPN接入需求。
随着云上的业务越来越多，租户IT应用的不断增加以及来自外部访问的增多，边界安全依旧是最重要的安全问题之一。传统的将网络划分内网办公区、数据中心区、外联数据区、互联网连接区等分区保护的方式已经不再适合云上的安全需求。云内的访问流量包括虚拟网络内部的东西向访问流量和来自外部网络的南北向流量，需要分别为这两种流量提供安全防护手段。
考虑到云上网络流量的变化，我们提出以下一代防火墙、防病毒模块、入侵防御（IPS）模块为支撑的南北向防护方案和以主机防火墙、主机IPS为核心的东西向边界安全解决方案。网络边界安全关注的来自外部的南北向流量中的安全威胁。

（3）防病毒
防火墙内置的防间谍软件功能可以对500余万种间谍软件实现防护，利用双向拦截C&C（命令与控制）通信，避免失陷服务器进一步造成危害。作为漏洞防护有效的补充，除了预防木马后门、病毒蠕虫、僵尸网络之以外，支持自定义签名的方式识别间谍软件的特征。智慧防火墙深度集成漏洞防护、间谍软件防护等应用层安全功能，通过单引擎一次性数据处理对穿越数据中心出口的所有流量进行深度威胁检测。启用智慧防火墙的漏洞可对缓冲区溢出、跨站脚本、拒绝服务等3000余种漏洞利用攻击进行防护。
内置的防间谍软件功能可以对500余万种间谍软件实现防护，利用双向拦截C&C（命令与控制）通信，避免失陷服务器进一步造成危害。作为漏洞防护有效的补充，除了预防木马后门、病毒蠕虫、僵尸网络之以外，支持自定义签名的方式识别间谍软件的特征。
3 系统总体架构设计
3.1 系统架构概述
在技术架构层面，我公司提出以大数据+企业+政务的创新模式，并融合云计算、移动互联、物联网、大数据、人工智能等相关技术而形成开放式的云化操作系统。其整体架构分为采集层（边缘层）、IaaS层、PaaS层、SaaS层共4层的体系架构，如下图所示：

采集层（边缘层）是基础，支持数十种的相关协议数据采集能力，可与企业端设备有机整合，可通过智能网关或工控机实现边缘端的配置、数据、模型与云端的互联互通。
IaaS层是支撑，本平台采用招标人自建的IT基础设施，可与其完美适配。
PaaS层是核心，按照平台架构职责分为三大子平台：
1、PaaS-D大数据平台，是以国产Hadoop（BEH）或Cassandra为底层数据服务环境，整合关系型数据库、时序数据库、文本数据库等多款产品，提供工业大数据存储、管理、计算、分析和服务能力。
2、PaaS-P通用应用开发平台，提供支持传统工业软件快速云化的自研软件如动态模型引擎、流程引擎、动态表单工具、开发平台与IDE插件等，和支持构建新型工业APP的自研工具如微服务治理平台、工业建模工具、数据挖掘工具、二三维组态软件等，同时大量融合了工业领域常用的流程工具、仿真工具和行业知识和机理基础工具。
3、PaaS-B通用业务平台，提供基于工业的常见业务能力服务。包含常见的设备管理、设备监控、设备事件、设备分析、设备组态等组件能力。
SaaS层是关键，围绕政务服务系统、企业服务系统和公众服务系统等应用场景，构建市级智慧能源管理节能云平台。
3.2 系统应用拓扑
按照实用性和易用性原则，针对不同使用者，应用架构涉及政务服务系统、企业服务系统和公众服务系统等三类应用。
运销管理系统包括基础设置、合同管理、煤质管理、运销计划、运销管理、运销报表、运销开票等模块。
本运销系统主要以基础设置、合同管理、煤质管理、运销计划、运销管理、运销报表、运销开票等七个子系统，涵盖了运销业务的全过程和全部信息，本文以其中几个典型模块为例，具体介绍本系统的详细设计及技术实现要点。
基础设置子系统功能结构如图。本部分功能是整个运销系统的基础常用信息部分。根据运销业务的特点，我们对常用的信息进行了编码并进行了相关的设置，在界面上采用统一的输入风格，其中包括买方信息、煤矿信息、产品信息、行业信息等，这样便于使用、修改和维护。整个基础设置部分业务比较简单，在此以买方设置为例介绍基础信息部分的设计。
基础设置子系统包括买方设置、煤炭设置、产品设置、车站设置、行业设置、电力部门、运输类型、铁运归口等模块。
合同管理系统管理各类合同的申请、审批以及合同变更等。
通过合同中心，将合同的所有相关资料归集在一起,建立合同档案，管理合同的附件、协议等。
自动记录合同的变更历史，自动记录合同发票、合同结算细节；自动记录合同入库信息，跟踪供应商合同执行情况。
合同文本可以包括WORD、EXCEL等文档，包括扫描，链接附件。
合同付费申请：完成合同付款申请操作。
合同付费审查：主要功能是完成合同付款的审查操作。
合同查询及报表主要功能特性：
可按合同编号查询合同的整体情况,包括审批、基本情况、执行情况。
可按合同种类、执行情况、签订日期等条件查询。
可打印相关合同台帐、报表。
运销报表是煤炭行业运销管理系统中运销业务过程及结果的直接反映，它能具体反映当日（月）煤炭销售的实际情况，为煤炭销售提供决策支持。正因为如此，根据运销业务的过程、性质的不同，面对不同决策需求,在运销系统中，分为各种各样的报表，完成不同类型、不同格式数据的统计和汇总功能。运销报表功能结构如图，运销报表子系统包括产销运报表、运销日报等。

运销开票是煤炭行业运销管理系统中煤炭销售业务和销售效益的联结纽带，开票单项目包含销售煤炭数量、质量、价格、运输费用以及用户的相关财务信息等。由于其是销售业务的经济反映,涉及财务、税收等方面，因此，对该系统数据要求详实，业务要求严谨。运销开票子系统包括开票单录入、开票单审核、开票单审批、开票单查询、开票单统计等模块。

开票单录入：各办事处的销售人员在煤炭发运到客户方之后，在和客户方对运量和煤质等信息确认之后，根据确认的该批煤炭销售的相关信息填制录入，形成开票结算单，作为结算的原始数据。
开票单审核：由计调科负责对相关人员填写的开票单进行审核，在检查无误之后，交由领导审批。
开票单审批：由运销公司领导根据情况进行审批，审批后交由财务处，依此开具销售发票。
在货款开票单中，编号按照办事处的拼音缩写+当前月份+3位流水号自动生成，例如3月份开具的第四单据号为JN03004。对于开头部分信息从客户档案中自动获取。对于最终的报价能够根据输入的销量和结算价位进行自动计算合计数。其中结算量的计算公式为：
结算量=矿发量+亏盈吨-扣水-未收到
结算价=结算车板价/结算到站价
价税合计=结算量×结算价
合计=价税合计+短运费+运费

煤炭开票系统流程
安全检查是煤炭行业运销管理系统中实现对企业各类安全检查从检查组织、检查内容、问题整改、验收进行全面性流程化管理。由安全检查计划、安全检查通知、安全检查管理、安全检查总结、标准化检查表各子模块完成。模块分类如图所示。
①安全检查计划：为提高检查质量，公司、分公司、车间在安全检查前先在系统上制定检查计划,检查计划主要包括检查提醒时间、检查主题、检查时间、被检查单位、检查负责人、检查组织部门、参加检查人员、主要检查内容，同时可上传有关具体检查要求等文件，检查计划制定后，系统将自动提醒被检查单位、检查负责人和参加检查人员做好检查准备。系统以检查主题、发布人、检查组织单位、所属单位、检查时间为检查记录内容形成所有检查计划的主页面,以方便公司、分公司对各项安全检查进行管理。
②安全检查管理：利用该子模块实现对安全检查问题的闭环管理。首先，检查后，检查人员将检查问题录入系统，录入内容包括安全检查主题（从检查计划相关检查主题选择录入）、整改单位、检查组织单位及负责人、检查问题、问题地点、整改期限，然后通过“下一步”操作，将检查问题信息下发责任单位，同时提醒责任单位安全管理部门。第二步，由责任单位安全管理部门针对检查问题制定和填写整改措施、明确整改负责人、设备主题车间验收负责人和分公司验收负责人，然后通过“下一步”操作，将检查问题和相关责任下发到整改负责人、各验收负责人，同时提醒相关负责任人。第三步，整改负责人将检查问题整改后，由设备主题车间安全管理人员进行整改验收,验收合格并签字后，再有分公司安全管理部门相关人员验收签字，形成安全检查问题的闭环管理。为了强化对检查问题限期治理的严肃性，系统按照整改期限对检查问题主页面上所有检查问题分四种颜色显示，离整改期限较长时（一般设置2-3天）记录显示正常色,离整改期限较短时（一般少于2-3天）记录显示黄色，以提醒相关责任单位、责任人需尽快采取措施进行整改，超过整改期限时仍未完成整改、验收的，检查问题记录将显示红色报警，在整改期限以前完成整改和验收的，相关记录显示绿色。通过安全检查问题记录的颜色变化，即能起到督促整改的作用，也有利于安全监督部门的安全考核管理。同时通过安全检查管理子模块，也建立了历次安全检查问题与整改的详细档案，有利于安全管理分析，进一步采取加强安全管理的措施。
③安全检查总结：每次安全检查以及整改后，根据检查问题的质量和整改效果，由检查人员在系统安全检查总结格式上填写安全检查总结，主要包括检查的组织、检查问题主要内容、责任单位组织整改情况、整改措施制定和整改效果情况、下一步需采取的措施。所有安全检查总结以记录的形式显示于安全检查总结子模块主页面，供大家研究和改进。
④安全检查表：为提高每次安全检查质量,在检查前制定和公布标准安全检查表，每项安全检查表以检查主题、公布单位、发布人为主要查询信息显示于安全检查表子模块主页面，以便于大家学习和应用。
由分公司或公司填写安全检查问题，若是公司填写则首先把流程推到分公司整改，分公司有权限可再推到分公司所属的车间整改，车间整改完后返回给分公司验收，后判断此问题时候需要公司验收，如是则由公司验收，否则直接结束；若开始的检查问题是分公司填写，则首先有车间整改,整改后公司验收，后在判断时候上报公司，最后结束即可。
3.3 平台技术架构
第一层是边缘，通过大范围、深层次的数据采集，以及异构数据的协议转换与边缘处理，构建工业互联网平台的数据基础。一是通过各类通信手段接入不同设备、系统和产品，采集海量数据；二是依托协议转换技术实现多源异构数据的归一化和边缘集成；三是利用边缘计算设备实现底层数据的汇聚处理，并实现数据向云端平台的集成。
第二层是平台，基于通用PaaS叠加大数据处理、工业数据分析、工业微服务等创新功能，构建可扩展的开放式云操作系统。一是提供工业数据管理能力，将数据科学与工业机理结合，帮助制造企业构建工业数据分析能力，实现数据价值挖掘；二是把技术、知识、经验等资源固化为可移植、可复用的工业微服务件库，供开发者调用；三是构建应用开发环境，借助微服务组件和工业应用开发工具，帮助用户快速构建定制化的工业APP。
第三层是应用，形成满足不同行业、不同场景的工业SaaS和工业APP，形成工业互联网平台的终价值。一是提供了设计、生产、管理、服务等一系列创新性业务应用。二是构建了良好的工业APP创新环境，使开发者基于平台数据及微服务功能实现应用创新。
首先，边缘层是基础。在平台的边缘层，对海量设备进行连接和管理，并利用协议转换实现海量工业数据的互联互通和互操作；同时，通过运用边缘计算技术，实现错误数据剔除、数据缓存等预处理以及边缘实时分析，降低网络传输负载和云端计算压力。
其次，平台层是核心。在通用PaaS架构上进行二次开发，实现工业PaaS层的构建，为工业用户提供海量工业数据的管理和分析服务，并能够积累沉淀不同行业、不同领域内技术、知识、经验等资源，实现封装、固化和复用，在开放的开发环境中以工业微服务的形式提供给开发者，用于快速构建定制化工业APP，打造完整、开放的工业操作系统。
最后，应用层是关键。通过自主研发或者是引入第三方开发者的方式，平台以云化软件或工业APP形式为用户提供设计、生产、管理、服务等一系列创新性应用服务，实现价值的挖掘和提升。
3.4 系统数据流向架构
（1）数据架构
工业互联网数据架构主要由采集交换层、集成处理层、建模分析层和决策控制层构成，其目标是全方位采集工业各个环节的数据，将这些数据汇聚融合后进行深度分析，来支持工业生产、组织、服务各个环节的决策和控制，形成反馈闭环。
1、采集交换层
完成数据从企业内部系统和外部数据源获取数据，并实现不同系统之间数据的交换的功能。将工业互联网中各组件、各层数据汇聚在一起，要实现数据从底层向上层的汇聚，以及在不同系统间传递，需要完善的数据采集交换技术支持。工业互联网系统一般采取消息中间件技术实现。
2、集成处理层
将物理系统实体的抽象和虚拟化，将清洗转换后的数据与虚拟制造中的产品、设备、产线等实体相互关联起来。涉及数据的清洗转换加载技术、数据存储管理技术、数据查询与计算技术，以及响应的数据安全管理和数据质量管理等技术支撑。
3、建模分析层
在虚拟化的实体之上构建仿真测试、流程分析、运营分析等分析模型，用于在原始数据中提取特定的模式和知识，为各类决策的产生提供支持。工业互联网数据分析建模技术，从大的方面可以分为基于知识驱动的方法和基于数据驱动的方法。其中，知识驱动的分析方法建立在工业系统的物理化学原理，工艺及管理经验等知识之上；数据驱动的分析方法完全在数据空间中通过算法寻找规律和知识。
4、决策控制层
基于数据分析结果，生成描述、诊断、预测、决策、控制等不同应用，形成优化决策建议或产生直接控制指令。
工业互联网数据应用可以分为5大类：
1）描述类
主要利用报表、可视化等技术，汇总展现工业互联网各个子系统的状态，使得操作管理人员可以在一个仪表盘上总览全局状态。此类应用一般不给出明确的决策建议，完全依靠人来做决定。
2）诊断类
主要利用规则引擎、归因分析等，对工业系统中的故障给出告警并提示故障可能的原因，辅助人工决策。
3）预测类
主要利用逻辑回归、决策树等，预测未来系统状态并给出建议。
4）决策类
主要是利用随机森林，决策树等方法，提出经营管理方面的决策建议。
5）控制类
根据高度确定的规则，直接通过数据分析产生的行动指令，控制生产系统采取行动。
（2）数据流向
企业端设备的数据采集：各单位通过端设备上各类能耗数据、设备运行数据，数据采集服务器实时采集，大数据平台采集各方数据后，进行数据标准化、加工、整合，形成数据资源库，供政务服务平台、企业服务平台、公众服务平台使用。
大数据平台可将优化分析结果、报警结果、相关统计数据按权限、需求推送至相应的用户，为精细化管理，提供强有力的支撑，并指导其安全生产。
 

3.5 系统安全架构
平台安全架构主要包含安全域划分、系统自身安全、专用安全防护系统和信息安全管理四个层次的安全方案。针对综合展示平台的安全分析，基于上述设计原则，总体架构如下。
基于大数据背景下安全保护技术，指的是利用互联网技术优化大数据背景下信息收集、存储以及处理等安全问题。对于大数据背景下的安全技术自身来讲，网络安全技术的具体体现有如下三点。
1）安全防护技术。安全防护技术是网络安全技术中的核心组成部分，是符合信息传输需求的技术。在大数据背景下网络安全防护技术是确保信息安全的主要技术之一，安全防护技术包含的种类比较多，其中比较典型的有防火墙技术、病毒防护技术、入侵检测技术等。
2）加密技术。当前，企业与个人互联网用户在不断增加的同时，用户对自身信息的安全程度也随之加大。在大数据背景下若想保证用户信息安全需合理应用加密技术。如今，加密技术层面的研究主要以信息隐藏技术与密码体制为主。能够说，对于在大数据背景下安全保护技术而言加密技术的应用具有不可或缺的作用。
3）建设网络安全结构。网络安全结构是否科学，与大数据背景下信息安全保护水平有莫大关联。对各类信息安全风险制定相应的优化措施固然重要，但若是没有科学有效的管理机制作为支撑的话，信息安全风险相应措施很难发挥出其实际效用。构建网络安全结构的实际目标为对网络安全风险进行分析，并针对风险的具体影响制定相应的优化措施。
通过大数据平台建设，结合边缘计算和数据仓库技术，对海量数据进行采集、计算、存储、加工、服务，统一数据标准和统计口径，从而打造具有能源行业特色的“数据中台”。通过“数据中台”建设，实现“数据标准化”、“内核技术工具化”和“元数据驱动智能化”，建立统一数据体系和统一数据服务体系，形成标准数据，再进行存储，形成大数据资产库，进而为政府能源管理、企业能源管理提供更高效、更准确的数据支撑和工具支撑。
数据中台的建设，将结合企业的实际业务需求，按照统筹规划、突出重点、分级建设、逐步完善的建设策略，从数据层面对各层面的信息资源（设备传感器数据、业务数据、经营数据、生产数据、视频图像数据、文件档案信息等）进行整合、治理、充分发挥和挖掘信息资源的潜在价值，提供面向生产保障、资产管理、运营分析等多维度分析和实时运行态势展示。建立统一数据体系和统一的服务体系，实现数据共建、共享、共用，打造从“连接”到“平台”再到“应用”的立体式全方位服务。
4 系统支撑系统设计
4.1 应用支撑系统标准规范
由于数据来源分布较多，故需要建立一套标准体系，包括平台内部数据类标准，服务类标准和管理类标准，重点是数据标准。
数据标准是为了使政府与企业之间使用和交换的数据一致及准确，经协商一致制定并经批准，共同使用和重复使用的一种规范性文件。
数据标准是由一套管理规范、管控流程、技术工具共同组成的体系，通过体系逐步实现企业信息的标准化。
数据标准是在数据层面上对重要业务主体的统一规范，也是业务规范在数据层面上的实现，数据标准实施依赖于业务部门之间的共识，以及业务与技术之间的配合。
数据标准的建设，要充分考虑对数据整体的设计，防止出现数据的一致性和可用性的矛盾冲突。如数据需求缺乏规范，造成数据对象多份存储，存储结构各异，严重影响数据共享；数据标准依据各异，造成统计口径无法匹配；业务口径不统一，造成沟通困难，发生歧义。建设时要统筹规划，避免问题的发生。
数据标准的建设，将在业务、技术和管理方面为企业提供支撑。
业务方面，一方面可以提升业务的规范性，通过标准可以明确很多数据业务含义，使得不同业务部门之间，以及业务与技术之间沟通更加顺畅，避免歧义；另一方面可以提升数据对业务分析的支撑度，如通过数据标准，可以明确的把某个数据主题信息分为多类，例如基本信息、联系信息、财务信息等，为多维度分析和深度挖掘提供依据。更为重要的是：通过数据标准，实现数据信息的统一一致，使得数据很容易在各业务部门之间流转。
技术方面，首先相同结构的数据，更容易实现共享和交换；其次，相同的数据标准，减少大量的转换清洗工作，极大提升数据处理效率。
管理方面，数据标准更多的是能提供完整、及时、准确、高质量的数据，为决策支持、精细化管理，特别是大数据应用相同建设提供支撑。
（1）基础设施即服务标准建设
云计算平台总体功能框架分为基础设施、分布式操作系统、云服务、安全管理和运维管理五个部分。
1）基础设施主要包括计算存储设备、网络设备和安全设备等硬件设备。
2）分布式操作系统主要包括资源管理、分布式存储系统、任务调度、虚拟化和服务管理五个方面。
3）云服务主要包括负载均衡、虚拟主机、对象存储服务、分布式数据库与大数据计算服务五个方面。
4）安全功能主要包括网络安全、主机安全、分布式操作系统安全、数据安全、云服务安全和安全管理六个方面。
5）运维管理主要包括自动化运维、集群监控、运维管理与自助服务四个方面。
应用系统是云计算平台所支撑的上层应用，构建在云服务之上。通过云服务的组合，云计算平台为联机事务处理类应用、联机分析处理类应用、搜索类应用、大数据分析类应用与内容管理类应用提供服务支撑。
（2）数据即服务标准建设
1）数据标准管理规范
实现对数据元、同义词的规范管理，对业务系统进行对标，同时建立数据质量检查规则，实现数据的标准化清洗和转换。
2）数据元管理规范
对数据元进行规范化管理，包括数据元增加、数据元修改等。对数据元的管理，实现数据元的全覆盖，一是对已建系统，逐个数据表进行数据元关联，对有对应数据元的进行关联，无对应数据元的新增同义词或新增数据元；对于新建系统，在标准结构设计中开展数据元引用，已有数据元可引用的直接关联，没有对应数据元的新增同义词或新增数据元。
3）数据采集管理规范
能源云大数据资源目录面向各个能源板块提供数据采集录入规范，通过综合考虑已发布规范的基础上，制定了覆盖全行业的数据采集标准，实现数据的全面采集，同时避免重复采集的问题。
4）数据服务管理规范
本规范是各部门、各板块在数据申请、使用、回收全生命周期过程中必须遵守的行为准则。
数据申请规范包括数据申请、审批、发放、回收。流程支持基于WEB的可视化自定义，需要经过申请、审核、自动交付等几个环节，并与运维配置管理库、运维流程、用户部门等模块集成，形成相应的审批记录。
5）数据质量管理规范
基于元数据的数据质量管理流程，主要包含两个方面：元数据自身的数据质量管理以及基于数据质量管理系统之上的经营分析系统管理流程。
6）管理机制
元数据管理的引入为数据质量提供了系统的保证，但由于需求不断变化，而元数据涉及一些手工整理的业务和技术元数据，数据质量的提高必将是一个长期、持续的过程，因此，有必要成立一个有效的组织机构保障数据管理工作的顺利进行。
组织机构职责
相关外部组织
质量控制流程
需求变更控制流程
数据质量问题处理流程
元数据变更维护流程
错误数据维护流程
（2）平台即服务标准建设
1）基础平台功能管理规范
PaaS平台数据库为PaaS管理系统，内部各服务组件以及外部应用提供数据资源的存储和管理功能。
2）数据库即服务功能
数据库即服务（DBaaS）提供一个统一的数据库访问服务，它屏蔽了底层的异构数据库特性，为上层应用提供了简单方便的数据库访问接口，将应用和数据库隔离开来，降低了耦合性，增强了系统的灵活性和健壮性。包括：数据访问接口、数据路由、数据库连接池服务、数据库信息管理、数据管理、数据库归档管理、对象-数据表映射管理、监控告警。
3）中间件即服务功能
中间件即服务提供一个统一的应用服务器能力使用层。它可以连接提供各种服务能力的多种中间件服务器，并为这些异构中间件的使用提供统一的接入能力。
中间件即服务还需要提供对基础设施的接入能力，从而使中间件上的各种服务能有效的按照应用的需求使用基础设施的资源管控能力来调度底层的IT资源。同时，中间件即服务还需要提供与后端的数据库相整合的能力，提供对数据库即服务能力的有效使用，从而形成应用、中间件平台与数据库之间的解耦，进一步增强整个系统的灵活性、健壮性和可扩展性。
中间件即服务作为应用和独立的应用服务器系统、数据库、以及基础设施之间的统一媒介，应该具备以下功能：
提供支持Web应用、Web/REST服务和OSGI组件的应用服务器系统
提供集成服务器
提供客户端辅助开发工具
PaaS平台运行环境部署功能
提供PaaS平台根据应用需要自动伸缩的能力
提供PaaS平台集成各种服务的能力
提供多租户管理服务
提供对数据库的连接能力
提供统一数据交换模型
4）技术服务功能规范
技术服务基于PaaS平台的数据库和中间件，根据PaaS平台的通用技术要求选择特定产品并做必要的封装，使其适用于为PaaS平台业务服务和前端应用提供与业务无关的服务，如日志服务，缓存服务等。
5）业务服务功能规范
将可标准化、可共享的业务逻辑剥离出来，按照统一的规范和标准经过抽象封装形成的标准服务。所有业务服务都将注册到服务总线，并通过服务总线统一发布服务。应用模块对服务的需求通过服务总线调度，获取特定的实例。
6）软件即服务标准建设
开发者开发的应用能否在在商店上线并且健康运行，不仅需要成熟可靠的技术支撑，还需要应用开发过程的规范的保障，所以需要建立以下规范：服务资源申请、服务资源审核、组建应用规范、应用上线规范、应用发布规范、
服务的实施不仅需要成熟可靠的技术支撑，业务过程的规范管控也是服务实施的必要保障，需建立以下过程规范：建立应用系统边界设计规范、建立服务发布规范。
4.2 基于微服务架构的应用支撑平台
微服务是将单一应用划分为一组小的服务，服务之间互相协调、配合，为用户提供最终价值的架构体系。而每个服务运行在独立的进程中，服务之间采用轻量级通信（通常是基于HTTP协议的Rest API），并且每个服务都承载着独立的业务单元责任，能够被独立的部署和发布。
1）微服务治理管理
随着大数据和云平台的发展，企业和服务提供商正在寻找更好的方法将应用程序部署在云环境中，微服务是解决方案中的重要环节。通过提供一整套微服务治理框架，可以实现对现有业务系统在业务领域的有效拆分，更好的聚焦业务需求，更快的响应业务的变化。同时提高系统的稳定性与容错能力，为用户提供更好的交互体验。
微服务治理框架提供了一系列框架集合，利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发，如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等，都可以用Spring Boot的开发风格做到一键启动和部署。功能包括：
2）服务注册与发现
服务注册与发现组件是一种进程内负载均衡的分布式方案，负载均衡和服务发现能力被分散到每一个服务消费者的进程内部，同时服务消费方和服务提供方之间是直接调用，没有额外开销，性能比较好。
3）服务调用
通过注册中心调用服务spring cloud提供了Ribbon和Feign的集成。
Ribbon主要功能是提供客户端的软件负载均衡算法，将Netflix的中间层服务连接在一起。
Feign是一种声明式、模板化的HTTP客户端。Spring Cloud为Feign添加了Spring MVC的注解支持，并整合了Ribbon和Eureka来为使用Feign时提供负载均衡。
4）断路器与监控
断路器是服务容错的解决方案，凡是需要容错的依赖点（服务，缓存，数据库访问等）开发人员只需要将调用封装在Hystrix Command里头，则相关调用就自动置于Hystrix的弹性容错保护之下。
5）在线API
自动生成在线API用于生成、描述、调用和可视化RESTful风格的Web服务。
6）微服务开发管理
结合本项目需求和数据安全原则，规范微服务开发的业务流程，API门户提供开放、阻塞、废弃、销毁等全生命周期管理功能；API网关提供整套安全防护手段，包括安全认证、流量控制、防恶意攻击、API调用质量分析等功能，控制API的测试与使用；API验证服务为框架提供API用户登录管理和密钥管理支持；API监控通过API网关提供订阅、统计功能。
 

4.3 微服务测试
开发团队采用的任何测试策略，都应当力求为服务内部每个模块的完整性，以及每个模块之间、各个服务之间的交互，提供全面的测试覆盖率，同时还要保持测试的轻便快捷。
自动化：测试任务的增加，要求测试人员必须把主要的精力用于将测试自动化，摆脱手动测试带来的沉重负担。当然，自动化测试必须足够稳定、稳健，不能动辄误报，否则反而会导致很高的维护成本。
层次化：这意味着采用分层次的测试方法，粒度由细到粗，范围由小到大。下面这幅度说明了几个主要层次之间的关系：最底层的是单元测试（Unit Test），粒度最细，速度最快，维护成本也最低。往上是针对每种服务内部的各种模块、业务流程的测试。最上面是基于前端UI的测试，这部分的粒度最粗，范围最大（因为会覆盖大多数服务），但是维护成本最高，因为稍微有些细微的变化就可能需要调整脚本。而且，由于基于前端，需要设置很多响应时间和等待时间，所以速度越最慢。
可视化：为了降低交流成本，最好的办法就是让所有的测试结果可视化。这意味着将构建（Build）、测试（Test）、部署（Deploy）所有这些相关任务构建在一个流水线之中，让所有团队成员都可以随时监控项目进度，找到阻碍项目的瓶颈。
4.4 微服务监控
微服务架构下，大部分功能模块都是单独部署、独立运行的，彼此通过接口交互，都是无状态的服务，业务流会涉及多个服务，复杂度会高很多。
服务概览信息：如服务名称、服务部署所在机房、主机、服务包含的API、服务相关配置信息、服务负责人、开发人员、运维人员信息等。
服务性能指标：如响应实现、流量、成功、失败数、请求频率等。
服务拓扑关系：服务之间的调用关系。
服务调用链：服务的整个调用链监控。
服务版本信息：服务版本，客户端版本等。
服务治理状态：服务注册情况、服务状态、熔断等。
组件内部状态：活跃线程数、处理请求数等。
1）性能分析
微服务应用在API发布平台中的性能分析规范
从响应时间，流量，失败数，异常日志数等维度进行指标评价。
2）健康检查
微服务应用在API发布平台中的健康性检查规范
对API的调用，请求，处理等是否按预定的流程运行进行检查。
3）订阅统计
微服务应用在API商店中订阅数量、排名等参数分析
从订阅量排名，使用量以及活跃度等维度进行数据进行分析。
4）访问统计
微服务应用在API商店中调用质量、调用频次、响应时间等的统计分析
为监控API服务的调用情况，建设了API管理的监控分析系统。API服务每次的调用情况都会在API网关有日志记录，监控分析系统通过各维度统计，分析不同指标，得出统计结果，比如API服务调用质量、调用频次、响应时间、调用报文等图表报告。
调用质量：调用成功失败次数
调用频次：时间范围内调用次数统计
响应时间，API接口请求相应平均时间
5 系统集成方案
5.1 系统网络拓扑
对一体化信息管理系统的网络、硬件进行统一规划设计，统一部署，避免信息孤岛。搭建云平台，采用虚拟化技术，按照招标人的要求，根据系统的软件，进行资源的分配，提高系统的可靠性、安全性及稳定性。
该网络设计的特点：
1、实现一体化信息管理系统网络的冗余，保证一体化信息管理系统网络的可靠性、数据信息完整性。
2、采用高速通信网络：保证大量生产实时信息高速无瓶颈的传输和交换，为企业内部数据中心的存储访问、外网数据的访问，以及内外网数据/图像等通信应用提供可靠、安全和高性能的传输平台。
3、确保现场控制系统的安全性和一体化信息系统本身的安全性：采取安全网通、防病毒软件、网关机、防火墙等安全防护措施，隔离一体化信息系统与控制系统网络。
建成后的一体化信息管理系统网络系统需要满足如下需求：
1、网络系统满足企业职员日常工作需求，保证企业各应用管理系统正常高效率运行；
2、网络提供数据、语音、视频多媒体的传输能力,在技术上要采用最先进、成熟的网络技术来满足目前的网上应用需求,并考虑未来的发展；
3、网络主干设备应选用高带宽的、先进的万兆位线速路由交换技术，能够承载和交换各种信息；
4、网络系统选用的硬件设备和软件系统应当具有良好的性能价格比，网络系统的日常管理和维护简单方便，经济实用，网络拓扑结构和技术符合多媒体应用对主干网络的要求；
5、网络系统具有良好的可管理性,网管系统具有监测、故障诊断、故障隔离、过滤设置、灵活实现用户级别的设置等功能；
6、网络QOS控制，确保企业关键应用的优先级；
5.2 云计算虚拟网络集成方案
通过分析云计算对传统网络基础架构带来的挑战，我们可以从两个方面来应对。一是通过构建高性能、高可靠的网络，从而满足云计算给网络带来的压力；二是通过构建虚拟化网络来满足云计算中由于虚拟机部署、迁移 、以及安全策略实施对网络提出的灵活性、安全性的要求。
总的来说，为满足云计算的业务要求，数据中心网络设计的四大要点包括：高性能交换、扁平化设计、虚拟化应用、透明化交换。通过合理的网络设计最终实现云计算网络“纵向通道虚化、横向资源整合”的目标。
云资源池网络架构的示意图如下：

5.3 云计算基础服务层
云基础服务（IaaS）：在充分利用既有投资的基础上，利用云计算池化技术，建设计算池、存储池、网络池、容灾池，根据应用情况随需拓展，实现动态拓展、按需分配，资源共享。
本系统采用国际领先的成熟大数据云计算技术；建立在私有云基础上的大数据平台，支持VMware vSphere等主流云操作系统，构建稳定的基础设施和服务平台，平台规模可实现弹性伸缩，处理运算能力随平台规模线形增长，以应对业务和技术的飞速增长。
（1）云平台技术特点
1）云平台核心技术具有国内自主知识产权，并具备保障系统运行的数据库、操作系统等完整方案。针对数据分析、共享交换等应用，提供更高标准的安全防护措施。
2）云平台充分兼容市面上常见的云计算接口，采用业界主流虚拟化技术；虚拟服务器的操作系统，支持主流操作系统；虚拟服务器支持主流中间件和数据库等软件产品。
3）云平台设备采用成熟运用于国内云计算、大数据项目建设的国内知名品牌产品。
（2）计算资源虚拟化架构设计

服务器资源池化技术很好地解决了传统服务器系统建设的问题，通过提高物理服务器利用率大幅度削减物理服务器购置需求、数量和运营成本；通过利用服务器资源池化中CPU、内存、IO资源的动态调整能力实现对业务应用资源需求的动态响应，提升业务应用的服务质量；通过在线虚拟机迁移实现更高的可用性和可靠性以及各种基于分析应用的跨物理服务器的调度等等。因此，服务器资源池化技术是新一代数据中心最理想的解决方案。
服务器虚拟化架构设计是服务器虚拟化技术运用的核心。服务器虚拟化架构设计直接决定了整个服务器资源体系对应用系统的承载能力、运行效率以及可靠性，必须根据行之有效的设计方法从多个方面和维度进行综合考虑而得出。
6 机房和信息展示终端
如果我公司能有幸中标，根据市能源局的实际需求，依照机房建设标准建设模块化标准机房，满足大数据平台建设需求。我公司依据实际情况配置展示显示终端，建设高质量LCD大屏、信息调度台、打印机和办公桌椅等设备。
对机房防雷接地系统进行规范设计，保障终端设备的运行安全。