中心机房应急预案
一、系统故障应急流程
1.1 系统故障应急流程说明
一、故障发生
值班人员可从以下途径得知故障的发生： 1）值班人员通过报警系统告警发现故障 2）值班人员通过远程数据监测发现故障 3）值班人员通过维护巡检发现故障 4）系统用户发现故障，报给呼叫值班人员
二、报障受理
值班人员发现系统故障发生后，立即响应，根据级别进行应急处理，并向相关领导报告系统故障情况。
三、信息研判
值班人员根据了解到的系统故障情况进行分析判断，以确定采用一般故障处理流程还是立即启动系统突发故障应急处理预案。
四、预案启动
如需启动应急预案，则立刻通知相关领导小组，由相关领导小组启动应急预案，对系统突发故障应急事件进行全面管控处理。
五、资源确认
系统突发故障应急预案启动后，首先是根据现场突发故障实际状况、紧急程度、技术难度、备品备件等情况对相关资源（主要是参与人员）依据经验进行调度和确认，主要有以下资源：
本单位相关技术支持人员 授权第三方公司技术支持人员； 故障设备相关厂家技术支持人员； 聘请的技术专家
六、预案执行
按照既定的预案进行突发事件处理和故障抢修，如遇到问题及时向相关领导小组汇报。
七、预案终止
预案的终止时间由故障现场技术人员根据现场的实际进展情况，在与用户单位有关部门协调后相关领导小组决定。
八、结果上报
预案中止后，相关预案参与人员将整个事件过程中所有收发信息、领导批示、事故调查报告、现场录像、图片等材料及时整理归档，并总结事件处理过程中的经验和教训，修改、完善事件应急预案。然后集中上报至相关领导小组。
1.2 系统故障应急处理流程图
机房应急预案
3.1 机房漏水应急预案
（1）发生机房漏水时，第一目击者应立即检测漏水影响范围，并及时报告相关领导小组。
（2）若空调系统出现渗漏水，值班人员应立即安排停用故障空调，清除机房积水，并及时联系设备供应方处理，同时启动备用空调，必要情况下可其它方式（通风、冰块降温等）对服务器进行降温。
（3）若为墙体或窗户渗漏水，值班人员应立即采取有效措施确保机房安全，同时安排通知房屋产权方 ，及时清除积水，维修墙体或窗户，消除 渗漏水隐患。
3.2 设备发生被盗或人为损害事件应急预案
（1）发生设备被盗或人为损害设备情况时，使用者或管理者应立即报告相关领导小组，同时保护好现场。
（2）相关领导小组接报后，通知用户保卫部门、相关领导，一同核实审定现场情况，清点被盗物资或盘查人为损害情况，做好必要的影像记录和文字记录。
（3）值班人员应当积极配合公安部门进行调查， 并将有关情况向相关领导小组汇报。 （4）相关领导小组安排相关技术人员及时恢复系统正常运行，并对事件进行调查。值班人员应在调查结束后三日内书面报告相关领导小组。
3.3 机房长时间停电应急预案
（1）接到长时间停电通知后，值班人员应及时通过办公系统、电话等发布相关信息，部署应对具体措施，要求相关保障人员在停电前及时就位，检查业务系统、保存数据。
（2）停电时间过长的，应准备充足燃油，并准备租用电力公司发电车协助，保证系统正常运转。 3.4 通信网络故障应急预案
（1）发生通信线路中断、路由故障、流量异常、业务系统故障后，操作员应及时通知本单位相关系统管理员，经初步判断后及时上报值班人员和相关领导小组。
（2） 值班人员接报告后，应及时查清通信网络故障位置，隔离故障区域，并将事态及时报告相关领导小组，通知相关通信网络运营商查清原因；同时及时组织相关技术人员检测故障区域，逐步恢复故障区与服务器的网络联接，恢复通信网络，保证正常运转。
（3） 事态或后果严重的，应及时向相关领导汇报。
（4）应急处置结束后，值班人员应将故障分析报告，在调查结束后三日内书面报告相关领导小组。
3.5 不良信息和网络病毒事件应急预案
（1）发现不良信息或网络病毒时，信息系统管理员应立即断开网线，终止不良信息或网络病毒传播，并报告相关系统维护人员和相关领导小组。
（2）值班人员应根据相关领导小组指令，采取隔离网络等措施，及时杀毒或清除不良信息，并追查不良信息来源。
（3）事态或后果严重的，应向总公司相关领导汇报。
（4）处置结束后 ,值班人员应将事发经过、造成影响、处置结果在调查工作结束后三日内书面报告相关领导小组。
3.6 服务器软件系统故障应急预案
（1）发生服务器软件系统故障后，值班人员应立即组织启动备份服务器系统，由备份服务器接管业务应用，并及时报告相关领导小组；同时安排相关责任人将故障服务器脱离网络，保存系统状态不变，取出系统镜像备份磁盘，保持原始数据。
（2）值班人员应根据相关领导小组的指令，在确认安全的情况下，重新启动故障服务器系统；重启系统成功，则检查数据丢失情况，利用备份数据恢复；若重启失败，立即联系相关厂商和上级单位，请求技术支援，作好技术处理。 （3）事态或后果严重的，总公司相关领导汇报。
（4）处置结束后,值班人员应将事发经过、处置结果等在调查工作结束后三日内报告相关领导小组。
3.7 黑客攻击事件应急预案
（1）当发现网络被非法入侵、业务内容被篡改，应用服务器上的数据被非法拷贝、修改、删除，或通过入侵检测系统发现有黑客正在进行攻击时，使用者或管理者应断开网络，并立即报告相关领导小组。
（2）接报告后，相关领导小组应立即指令相关技术人员核实情况，关闭服务器或系统，修改防火墙和路由器的过滤规则，封锁或删除被攻破的登陆帐号，阻断可疑用户进入网络的通道。
（3）值班人员应及时清理系统，恢复数据、程序，恢复系统和网络正常；情况严重的，应向总公司相关领导汇报，并请求支援。
（4）处置结束后 ,值班人员应将事发经过、处置结果等在调查工作结束后三日内报告相关领导小组。
3.8 核心设备硬件故障应急预案
（1）发生核心设备硬件故障后，值班人员应及时报告相关领导小组，并组织查找、确定故障设备及故障原因，进行先期处置。
（2）若故障设备在短时间内无法修复值班人员应启动备份设备，保持系统正常运行；将故障设备脱离网络，进行故障排除工作。
（3）值班人员故障排除后，在网络空闲时期，替换备用设备；若故障仍然存在，立即联系相关厂商，认真填写设备故障报告单备查。
（4）事态或后果严重的，应向总公司相关领导汇报。
3.9 业务数据损坏应急预案
（1） 发生业务数据损坏时，值班人员应及时报告相关领导小组，检查、备份业务系统当前数据。 （2）值班人员负责调用备份服务器备份数据，若备份数据损坏，则调用磁带机中历史备份数据，若磁带机数据仍不可用，则调用异地备份数据。
（3）业务数据损坏事件超过 X小时后，维护小组应及时报告相关领导，及时通知业务部门以其它方式开展业务。
（4）值班人员应待业务数据系统恢复后，检查历史数据和当前数据的差别，由相关系统业务员补录数据；重新备份数据，并写出故障分析报告，在调查工作结束后三日内报告相关领导。
3.10 雷击事故应急预案
（1） 遇雷暴天气或接上级部门雷暴气象预警，值班人员应及时报告相关领导，经请示同意后关闭部分服务器，切断电源，暂停内部计算机部分网络工作。
（2） 雷暴天气结束后，值班人员报经相关领导小组同意，及时开通服务器，恢复停用的计算机网络工作，对设备和数据进行检查。
（3） 因雷击造成损失的，值班人员应会同相关部门进行核实、报损，并在调查工作结束后三日内书面报告相关领导小组。必要时，应向总公司相关领导汇报。
四、机房动力系统应急处理方案
在机房动力发生异常情况时，动力系统通常可自动切换由备用电池提供机房设备的动力，在发生重大事故或自然灾害而无法短时间内正常恢复机房动力的情况下，启动机房动力系统应急处理流程，采用应急油机发电，确保用户单位网点通信网络能够安全、高效和可靠地运行。具体流程见下图： 监控到机房动力异常告警 通知维护站赴现场，监视动力系统电压下降情况 停电时间超过备用电池的合适支撑时间？ 否 是 通知相关部门协助排查动力系统故障 超过蓄电池允许放电电压，立即启动油机发电 动力恢复 关闭油机供电开关 关闭电源柜油机开关 关闭/拆除油机 市电供电/蓄电池充电正常 消障
当发生长时间停电的动力系统故障时，抢修人员在机房现场实时测试记录备用电池的放电情况，电池放电容量超过40%时，如果动力系统还没有恢复正常供电，就用油机发电为机房提供动力。
动力系统恢复后立即对电池进行均充。一天内发生多次停电，放电容量在50%以下，均充转浮充后，浮充时间不少于24小时。一次停电放电容量在50%~80%时，均充转浮充后，浮充时间不少于48小时。
