重大活动保障应急处理案例
一、重大活动保障情况概述
12月份天河区举行了一系列的重大活动，如12月8日的天河体育中心滚石30周年演唱会，12月15日的花城广场国际灯光节开幕式和12月25日开始的省公司年会等，针对这些重大活动，1区团队都进行了活动保障，制定了一系列的保障措施，但是由于活动规模超出预期，现场还是出现了呼叫困难、无法上网等状况。
如天河体育中心滚石30周年演唱会由于上网用户过多，导致周边站点RSSI值飙升，拥塞严重，用户上网和呼叫困难，严重影响用户感知。
国际灯光节由于上网用户过多，且1X传输配置不足，导致周边站点RSSI值飙升，传输拥塞严重，用户上网和呼叫困难，严重影响用户感知。
省公司年会保障期间各项KPI指标正常，但是由于上网用户过多，导致用户上网速度慢，甚至无法正常打开网页，严重影响用户感知。
一系列的活动出现的问题都是由于上网用户数过多引起，但是出现资源瓶颈的原因不尽相同，在保障的过程中应急保障人员根据出现瓶颈的资源启动了应急预案，有效的保证了活动的顺利进行。
二、重要指标监控
在后台保障中，做到密切关注相关指标，及时发现指标异常，才能结合现场情况及时启动保障预案，避免因长时间影响用户感知而导致大量投诉。在后台保障中，我们需要重点关注的指标主要有以下方面（通过网优平台提取）：
1X：CS和PS呼建成功率、掉话率、RSSI异常情况、话务量以及拥塞情况等。
当出现有拥塞时，我们还需要知道具体是什么拥塞，再根据具体的拥塞情况进行处理：
对于1X方面我们主要关注的是呼叫建立成功率和掉话率，如果呼叫建立成功率明显低于正常水平，或者掉话率很高，我们首先需要检查基站是否有故障告警，同时观察RSSI值是否异常，然后观察是否有拥塞，在重大活动保障中最常见的情况是由于用户过多导致呼吸效应严重，RSSI值飙升，拥塞严重，用户呼叫困难甚至无法接入，而根据近期重大活动的情况观察，造成用户过多的原因不是语音用户过多，而是1X数据业务用户过多导致拥塞。
DO：连接成功率、掉线率、流量、话务量、时隙占用率、等效用户数、RSSI值、反向链路繁忙率和ROT平均值等指标，如下：
根据近期重大活动的情况观察，DO网络KPI指标都不会出现明显的恶化，是由于当DO用户过多导致CI变差，新连接就会切换到1X网络，这样会导致1X数据业务大增，甚至造成1X网络拥塞。
三、应急处理措施
在重大活动保障中，当后台在实时监控中发现有指标异常，需要及时启动应急预案：
天河体育中心滚石演唱会：
滚石30 周年演唱会12月8日18:00在广州体育中心举行，由于现场有4万多名歌迷观看演唱会，导致周边站点话务突增，现场出现无法呼入呼出的情况。
因演唱会期间体育中心主要收到电信大厦-D-VIP-3，体育中心搬迁-0/2，天河北-D-1，都市华庭-D-VIP-1等扇区信号，因DO业务存在多个导频覆盖，场馆内没有主导频，CI指标较差。当用户使用DO业务时，很容易下切到1X网络，增加了1X网络的负荷，导致1X的语音频点R值偏高，影响用户正常接入。
以下是活动现场指标变化情况：
周边站点的不含切换的CS、PS话务及拥塞指标
站点的DO话务及DO流量指标
根据话务分析可以看出，ps话务出现较多拥塞，出现201/283频点 R值过高，呼叫建立成功率偏低问题，干扰语音用户正常呼叫。应急优化手段为修改载频语音业务使用资源比例相关参数，优先保证语音业务正常呼叫，减少PS业务对283/201基本频点的干扰，从而达到降低R值的效果，优先语音通话正常。
体育中心周边业务信道话务量
体育中心周边站点R值优化前后变化情况
结合上图中措施实施前后（20:45左右执行脚本），及当时后台对指标的观察，指令执行后，优化效果明显：周边主要覆盖小区的R值从-82dbm马上下降到-93dbm，1X呼叫建立成功率从90%提升到99.2%，确保了语音用户能正常通信。
花城广场国际灯光节开幕式：
花城广场国际灯光节开幕式在12月15日19：30分举行，现场已经增加了通信车保障，但是由于通信车位置较偏，无法完全覆盖整个花城广场，且人流主要集中在第二少年宫-D-VIP_0、1扇区和J省博物馆_0、1扇区下，由于用户过多，导致1X频点RSSI值飙升到-60dBm左右，呼叫建立成功率明显下降，且出现了严重的传输拥塞。
以下是活动现场指标变化情况：
第二少年宫_0、1扇区和J博物馆_0、1扇区共12个载频的业务信道话务量强度（不含切换）CS、PS和拥塞情况。
第二少年宫_0、1扇区和J博物馆_0、1扇区共12个载频的CS、PS建立成功率和RSSI情况
根据话务分析可以看出，由于PS话务量很高，且传输拥塞严重，导致1X频点RSSI值飙升，严重影响呼叫建立成功率，造成用户语音接入困难，用户感知极差，由于传输拥塞严重，启动应急预案修改载频语音业务使用资源比例相关参数，优先保证语音业务正常呼叫等手段效果不大，为了尽可能缓解现场指标压力，还针对1X数据业务修改了指定发送功率偏置和接入时初始功率偏置，同时打开基于RSSI的反向硬指配算法功能开关，脚本如下：
经过以上措施后，指标压力得到缓解，随着开幕式的慢慢结束，指标恢复正常，在这次灯光节开幕式保障中，由于传输资源严重不足，通过参数调整只能缓解指标压力，无法直接解决问题。
省公司年会保障：
在本次年会保障中，1X和DO各项KPI指标一直良好，但在27日接连接到领导投诉说会场DO上网用户感知差，甚至无法打开网页，接到投诉后1区保障人员反映迅速，第一时间把相关重要号码加到白金用户中，并马上提取相关话单结合后台指标进行深入分析，在各项指标均正常的情况下最后通过修改小流量用户准入优化用户数门限来积极改善网络环境，最终快速顺利解决投诉问题。
四、重大活动保障应急处理总结
从天河区12月份的几个重大保障中反映出以下几个问题：
1、保障方案没有充分评估活动现在主覆盖小区的资源情况，如国际灯光节的第二少年宫-D-VIP和J博物馆1X传输只有1条2M，明显无法满足需求。
2、体育中心场内RU由于物业原因都无法开启，只能靠周边站点覆盖，但对周边站点的扩容力度不足。
3、后台保障中除了对指标监控外忽略了用户感知，省公司年会中由于上网人数过多，导致现场网速慢，甚至无法打开网页，但后台各项指标均正常。
4、对活动现场人流分布估计不足，导致保障手段没有起到应有作用。国际灯光节现场布置了通信车，但是由于通信车在会场一角，无法有效覆盖整个会场，在开幕式中人流明显集中在第二少年宫_1扇区覆盖范围，但保障方案中没有充分考虑第二少年宫_1扇区的资源容量，导致传输拥塞严重。
现在的重大活动都有一些共同特点，就是人流高度集中，局部站点话务负荷极大，且语音业务不多，但数据业务暴增，特别是1X数据业务对网络冲击极大，在保障过程中提前对1X数据业务进行限制显得尤为重要。调整方案见附件：
用户密集区域语音业务保障指导书.docx
