3.12 网络机房搬迁实战全记录
北京 李晨光
领导重视，分工明确
2008 年，中铁咨询集团决定办公大楼搬迁，所以我们公司的网络机房也必须按照要求做统一搬迁，此次新机房的建设完全按照 IDC 机房建设标准实施，在全系统尚属首例。由于缺乏可借鉴的经验，策划人员在机房规划布局、动力系统安装、网络布线、防雷系统安装、KVM（远程控制系统）选购等关键环节上反复论证，咨询了行业内外众多专家，克服了重重困难，于2008年11月基本完成机房建设工作。
机房建设全部竣工以后，机房的搬迁工作即成为信息中心的重要工作之一。机房搬迁工程复杂，不仅要把80多台生产设备安全迁移到新机房，而且要求网络系统的迁移和集中存储系统的迁移必须安全、平稳，不能过长时间影响生产应用。同时此次搬迁规模大、难度高，没有任何可以借鉴的经验。为此，集团领导对机房搬迁工作非常重视，成立了由总工程师任组长，信息中心及办公室等相关部门的负责人为成员的搬迁领导小组，总体负责网络机房搬迁工作，并根据搬迁工作的特点制定了各部门的工作职责。
与此同时，为保证搬迁的平稳、可靠，确定了“分批搬迁、平稳过渡”的总体搬迁方针。经过反复论证、数次讨论，制定了详细的搬迁方案。为了保证搬迁工作的万无一失，各系统在制定了周详的迁移方案的同时，还分别制定了应急回退方案，确保在搬迁过程中出现异常问题时可以及时恢复生产。
2008 年 7 月，在正式申请立项后，我们提交了机房搬迁方案。集团领导对此高度重视，多次就一些关键技术问题与咨询公司沟通，并于2008年8月批复同意。在经过前期动力、空调及网络基础环境的准备之后，信息中心于 9 月、10 月分别进行了测试服务器、测试终端及部分非重要服务器的两次小范围搬迁工作，既对机房基础环境进行了验证，同时也积累了大量宝贵的搬迁经验。
准备充分，实施顺利
机房搬迁的前期准备工作基本就绪之后，集团公司召开了搬迁领导小组会议，确定涉及生产环境的网络设备、综合前置、通用网关、集中存储等80多台设备的正式搬迁工作于11月15日开始。考虑到网络环境的调整和集中存储与各个应用服务器之间复杂的系统关系，为了减少搬迁风险，信息中心对搬迁的设备进行了细致的分析研究，最终按照“网络先行，应用平稳，主备分开”的原则，将80多台设备分为3个批次进行搬迁。
在正式向总部进行报备后，11月14日17∶30搬迁工作如期开始。第一批搬迁工作于次日凌晨1：20顺利结束。11月16日，第二批搬迁工作由于涉及线路割接和存储系统（磁盘阵列）的搬迁，持续10个小时之久，由于涉及体积较大的磁带库的搬迁，搬迁过程非常复杂，新旧机房采取搭架吊装的方式进行。第三批搬迁于11月19日进行，涉及3台SUN服务器和IBM小型机及服务器的数百GB生产环境的数据迁移，持续时间近8个小时。工作组成员放弃了很多节假日休息，克服了重重困难，在保障正常生产运行的同时，完成了大到方案制定、人员组织分工、技术准备，小到每台设备尺寸测量、定位，相关工具准备等庞杂的工作。正是在所有参与人员的共同努力下，新机房的搬迁工作顺利完成,未出现断网情况，未出现任何生产事故。
机房搬迁，经验体会
中铁咨询对于此次机房的大规模异地搬迁进行了一次尝试，在机房建设和管理方面也进行了积极探索。通过此次搬迁我们感觉到机房的搬迁过程中有以下几个关键点。
（1）搬迁技术方案必须周密细致、切实可行。其中重点是如何将生产服务器的搬迁与网络迁移方案有机结合。网络的迁移是最基础的工作，只有在网络畅通的前提下才能考虑服务器的搬迁。同时，网络迁移又势必造成维护重心的转移，最关键的应用必须随着网络的迁移而同步迁移。因此线路割接、交换机调整等网络迁移操作绝对不能与生产服务器的迁移分开而单独实施。基于上述考虑，我们最终确定了最关键的服务器、存储、网关随着线路割接而同步迁移，同时主要搬迁过程控制在1到2周以内，尽可能降低主要业务等其他关键应用因网络迁移而带来的风险。
（2）要提前预测搬迁风险。通过前几次对测试机房的测试性搬迁，我们总结出对于大型机房的搬迁主要存在4方面的风险，包括：设备故障风险，即设备在搬迁过程中所出现的损坏：操作风险，即线路割接、上联路由器切换、集中存储系统迁移、关键应用数据迁移（包括数据备份与恢复）、大型设备搬迁等均属于高风险操作，这些环节虽经反复论证在理论上可实施，但操作复杂且无法进行演练，在搬迁过程中很可能由于操作问题带来安全隐患；人员风险，即在搬迁过程中现有技术人员既要负责搬迁工作，又要负责日常生产运行的维护管理，搬迁人员少或精力不够也容易产生风险；其余不可预知风险，如系统的意外瘫痪、运营商线路问题等。在预知这些风险以后才能提前做好预防工作。
（3）充分调动一切资源。机房搬迁是一项极为复杂的工作，不仅涉及行内众多的技术人员，还涉及相关业务部门、服务商、搬运公司等各个方面的人员及各种搬迁所用的器材，其中任何一项都与搬迁进度紧密相关。我们除了与各业务部门密切分工协作外（科技部和业务部门负责分发公告、测试验证），还提前召集所有相关的服务商进行了方案论证，并要求各服务厂商最大限度地准备技术支持人员和相关配件。另外，在充分总结前几次试验性搬迁的基础上，我们在装箱、搬运、装机等比较耗时的环节上增加了人力、工具、通信、车辆配备，极大提高了搬迁效率。 （4）采用流程化搬迁方式。搬迁前，机房管理员专门绘制图纸，详细对比搬迁前后的情况；提前规划各个机柜、各个网络设备的摆放位置，还要事先量好机器的具体尺寸，对所有设备进行编号，并填入登记表中之后到现场规划机器的具体摆放位置，力争最合理、最充分地利用机房的有效空间。
搬迁工作大致分为关机、拆卸、装箱、运输、装机、连线、验证等几个环节，由于每次搬迁都有严格的时间要求，而且涉及人员较多，所以搬迁要有条不紊、高效有序。为此，对新旧机房的不同特点，设立了两个搬迁总调度，分别负责两个机房的搬迁协调工作，并根据搬迁过程中不同阶段的工作设立了关机拆卸组、装箱组、运输组、装机组、验证调试组、技术支持组、后备应急组 7 个小组，在明确了各组职责的同时实行组长负责制，由组长定期向总调度汇报各组情况。
制定了搬迁例会制度，在每次搬迁结束后及时对上一批的搬迁进行总结，并对下一批的搬迁工作进行确定。在搬迁之前，对所有设备信息进行了详细的统计，在此基础上形成了每次搬迁的搬迁调度表和搬迁流程表，交由各组掌握。在搬迁过程中要求各组必须按照这两份表格进行，每完成一个环节，该组组长都必须要在搬迁调度表上确认后，下一环节才能继续进行。按照这样的流程执行之后，我们每次搬迁都没有出现因各环节的衔接问题而耽误进度的情况，更没有出现误操作的现象。
（5）做好系统的充分验证。根据每一批搬迁的特点我们提前与相关的业务部门沟通，由业务部门负责根据在变更时间内对业务的影响程度及时向外发布公告，同时，在系统恢复后进行系统验证。
“凡事预则立，不预则废”，的确是这样的。对我公司的机房而言，搬迁工作涉及到服务器、交换机、路由器、工作站等大量的设备，当然还有不少软件的问题。这样多的问题需要我们去解决，正因为我们在这次搬迁过程中做了大量而充分的准备工作,所以在整个搬迁过程中未发生一起在变更时间外影响生产的问题，最大限度地保证了生产的稳定运行。通过这次机房搬迁的实战演习，不仅锻炼了技术队伍，也在大型机房的建设和管理方面积累了一定的经验，并为今后单位信息系统的安全平稳运行打下了坚实的基础。
