如何实现网站客户传统IDC与公共云资源线上线下的互通
本文章来自于阿里云云栖社区
摘要： 在2017年3月10日上海举行的阿里云网站行业热点问题和解决方案线下研讨会上，来自阿里云的架构师傅杰给我们带来了《如何实现网站客户传统IDC与公共云资源线上线下的互通》的分享。在分享中他首先详细介绍了阿里混合云，然后分析了混合的架构并列举了实际的使用场景，最后通过几个成功的客户案例进一步说明了混合云架构的技术优势。
在2017年3月10日上海举行的阿里云网站行业热点问题和解决方案线下研讨会上，来自阿里云的架构师傅杰给我们带来了《如何实现网站客户传统IDC与公共云资源线上线下的互通》的分享。在分享中他首先详细介绍了阿里混合云，然后分析了混合的架构并列举了实际的使用场景，最后通过几个成功的客户案例进一步说明了混合云架构的技术优势。
此次分享的内容主要分为三个方面：1.阿里云介绍 2.混合云架构和实用场景3客户案例 以下是本次分享的整理内容：
阿里云介绍
1.阿里云是承载整个阿里巴巴集团的计算平台
作为国际知名的互联网公司，阿里巴巴集团可谓无人不知，其云计算平台阿里云的客户也在日益增长。而事实上除了这些外部客户，阿里巴巴集团内部也都在广泛地使用阿里云的服务，比如淘宝、天猫、菜鸟物流、广告服务、咸鱼、钉钉等等多个业务。运营这些业务所需要的底层资源，无论是计算资源还是网络资源，大部分都由阿里云承载。这一定程度上说明了阿里云的市场极为庞大。 2.在国内市场阿里云处于绝对领先地位
关于目前的阿里云的市场发展情况：
国内：根据最新的数据统计显示，在整个中国的公有云市场中，阿里云当之无愧拔得头筹，其市场规模或公有云市场占有率已经超过50%。
国际：在国际市场上，目前AWS和Azure分别处于第一位和第二位，来自阿里巴巴的阿里云紧随其后排名第三，这是当前阿里云在国际市场上的地位。 3.全球最大规模的开发者聚会——云栖大会
作为全球最大规模的开发者聚会，云栖大会每年都能吸引大量的开发者前来参加。在去年杭州举办的云栖大会上，一共有4万多开发者参加各种讲座和论坛。在那4天举办的400多场讲座中，阿里云客户发表的讲座占到了百分之70到80。这些客户自愿在大会上分享自己使用阿里云的经验以及自己行业的成功案例。随着大会的不断发展，今后的云栖大会一定能吸引更多的参与者，成为全球的技术热点的风向标。在今年6月份，阿里巴巴将在上海举办云栖大会，欢迎大家到时报名参加。
阿里差异化的核心能力
1.丰富的产品体系
不同于一般的云厂商，阿里云差异化的核心能力体现在其丰富多元的产品体系。除了外围的各种解决方案和应用服务，阿里云的核心产品主要包括计算、存储、数据库和网络等几大方面：
计算：阿里云的ECS虚拟服务器被广泛使用，ECS除了能提供各种各样的不同性能和配置的计算服务外，还能提供包括HPC高性能计算等服务。
存储：在存储的方面OSS对象存储使用量比较大，目前阿里云能够提供标准型存储和低频访问型存储以及共享存储等存储方式。
数据库：目前市面上数据库产品很丰富，很多人都使用MySQL，少量可能使用SQLServer。阿里在数据库领域则向用户提供各种各样的高性能数据库，比如Redis，MongoDB甚至分析型数据库。特别是分析型数据库，它的性能非常高，可以在几毫秒之内完成在1000亿行数据中某个数据的查询。最近阿里云还上线了高性能、分布式的关系型数据库——OceanBASE。 网络：在网络这方面主要有CDN、高速通道、虚拟专有网络等服务。 2.大数据
目前市面有很多做大数据方向的公司，他们能提供各种各样的大数据服务。与他们相比，阿里云大数据最大的一个特点就是：能够提供一个闭环的计算能力，这些能力涵盖数据采集、计算引擎、数据加工、数据分析、机器学习和数据应用等六大方面。
在前端的数据采集方面，阿里云提供了完善的SDK和协议供客户调用，例如在移动开发方面。如果有客户数据分析处理的需有，阿里云可以在APP的调用中添加一些服务让客户可以通过这些服务可以收集到数据。在计算方面，阿里云则能提供各种实时、离线、流式等不同方式的计算。甚至在一些特殊具体的应用场景中，比如广告推荐，阿里云都相应地提供了各种推荐的算法供客户选择。在整个闭环的大数据处理中，客户既可以选择其中的某个环节，也可以选择整套处理方案，这样显示出阿里云满足在客户需求方面的灵活性。 3安全
客户在选择云厂商时对于安全性是最看中的，这包括数据安全和网站安全等。作为目前国内最大的云厂商，阿里云承载并保护者全国35%的网站以及各种政府类的网站，并且每天都要经受大量的各种攻击，以下是关于阿里云的安全性的三个例子：
前段时间部署到阿里云上一家知名游戏攻击成功经受住了一次最大的DDOS的攻击，攻击流量大约是几百个G。
不久前当Struts2的安全漏洞刚被曝光出来的时候，阿里云的WAF就立马生效，从而保障部署在阿里云上的Struts2客户基本不受影响。 4.高并发的处理能力
整个双十一期间，阿里巴巴集团的销售额达到1204亿，其中最高峰期间订单的创建达到了17.5万单/秒，支付笔款则达到12万笔/秒。这些巨大交易记录，离不开背后阿里云的分布式系统的支持，特别是其高性能的并发处理能力。 5.丰富的行业解决方案
截止去年年底，阿里云的付费客户已经超过了65万。对于每一个行业的头部客户，阿里云都会去和他们沟通交流并且帮助整理他们的解决方案。这样一来在阿里内部就总结出了各行各业多达100多种不同的解决方案。如果客户有任何问题想要咨询阿里云，阿里云可以通过后台的知识库的方式或是业务案例的方式把标准的做法告诉客户。正是靠这么多的客户的一起努力，阿里云才沉淀出了这么多完善丰富的解决方案。 6.全球布局能力
阿里云的全球布局能力包括国际和国内两个方面：
国际：尽管阿里云大部分业务都集中在在国内，但阿里云已经开始在海外部署大量的机房，并且在美国、德国、沙特、新加坡、澳大利亚和日本等地着手建立数据中心，这些数据中心将使用阿里云的骨干网连接。如果客户有需要出海的业务、有海外的客户或者有国外的员工，那么通过阿里云的骨干网实现互联互通将是十分便利的。
国内：目前在国内，阿里云在河北、北京、上海、浙江、广州和香港等地区域建立数据中心，在每个区域至少有2个及以上的数据中心，保证数据和服务的高可用。
混合云架构和实用场景
1.为什么选择混合云架构
许多公司之所以青睐混合云这种架构，主要是基于以下四个方面的考量：
解决业务痛点：混合云架构可以快速地相应用户的需求。如果用户急需数百台虚拟机，那么通过阿里云在云上进行ECS和RDS的生成，用户的业务需求可以被及时响应。
解决运维难点：混合云架构可以简化CMDB的流程。对于企业来说，服务器和交换机都是固定资产，这些资产的审批流程都很复杂，使用云服务往往可以简化这一流程。
陈本控制：在成本上相对传统方式更加便宜。
安全控制：在安全控制方面，特别在云上，阿里有WAF，态势感知等安全措施，这比客户在自己的IDC构建的保护措施更加安全。这些安全服务的经验来自于整个阿里巴巴集团中所有的安全专家。 2.混合云架构之连接方式
在多种混合方式并存的阿里混合云架构中，用户主要可以通过物理专线或者VPC这两种方式连接：
如果客户已经有了IDC，或者在云上已经拥有了自己的阿里VPC网络，这是客户可以通过物理专线的方式进行线上线下打通，数据通过物理专线从线下的CE出发，经过虚拟交换机，到达VBR边界路由器。
阿里云同样支持客户通过VPN的方式上网，并且当客户不处于办公室网络里时也可以通过SSL-VPN的方式连接到网络。这样的方式在网络规划中可以极大提高灵活性和扩展性，通过管理线上和线下IP地址，客户可以把很多服务和数据放到线上线下去。另外如果客户不止在一个区域有数据中心，那么也可以利用阿里云的高速通道去连接这些数据中心。 3.基于混合云的系统架构
混合云的搭建可以由不同层次组合而成，具体包括客户端、入口层、网关层、服务层、缓存层和数据层这六层。在客户端阿里提供HTTPDNS等防流量劫持工具，以防止某些运营商劫持客户流量。在入口层阿里拥有智能DNS解析服务、DDoS高防服务以及负载均衡服务等。在网关层中之下的服务层中，阿里云实现了分布式框架，以提供服务的注册、发现和调用。最后是缓存层和数据层中。 在其中一种混合云架构中，通过服务层和数据层配合，所有应用或者web访问都发生在云上，而所有的数据库都放在云下。 4.混合云的使用场景
混合云的使用场景有以下四种：
1.利用云上的资源在高峰期做弹性扩容：在非业务高峰期，客户可以在线下的机房中维持一个比较低的资源数量，而在高峰期时在云上弹性的扩展出资源，同时把负载放到云上。通过这种方式来实现弹性扩容，企业的成本可以有效地减少。 2.利用云上的资源作为数据的灾备中心：在传统企业中实现灾备往往比较困难，而在阿里的OSS中，数据是三重备份的，利用OSS可以将灾备放到异地，简化灾备这个过程。
3.利用阿里云的大数据能力在云上做数据处理：大数据处理往往需要很多台机器，需要搭建各种环境，并且还需要运维人员来维护这些机器，而在云上这一切环境都已经被阿里云封装好了，用户可以方便地通过调用阿里云上的服务来做数据处理。 4.利用ECS做访问代理，保护IDC中的服务器：当企业想要出口带宽或是访问某些资源时，为使服务器不被暴露在公网上，企业可以选择使用ECS做访问代理。
混合云客户案例
1.利用阿里云做弹性扩容
随着微博变得火热，新浪微博的业务量开始迅猛增加，在一些特殊活动，如2016年春节红包活动，其业务量更是激增。为此，新浪微博开始利用阿里云做弹性扩容，以满足其在弹性能力、节约成本和平台化三个方面的业务需求：
1.在峰值期间阿里云需要在10分钟之内提供160000核和25600G的计算资源的能力。
2.三节总体发红包的总成本不能超过2015年，并且未来还能成本还能降低。 3.平衡不同语言和运行环境之间的差异，使新浪微博线下IDC和线上阿里云等平台能够互通。
为了更好满足上述业务需求，阿里云团队和微博团队紧密合作，从以下三个方面来实现弹性扩容，满足客户要求：
1.VPC：通过对线下的IDC以及网段和阿里云线上VPC网络进行线上线下的组网，以保证线上公有云的VPC服务跟线下专有云VPC的网络环境是一致的， 包括统一分配的IP地址等。
2.网络高可用：在线上和线下的连接中，为防止单一线路发生故障或抖动影响整体性能，阿里云用两条专线连接到新浪的机房。通过采用多专线的方式保证网络的高可用性。 3.路由：在核心交换机上采用就近原则来配置路由转发规则，确保网络的低延迟性。当网络发生故障时自动启动备份路由。
在新浪的两个数据中心IDC中，前端有LVS的四层负载，之后分别是Nginx层，Web层和RPC层，在底层的数据库层之上有Memcache和Redis作为缓存。在弹性扩容期间IDC的Nginx层主要负责转发，把高峰期大量的服务转发到阿里的公有云上来进行SLB负载均衡，之后再往下放到web层、RPC框架层。由于数据的一致性要求比较高，所以数据库中存放缓存。除了在云上进行改造，为了在线下也能使服务运行起来，通用的做法是利用Docker将服务做成镜像，这样当需要启动服务的时候就可以直接将这些镜像装到ECS中运行，以避免环境的差异性对服务质量造成影响。据统计通过弹性扩容，新浪微博在整个春节业务期间节约了相当于上千台物理机器的成本。 2.云上做大数据处理
驴妈妈通过阿里云上做大数据处理主要是为了解决以下三个难点：
1.面对数据量和服务器需求的增长，传统的做法是按照采购、上架、加电、添加虚拟机到应用等步骤。这往往需要耗时几周，不仅无法满足业务量快速变化，而且当真正部署业务时可能已经错过了最佳时期。
2.在利用爬虫来收集网上的数据时，有可能会遭到对方的IP封锁，这时IP数量就显得尤为重要了。传统机房的出口IP数量往往有限，容易造成访问限制，为此不得不频繁地换IP地址。
3.有时将大数据的计算引擎和正常的业务系统放在一起时，计算引擎往往需要大量数据分析，这会占用大量带宽，对网络的流量造成一定影响，从而影响到用户正常访问业务系统。
为解决上述难点，驴妈妈使用了阿里云集群并搭建了多台爬虫虚拟机，用来采集和分析行业数据，以及实时和离线的分析。阿里云的ECS可以搭建Hadoop集群，这样离线数据被导入到Hadoop集群之后就可以进行处理分析。当然，客户也选择EMR，阿里的EMR可以单独使用，并将Hadoop和Spark服务全部封装好，客户可以按需使用。当数据被分析完之后就被传输到客户的IDC中，如果客户之后需要查询数据，那么客户就可以直接使用这些数据。这样一来，利用混合云的处理能力，客户可以有效保护自己的IP资源和IDC的资源。 3.云上做数据备份和处理
美柚APP在云上做数据备份和处理主要是出于以下三点需求：
1.尽管客户自有的机房内服务器数量已经有上百台，但相对于大数据来说计算量仍然不够。因此需要利用云来缓解自建大数据集群规模较小的情况。
2.对于一些重要用户数据，如果只将其保存在自有机房上，一旦机房出现问题后果将不堪设想。为此需要利用共有云，在自有机房和云上进行双活，以此确保重要数据的安全。
3.随着业务特别是电商业务不断发展，一些业务可能会受到一些恶意攻击，包括恶意抓取、DDoS攻击等。如果通过在自己的IDC来抵御DDos流量攻击往往不能保证绝对成功。因此需要进一步使用阿里云盾DDos的高防IP来抵御部分网络攻击，并可以进行流量清洗和分析。
基于上述需求，阿里云为其做了服务的拆分，把一些服务放在客户自己的机房中，而把另一些重要的服务比如官网、电商、大数据等模块放公有云上。这样一来，这些对外服务可以就可以得到有效保护。具体来说，利用阿里云的MaxCompute计算模型，客户每天可以处理几十TB的数据并进行相应的算法模型训练。此外可以利用托管机房进行离线计算，因为其计算量相对不大。最后对于重要的数据，阿里云可以对其进行双活，利用高速通道或是专线来连接线下的机房，以防止出现线下IDC机房出现故障而导致服务或者数据不可用的情况。
一旦线上线下真正实现融合,就像马云预测的那样,电子商务将会消失!
