VMware 虚拟化数据中心实施案例分析
Technology Intergration Group
Ming Ma
实际运行中的虚拟化数据中心
案例实施的效果拓扑图．
背景说明
该跨国银行在全球金融资产服务业处于领先地位,在25个国家设有分支机构，业务网络遍及全球100多个金融市场. 他在不同的地区都有自己的IT部门,除了大型机(main frame)外, 还有大量的PC 服务器,部分ＰＣ的服务器使用状况如下：
|
Application
|
＃Servers
|
Data store Requirement
|
Average CPU Usage %
|
Rush Hour
|
Life Cycle
|
|
Web Servers
|
60
|
< 10G
|
<30%
|
Day time
|
2 years
|
|
SQL Servers
|
50
|
>200G
|
15%>
|
Day time
|
3 years
|
|
Fund Counting
|
80
|
<10G
|
50%>
|
Weekend
|
1 -2 years
|
|
File Server
|
30
|
>500G
|
>10%
|
None
|
3 years above
|
|
Websphere
|
50
|
<20G
|
40%<
|
Over night
|
2 years
|
|
Subtotal
|
270
|
~27.4T
|
CPU (10%~80%)
|
1-3 years
|
这些服务器在硬件上差异较大，同时占据了很大的机房空间,同时为管理和维护造成了很大的问题.由表上可以看出，由于不同服务器使用需求不同,很多时候服务器处于待机状态,极大的浪费了空间和资源. 因此改公司渴望通过 部署虚拟化能够实现快速的基础设施服务和灵活的资源调配,同时解决数据中心的空间压力问题。同时对于系统管理员来说,每一个管理员可以控制的物理服务器应该在30台左右,人力资源的压力也相对比较大.
服务器硬件选择
HP系列的服务器与VMware 有良好的兼容性，在生产服务器上公司采用了HP DL系列作为主要的虚拟化构架平台．在实际使用方面，Intel 和AMD的架构对现有的应用差别不大。对于开发平台则使用HP BL系列的刀片服务器。HP BL系列刀片机具有占有空间小，扩展性好，管理方便等优点．下列几款是不同时期使用的服务器种类。
|
Server Model
|
Hardware Summary
|
Allowed Instance(PROD)
|
Allowed Instance(DEV)
|
|
HP DL 380 G5
|
2core*2/16G
|
5
|
8
|
|
HP DL 585 G1
|
4core*4/32G
|
8
|
15
|
|
HP BL 480C G1
|
2cores*2/4G
|
3
|
8
|
存储硬件
由于运行的虚拟机为企业的开发和生产系统，对比于iSCSI SAN 该公司选择了较为可靠的 FC SAN方式来部署VMware的虚拟化方案:
u 网络依赖：公司的网络发展已久, 如果加入iSCSI则需要对现有整个网络重新规划
u 性能约束：虚拟机应用中有较重要的数据库应用,iSCSI无法保证足够的I/O
u 管理难度：FC SAN使网络和存储分别独立的运行,降低了管理难度
u 软件配置：FC SAN配置简单，在VMware中可以被更好的支持
u 安全策略：出于数据的隐私性考虑，iSCSI SAN安全性没有 FC SAN高
在FC SAN的产品选择上，公司直接采用 了EMC的产品。对每个ESX集群统一划分LUN分区。
虚拟网络结构
对于每个虚拟机，需要２块虚拟网卡，分别作应用和心跳测试；同时主机也需要虚拟交换机做VMtion应用。为了使VMotion能高效的工作，给该vSwitch分配独立的物理交换机。
软件版本选择
该公司 的虚拟化道路经历了比较长的时间。整个发展的时间表如下图所示:
公司虚拟化的发展是随着VMware软件的不断更新而升级的.
到2008年末期，公司内部拥有一个开发用VC 1.0 (管理开发使用的10台GSX和20台ESX 2.5)，一个生产用VC 1.0 ( 管理开发使用的20台ESX 2.5)， 一个开发用VC 2.0 (管理60台ESX 3.0)，以及一个生产用VC 2.0 (管理100多台ESX 3.0). 从2009年初，公司开始对开发和生产环境作相应的整合，将ESX 2.5和部分ESX 3.0升级到ESX3.5,将 两个 VC2.0升级到VC 2.5,抛弃原有的２台 VC 1.0,形成了２个ＶＣ管理２个环境的局面。
虚拟化策略及部署,
运行环境， 经过长达3年左右的虚拟化工作， 该公司的数据中心里已经将绝大部门PC服务器迁移到了ESX上了。到2009年初，共有260余台ESX 主机，2个VC 中心，和超过1600个应用运行在虚拟化的环境中。
|
Virtual Center Server 2台
|
|
开发/测试环境ESX 3.5共 82台
|
生产/产前测试环境 ESX 共184台
|
|
Windows应用480个
|
Linux应用97个
|
Windows 应用815个
|
Linux应用210个
|
|
部署方法，采用Veritas Provisioning Manager产品作为Windows和Linux部署方案，相对于传统的“虚拟机-模板-应用-自定义”的方法有以下几个突出优点：
-
基于网络，只要保证网络的连通就可以部署。传统的模板不能跨VC操作。
-
工作流控制，可以设计部署工作流来自动完成任务
-
不仅可以部署系统镜像，也可以部署应用程序和各种补丁
-
可以基于策略做批量部署。
-
配置和自定义项目丰富，可以在部署前制定系统和应用的各种参数。
该方案效率高，可操作性高，自定义能力强，结合虚拟化环境可以批量创建新应用。极大地缩短了部署时间。同时对服务器的标准化操作提供了很大的便利。
备份方案，为了与物理环境相统一，公司没有使用VCB，而继续采取IBM - Tivoli Storage Manager 。在应用的内部安装TSM的代理，同步备份数据到TSM服务器。
应用可靠性， 在生产环境中，每三至四台服务器组成一个集群，保证到N+1的冗余方案，每个集群运行20至25个应用并配置HA来保证高可用性；同时在每个节点的主机上安装HP SNMP服务，对服务器产生的性能报警会通过邮件发送给管理员。同时应用中还采用了第三方的软件，对性能和心跳做监控和报警.
远程管理,为了能达到24*7的支持,该公司还在其它国家设立了支持中心,网络通过VPN连接,连直接连接和管理各个服务器.网络上使用安全的 加密VPN ,增强了安全性.同时对于网络采用双线连接,保证了链路的可用性.
安全连接, 对于虚拟化服务器的管理上,从安全和易扩展的角度出发,公司采用与域服务器结合的方法.客户访问的方式有3种: VC client, Web Client和Secure Shell host.分别使用AD验证,本地验证和本地+域验证的方式.多种访问方式提高了管理的灵活性和可靠性.
|
连接方式
|
访问目标
|
用户列表
|
密码列表
|
|
VC 客户端
|
VC/ ESX 服务器
|
本地或域服务器
|
本地或域服务器
|
|
浏览器客户端
|
VC/ ESX 服务器
|
本地或域服务器
|
本地或域服务器
|
|
安全访问终端
|
ESX 服务器
|
本地
|
域服务器
|
各种连接方式以及认证方式的示意图如下所示:
虚拟化迁移困难
该公司 在虚拟化中心建立以后，便着手开始虚拟化的迁移工作。工作的初期是将开发服务器的应用由物理机迁移到虚拟机上，在迁移的过程中使用了VMware Converter软件，同时也遇到了下列几个困难:
|
迁移方案
|
主要问题
|
解决方法
|
|
旧的Windows系统的迁移
|
不支持VMware Converter,不能无缝的迁移
|
从光盘启动做系统镜像, 建立虚拟机后导入镜像
|
|
Linux系统的迁移
|
对硬件的改动较敏感,同时也不支持Converter
|
建立虚拟机; 将设置和数据由物理机导入
|
|
旧的GSX版本向ESX迁移
|
镜像格式不同,无法无缝迁移
|
导出GSX上应用的镜像, 用Converter将镜像直接倒入VC
|
|
低版本ESX向高版本ESX迁移
|
在线迁移,但验证方式不同会造成通信问题
|
将需要升级的ESX上所有VM动态迁移到其它主机,升级ESX后再迁回,修改认证方式
|
迁移方案的整体流程图如下：
整合前后对比
改公司的虚拟化中心运行以来，可靠性，灵活管理，降低成本方面已经得到了极大的体现。公司还不断的将物理环境的小型服务器规划到虚拟化大环境中。虚拟化的团队也得到了壮大。对于新应用的部署也有极大地提高。同时降低了安装和维护的操作， 使得远程控制和管理达到了本地管理的效果。
对比虚拟化前后,我们可以明显地看到:
|
|
虚拟化部署以前
|
虚拟化部署以后
|
|
运营和维护成本
|
高,服务器规格不一致
|
低,服务器统一规划,空间减少60%
|
|
服务器利用率低
|
原来平均30% 不到
|
利用率高于70%
|
|
IT 服务支持
|
几乎90%的工作不能远程
|
除了物理上的部署,全部可以远程完成
|
|
系统扩展性
|
差,维护需要当机
|
很好,升级和扩展无需当机
|
|
部署应用时间
|
30天
|
一周以内
|
|
管理人员数量
|
每人约30个服务器
|
每人可以管理150-200台服务器
|
虚拟化效果
自该银行虚拟化产品上线运行以来，系统一直非常稳定，很好地满足了企业的测试和生产需求，并且也能够间接地降低人力维护成本和电力运行成本，也减少了对物理服务器数量的需求，从而降低了对数据中心空间的占用。在不断发展和改进的几年里，该银行行实践虚拟化技术的经历是非常成功的，对庞大的系统开发测试和生产运行人员来说虚拟化系统是完全透明的，业务办理过程与过去没有任何区别. 虚拟化使整个IT的系统实现了集中管理,并保证了在升级、维护系统时的业务连续性.
通过采用VMware虚拟化的技术，该银行充分感受到虚拟化技术带来的好处，效果是明显的,进步是巨大的.他们将进一步完成剩余物理服务器的转换整合,使虚拟化真正成为IT管理的金钥匙!