流量管理保证网络可用性
Internet 以其日渐方便灵活的上网方式、丰富的网络应用服务吸引了越来越多的政府机构、企业和个人上网,这是建立在日益增长的网络规模的基础上的:仅拥有数万用户和拥有数千万用户的两个网络的技术实现上显然有本质的区别。对于关键的网络应用,人们已经在研究“业务发展的连续性”(Continuity of Business)问题。可连续发展的衡量标准不单单局限于传统的可扩展性,而同时要综合考虑整个应用系统的可用性、流量管理、可管理性、可扩展性、可靠性、透明的容错性、灾难恢复能力、可操作性和投资保护。
系统的可用性要求是无庸质疑的。我们往往过分重视网络的性能参数,而忽视了系统的可管理性和可操作性,网络建立之后,网络的运营绝大部分将由网络应用、技术支持和维护来体现,一个不利于管理、不易扩充的网络系统,即使具有很高的性能参数,也可能频繁出现这样那样的问题,有些时候甚至连最基本的可用性都不能保证。因此,在网络应用的可持续发展中,流量管理(ITM,Internet Traffic Management)及负载均衡特性是非常关键的。这是因为随着网络规模的扩大,如何保证能在系统中顺利引入新的设备参与服务;如何在这些网络设备群和服务器群间智能地、动态地进行流量的分配与控制;当系统局部发生故障时,如何保证不影响整个服务品质;如何阻止恶意的攻击流量;如何提高网络的响应时间——这些都是由网络应用的流量管理机制来保证的。
Internet流量管理应用
随着网络应用规模的扩大,将会由多台服务器或网络设备部署在网络中的相同层面完成相同的功能。如何智能地、实时地在群中的各个服务器或网络设备中对网络流量进行管理和分配,是保证群集系统协同工作的关键。当前市场上这方面有多种基于软件/硬件的解决方案和产品,其核心技术手段是IP流量的管理与重定向。它工作在网络层,一般能实时监测各物理服务器的工作状态、负载情况,将大量的用户访问流量依照特定的规则来进行分配;同时,解决方案还支持分布在局域网或广域网上的服务器群。
网络流量管理的应用主要在四个方面:服务器群集系统、网络大型缓存Cache系统、网络安全系统群集(防火墙或VPN设备)以及保证多个Internet ISP 接入链路。
服务器群集系统的流量管理
服务器群集系统是网络流量管理的最早应用之一。由于Internet的普及,改变了计算机系统的使用方式,很多的网络应用方式从个人计算转变为基于服务器-浏览器的模式。这样,当成千上万的用户请求同时涌入某个热门网站时,对该网站的服务器性能和响应能力提出了很高的要求。
网络管理员通过各种途径对服务器升级,来满足日益增长的网络访问需求。如增加服务器的内存,升级CPU的数量,更换为更高级的服务器等等。然而如果采用单一的服务器提供服务,很明显存在着单点脆弱性(Single Point of Failure),服务器任何部件出现问题,服务就要被迫中断。传统的使用双机备份的大型服务器系统并不能避免网络上的单点故障,而且其中的一台服务器在一般情况下处于休眠状态,增加了系统成本和管理成本。
目前,通过网络连接的服务器群集(Cluster)结构日益成为高性能、高可靠服务器的构建趋势。相对于多处理器但升级有限且存在单点故障的单机系统,这种松散异构的响应环境具有更高的扩展性、可靠性和灵活性。群集服务器间负载均衡实现的关键是流量的分配,即需要一种机制,它通过探测到各节点的物理服务器或各种应用的状态,以一定的算法实现流量在群中各个节点上的均衡分担,不将流量转移到失效的节点上,通过群集中各个物理服务器的协同工作实现系统的高性能、可扩展、高可靠以及投资保护。
所以,服务器群的网络流量管理机制,就是在一系列(n台)同构或异构、本地高速网或广域网上的物理服务器之间均衡用户的访问流量。对于用户来说,通过统一的域名访问此群集站点,好象是在访问一台超级的高性能服务器(Virtual Server),感觉不到多个物理服务器(Physical Server)的存在。优秀的流量管理机制甚至能根据用户的“网络位置”,透明实现用户对实际物理服务器的就近访问。
从图中我们可以看到,ITM机制的实现是通过部署在访问用户与服务器群之间的专用网络设备实现的,称为网络流量重分配设备(Server Director)。这个网络设备可以是专用的网络硬件产品,或者运行流量分配软件的工作站及智能的交换机等。
专用流量管理设备的主要功能——专用的流量管理设备基于一定的算法,在服务器群上智能的流量分配,高效协同工作代替以往单一昂贵的服务器的支撑,实现了透明的客户端到优化的服务器群之间的重定向,解决了日益突出的访问站点的拥挤问题。一般来说,其主要特性为:
轻松连接,用户用一个单独IP访问整个服务器群;
负载均衡,精确的负载均衡算法,优化服务器群资源;
容错能力,实时监测服务器状态,保证不间断服务;
带宽管理,能够根据各台服务器的实际带宽参数分配流量;
入侵检测,能够屏蔽大量并发的恶意攻击;
可扩缩性,让一群相同或不同的服务器共同工作,平滑升级;
投资保护,保留当前网络投资,实现服务器群性能自然增长。
专用流量管理设备的主要算法——专用的流量管理设备作为访问用户和各个物理服务器群之间流量的智能分配设备,具有多种灵活的负载均衡算法,能够实时动态地转发和控制流量。基本的分配算法有:
轮询方式,即采取循环的方式在各个服务器上分配流量;
最小用户数,将流量分配到当前用户数目最少的服务器上;
最小流量数目,将流量分配到当前流量最少的服务器上;
管理员设置,网络管理员针对实际的应用情况制定分配策略。
专用的流量管理设备还要实时探测后台物理服务器的状态,不分配流量给后台应用或物理失效的服务器。探测的方式有ping 或者任意TCP端口的数据探测包等。
Cache中心使本地用户就近访问
目前大多数最终用户是通过拨号或专线的方式接入当地的网络中心,然后通过该中心的Internet出口访问其他的网上资源。
这条公共信道的带宽通常有限,而且价钱也相当昂贵。使用代理服务,建立本地的Cache中心,在网络靠近用户的地方暂时存放URL链接的内容,以后本地网络用户再次请求该URL链接时,直接由Cache得到。这样加快了用户的响应时间,同时节约了广域链路的带宽,减少了网络的拥塞。使用代理服务以降低运营成本及提高客户质量,已是各接入点的重要技术手段。
但是,使用代理服务通常存在如下问题:
- 需要大量的客户端设置,给网络管理带来不便。
- 存在由于代理服务器引入的单点故障。
- 如果配置多个代理服务器,也存在各代理服务器资源的利用平衡问题。
根据构造大型Web服务器群的经验,在Cache服务器群上实现流量分配的专用产品也设计出来了。它是一个管理Cache服务器群并提供流量分配的智能系统,为安装了Cache服务器群的网络提供了Internet网络访问和资源存储的优化机制。
Cache 服务器群流量管理的功能包括:
- 提供Cache服务器之间完全的容错机制。如果一个Cache服务器失败了,将所有对它的请求重定向到别的服务器,为用户提供到Internet不间断的连接。这些特性确保了整个Cache服务器群提供正常的服务。
- 使用精密的智能代理机制,将提出访问申请的用户连到事先存储的URL上,这样就不必在不同的代理服务器上备份代理信息,从而提高了服务器的反应速度,优化了使用率,最终节省了大量的花费在直接检索Web页面的时间。
- 具有先进的负载均衡算法,处理对那些没有缓存的URL请求。检测每个代理服务器的负荷,确保服务器之间的负荷保持平衡。这样,整个代理服务器群的性能得到优化。
- 为了进一步确保平均的负载,监视用户对流行站点的访问并自动将其传送到负载最小的服务器。
- 解决方案使用户可以透明地使用任何一个代理服务器,并选择不同的代理服务器达到高品质的服务,而且系统可以平滑的升级。
越来越多的专用Cache产品厂商,如NetApp和Cacheflow都和第三方Cache 流量管理设备厂商建立了合作推广的关系。
安全机制的扩展
网络安全是不能忽视的问题。对于内部可信任网络,或者Intranet的实现,网络系统的安全机制一般通过使用防火墙和VPN设备实现。在网络的物理位置上,防火墙和VPN 设备处在它所需要保护网络的网关位置,所有需要流入或流出这个网络的数据,都需要经过防火墙和VPN设备。因此,如果这些关键设备在处理大量用户请求或者复杂的安全策略时的效率不足,甚至由于用户服务请求数过多的情况崩溃,也会造成网络服务中断;在这种情况下,采用多个防火墙或者VPN设备协同工作自然成为可能的解决方案。但是如何在多个防火墙上完成负载分配和均衡也是一个需要考虑的问题。
一般来说,防火墙在处理流量上功能有限。为了适应流量的增长态势,用户或者升级单个防火墙,或者增加更多的防火墙单元。然而单一强壮的防火墙升级最终会达到极限;而当系统安装了多个防火墙之后,单元之间的动态负载流量不平衡,又造成性能降低、投资浪费。
防火墙的流量管理要完成以下的功能:
- 使用先进的内建的负载均衡算法,监测每个防火墙上的用户数目和流量,平等地动态分配单元进出的流量,保证了所有安装的防火墙的性能处在最优化状态。
- 提供防火墙之间完全的容错机制。如果一个防火墙单元失效了,系统会将所有的请求重定向到替代的单元,从而为用户提供了不中断的服务。更重要的是,提供防火墙单元间完全的冗余,避免了单点故障。
- 为系统的自然增长提供了完备的可扩展性,能够方便地管理一群相对低价位的防火墙或者VPN系统协同工作,无需花费大量的投资升级到一个昂贵的防火墙。而且,免去了建立一个防火墙簇所需要的烦琐的配置过程,任何一个防火墙都能简单地安装到系统上来。
- 保证了在正常的维护和升级期间的不间断服务。当要从网络上暂时移去一个防火墙时,会自动地将流量重定向到别的防火墙上。
由于通过防火墙的网络流量往往对于网络层是透明的(使用NAT的防火墙除外),所以对于防火墙之间的流量分配还涉及到对具体每个网络对话的保持问题,即要保证从某个防火墙进入的对话过程必须从该防火墙出去,这对流量分配算法提出了更高的要求。
多个网络接入线路之间的流量管理
对于大型的企业网络和大型的电子商务网站,可靠的Internet接入系统是非常关键的。越来越多的企业选择多个ISP的接入线路服务,但是配置多个ISP的Internet接入线路往往需要使用复杂的路由协议和聘请高级的技术人员来维护网络。然而实际上多个ISP接入线路是在多个路由器的接入端口上实现的,如果能够合理的分配各个接入线路上的流量,根据各个线路的运行状态,完成透明的流量重定向,就能大大简化多个接入线路的维护和管理。这样相应的流量管理技术和产品也就应运而生了。
在网络的部署中,流量管理设备处于内部网络和多个接入路由器之间,它实时监控各个接入链路的健康状态,智能地对进、出流量保证负载均衡。采用的智能动态NAT机制,保证每一个进出的数据包顺利地不中断的流动,动态NAT功能根据所选择的某个特定的ISP接入链路实时完成地址转换,例如,在某一个网络对话中,如果选择了ISP_1的链路完成数据的对外传送,那么该数据包的源地址就会自动地转换成ISP_1能够接受的源地址中的一个,保证后续的进入数据包能够正确的响应。这解决了多宿主网络IP地址规划困难的问题。
在网络临界区域,Internet流量通过流量管理设备的智能管理和控制得到优化。甚至还支持网络就近性的判断以决定更合适的路由,网络的就近性通过路由和网络延迟双重因素决定,网络管理员也可根据具体的情况为每条链路设定不同的权重,还能通过对网络就近性的感知能力,实现对那些访问该多宿主网络的进入流量控制。例如,对于某个多宿主网络上的Web服务器来说,可以结合自身内建的DNS功能,实现对来自不同ISP和Internet不同位置的访问的就近性路径选择,这样站点就有可能同时为商业网络和学术网络的用户提供快速的信息服务了。这样多宿主网络真正为信息传递提供了快速和健康的路由环境。
数据中心的可伸缩性流量控制
随着用户的不断增加,以及不同应用程序和机构共同使用同一个Web中心主机的需要,能否监控各种流量类型的带宽使用就成了比较重要的问题。Web主机管理员需要用它来给用户提供服务水平承诺(Service Level Agreements,SLA),Web网站管理员需要用它来确保资金的最优使用或避免因用户太多而造成的问题。
虽然监控流量的需求早就存在,但由于缺乏在量与精细程度上符合要求的工具,许多Web数据中心目前仍只能以“尽最大努力”的方式运作。就目前来说,在路由器和局域网交换机上使用的带宽管理或QoS解决办法不能满足今日Web数据中心里各种不同组合的虚拟服务器所要求的灵活性和准确度。而另一方面,专用的带宽管理应用程序在功能和可伸缩性方面又不能跟上今日数据中心不断增长的流量。
因此,需要引进高功能带宽管理服务,为Web数据中心管理提供对带宽使用的精细控制。带宽管理模拟了位于一个或多个实际端口中的多条“虚拟管道”。每个流量类型由实际端口、VLAN、起始或终点IP地址、TCP或UDP端口数、URL、HTTP cookie以及其他进入控制过滤器等多个规则决定。较复杂的类别如起始/终止访问量、QoS类型、在虚拟服务器中的HTTP cookie等可以用多种流量过滤器来决定。管理员也可根据符合不同虚拟管道标准的数据包来决定先后次序;一般情况下,交换机是根据虚拟服务(或IP)、过滤器、 VLAN,最后是实际端口这样的顺序来决定的。
对每条虚拟管道,管理员使用一种带宽规则,其中必须给出三种数据传送率:保证信息传送率 (Committed Information Rate -CIR),软上限及硬上限。CIR是交换机保证给予这条虚拟管道的数据传送率,在指定时间段内,数据传送率不会低于此值。Web交换机不停地试图将流量流通率提高到软上限。根据流量的大小以及试图模拟的传送率,交换机不断地调整通过虚拟管道的流量发送频率。硬上限决定了“切断”传送率,超过此值的流量会被丢掉。如想避免流量丢失,可用实际端口的最大传送率来设定硬界限。
除了最小与最大传送率以外,软界限的存在使网络服务提供商以及管理员可以将每个流量调整到理想目标传送率,同时又使系统留有足够余地以应付临时高峰和阻塞情况。
产品篇
ITM产品的四个主要应用领域,即服务器群、Cache中心、防火墙及VPN和多个Internet接入线路,是在Internet发展的过程中,由于实际的需求而逐渐发展起来的。ITM产品已经迅速地发展成为一个极具潜力的网络设备市场。而且越来越多的传统网络设备,如交换机、路由器也集成了部分的流量管理的功能。
目前ITM产品主要有三种类别:专用的ITM网络硬件设备、ITM软件的解决方案和智能交换机。对于想提供最稳定、最强壮的服务,同时又在快速成长的网络运营商和企业用户来说,引进流量管理是一个明智的选择。
目前市场上有多种基于软件/硬件的解决方案和产品。一个好的流量管理解决方案通常要完成四个方面的功能:基本的流量管理和分配,相应的网络或服务器设备的健康状况监测,针对用户的带宽管理和一定的安全机制,如防止恶意的入侵访问等。
Alteon
Alteon 180及ACEdirector系列是一个基于先进网络处理技术及分布式处理体系结构的Web交换机。Web交换机上的每个端口都具有一个在单个芯片中结合第2层数据包引擎和两个RISC处理器的WebIC。每个WebIC内的数据包引擎在硬件中交换第2层数据包,而网络处理器在软件中支持3到7层交换。另有一个附加的WebIC负责所有交换机后台处理,包括服务器健康检查、路由更新及交换机管理等。交换机内有20个RISC网络处理器并行处理Web交换工作,加上Alteon的虚拟阵列体系结构(VMA)软件,跨越所有交换机端口的每个网络处理器可同时处理传输而无需理会会话传输通过的物理端口。
VWA可优化具有重传输负载及复杂传输管理需求的网站性能,通过处理器及内存汇集,Alteon的Web交换机可同时支持众多Web交换服务,使性能下降问题大大改善。庞大的并行处理能提高总体系统性能,而内存汇集则支持大型交换表及用于深入的内容解析的大量缓冲,每个端口可以存取需要的任何内容及流程信息。
Alteon 700系列体系结构拥有多倍端口密度和传输容量,采用下一代WebIC,进一步优化了大型、传输量大的网站多重服务内容智能交换机的性能。
CA
CA MasterlT 提供对Internet、Extranet和Intranet网站的自动实时监控、报告和管理,它提供一整套工具和先进的功能,有助于确保用户的网站和服务器的持续可用性和性能。通过对网站使用情况连接分析,MasterlT可在问题影响经营业务之前解决它们,并帮助用户通过基于网络的应用程序向网站访问者提供响应服务。
MasterlT 具有Web通信流量分析和报表功能,MasterlT根据用户选择的一系列广泛标准和定制报表来监控网站使用情况。有关网站的利用信息有助于确定对用户最重要的内容,然后对内容进行加工处理,以最大限度地提供给用户。这些报表可通过Web浏览器访问和经由电子邮件分发,可以安排在任何时间运行,并遵守交互式审查标准。
Cisco
通过Cisco WebOS Internet 流量控制服务,其CSS11000 Web交换机可以提供良好的流量管理功能,包括本地和全局服务器负载均衡、应用重定向、数据包过滤,并支持内容智能交换。CSS11800交换机可以在多个服务器上保持负载均衡,提供了网络上各层的流量控制。对于任意基于 TCP、UDP 或 IP 的应用,CSS11800可以通过新增的WebOS软件跨多个服务器对应用会话进行跟踪和负载均衡处理。通过CSS11800的应用重定向技术,还可以对防火墙和路由器等设备进行负载均衡处理。
Cisco的 LocalDirector 是一个高可用性 Internet可伸缩性解决方案,它跨多个服务器智能地平衡TCP/IP流量负载。LocalDirector本身配备了一个热备用故障恢复机制,消除了服务器间的所有故障点,并确保最大的客户访问并为流量高峰和系统维护提供灵活的可伸缩性。服务器可以自动或透明地提供或退出服务,从而提供容错性能、对流量突然增加的快速响应以及没有站点停机的服务器维护。
F5 Networks
F5 Networks公司推出了一种集高速缓存、负载均衡、Web和电子商务网站流量管理的套装产品,其产品EDGE-FX Local Cache Cluster(局部高速缓存群集)集成了负载均衡特性,允许客户制定如何更好地利用高速缓存服务器的策略。EDGE-FX Local Cache Cluster每秒能处理1600项请求,吞吐率达到160Mbps,它还有供趋势分析用的网络和高速缓存管理软件。高速缓存群集有两部EDGE-FX高速缓存存储器,EDGE-FX高速缓冲存储器装有双口10/100Mbps网卡,群集有240GB存储器和1GB内存。
Foundry Networks
Foundry Networks ServerIron流量管理交换软件的新版本Internet IronWare 7.1提供了内容感知高速缓存交换功能,该功能可以提高高速缓存命中率,缩短Internet响应时间,节省带宽费用。该软件还支持流媒体协议,为所服务的媒体流提供记账和统计,以及为安全性和节约IP地址空间分配专用IP地址。采用Internet IronWare 7.1后,ServerIron支持所有主要流媒体协议,包括Windows Media、QuickTime和RealMedia。SeverIron和Internet IronWare允许企业用户及ISP同时配置服务器负载均衡和透明缓存交换,这个功能保护了用户在SeverIron平台上的投资并提供了最大的灵活性。
在当今的Internet上,要建立高质量、高可用性的Web站点,配置类似于Foundry SeverIron的流量管理型产品显得至关重要。当今的Web服务器是包含了许多计算机的集合,通过局域网形成一个服务器网络,采用流量管理器来进行调度和调节。Foundry的IronWare把这种高性能流量管理器提高到一个新的水平,并为那些具有高主动性的站点管理者提供了一个强有力的平台,使之能建立和扩充具有创新意义的Web应用程序。
英特尔
利用英特尔网擎(Intel NetStructure)7190多址流量分配器来管理Internet通信,即使数据中心分布于世界各地,仍然可以为电子商务客户提供可靠而迅捷的响应。这一互联网设备针对拥有多个网站位置的企业进行专门设计,能够根据单个URL将通信路由至最方便、最可用的站点。英特尔网擎7190多址流量分配器与英特尔网擎通信管理解决方案家族中的其他设备一起使用,能够轻松组成满足用户需要的站点平衡方法。
系统在后台收集多站点状态信息——服务器响应时间、通信量、本地系统状态,从而使英特尔网擎7190多址流量分配器能够立即确定每个数据中心的状态,并将通信路由至最佳站点。
英特尔网擎7340流量调整器使用户可以高效地管理网络通信、提供差别服务并控制广域网带宽分配。这一大容量的智能带宽监控与管理解决方案使用户能够赋予带宽优先级,以提高关键业务应用服务的带宽,限制非关键或大容量应用的带宽,从而提高众多应用和服务的性能。
英特尔网擎7340流量调整器可以监测并分类200多种网络通信,分析网络通信状态并提供网络报告。全面的报告功能使服务提供商能够根据具体数字进行容量规划并评估配置变化所产生的影响。英特尔网擎7340流量调整器还保留着网络通信流量报告,从而使管理员能够向用户推荐其他服务。
RADWARE
RADWARE IP负载均衡解决方案保证连续的Web站点访问、IP应用和内容服务,适用于所有本地或全球应用。
其中Web Server Director(WSD)可以有效地平衡IP负载,优化网络性能。WSD可以监视所有的用户请求并在可用的应用资源之间进行智能化的负载分配,从而提供极好的容错、冗余、优化和可扩展性能。
Cache Server Director(CSD) 是一种智能化的 Internet高速缓存服务器管理和负载均衡系统,专为在网络中使用高速缓存服务器阵列的企业而设计,可以提供优化的Internet访问和存储资源使用率。
FireProof 是一种动态负载均衡系统,可有效地管理多个防火墙和其他安全设备上的流量,在各单元之间动态地平均分配流量,同时还可兼顾呼入和呼出的流量。
LinkProof是一种全面的、易于使用的内容流量管理解决方案,适用于具有多个链接的网络,可向那些需要“永远在线”的网络提供完全内容流管理解决方案。
相关阅读:
- 企业为什么需要BSM (168net29, 2008-1-11)
- Mocha BSM产品亮点—Portal为展现中心的监控管理平台 (168net29, 2008-1-11)
导入论坛 引用链接 收藏 分享给好友 推荐到圈子 管理 举报
TAG: 管理 流量 流量管理 流量控制 网络 网络管理 应用管理

