我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:香港跑狗图 > 调度策略 >

新浪微博混合云架构实践挑战之弹性调度揭秘

归档日期:05-05       文本归类:调度策略      文章编辑:爱尚语录

  :《微博混合云架构》专栏是 InfoQ 向新浪微博技术团队的系列约稿,本专栏包含 8 篇内容,详细阐述以 DCP 设计理念为指导思想的混合云架构实践。本文是该系列的第三篇,主要讲解了在新浪微博业务背景下 DCP 的弹性调度揭秘。

  微博 DCP 弹性调度的需求是快速迭代实现内网私有云计算资源统一管理调配,公有云上获得计算资源,实现快速自动化资源调度与应用部署。我们要解决的问题主要有服务池动态伸缩、单机容器灰度、多实例部署、故障自动恢复、定制的调度算法与策略、容量评估、跨 IDC 调度等。

  如上图所示,不可避免的问题是,业界任一调度框架 Mesos、kubernetes、Swarm 都不能是解决微博业务现状面临的资源调度问题的“银弹”。所以我们设计了一个调度适配层生态圈系统 Roam。封装调度框架提供通用 Rest API,适配不同资源管理框架。同时自实现特定的调度伸缩策略等。本文将主要介绍新浪微博混合云架构上的可扩展、可插拔式统一弹性调度平台的建设。

  微博混合云刚开始阶段直接使用 Swarm。Swarm 是 Docker 官方推出容器集群管理工具,属 Docker 原生体系,提供标准标准 Docker API 对 Docker Container cluster 进行管理,接入成本低,基于标签的分组调度,满足微博业务现状需求。Swarm 管理 Docker 容器集群很简单:

  这样你便可通过 Swarm API 进行容器集群管理。由于微博开始用 Swarm 比较早,当时基本在官方还是 beta 版本,面对微博现实复杂业务场景以下几点无法满足:

  Swarm 在最开始版本发起调度有全局锁,这样整个过程就变为串行,影响调度性能。排查发现调度慢主要集中在拉镜像比较慢,改进优化为预拉镜像,提升性能。Swarm1.0 版本后改为分布锁,同步也大大提升性能。

  针对以上问题我们对 Swarm 进行了二次封装,研发出调度适配层系统 Roam。Roam 对外提供 Rest API,通过 Swarm 获取 Docker 容器信息,外层自适配调度策略后下发 Swarm 集群,同时支持 Docker Deamon 直接下发。

  简单介绍下 Swarm 的调度算法:调度 = 主机 or 容器过滤 + 策略选择

  所有的调度框架分组调度都是标签,Swarm 基于 Docker Deamon Label 标签(注:Docker Label 标签修改必须重启 Docker Deamon,在最近官方 Docker 1.10.0 版本已支持 Docker Engine 配置热更新,使容器与 Docker Deamon 的耦合性大大降低)。在 Docker Label 标签基础上,对标签进行扩展和落地存储,记录和执行不同调度策略,集成 Swarm 调度算法,支持跨集群 / 服务池调度、指定 IP 规划、定时调度、多实例调度等。

  不同调度框架按照集群进行划分,统一由 Roam 提供 Rest API 管理。完整的调度系统也依赖周报体系建设:服务编排、服务发下、容量评估等构成弹性调度生态圈,其它模块后续将由微博平台其它同学来给大家介绍,敬请关注 InfoQ 专栏。

  跨云业务部署时,应该使得业务以最小规模部署,在公有云上通过预付费方式,常态化部署业务的最小规模,并提供在线服务。另外应该尽量减少跨云专线的调用,保持带宽在可控范围之内,需要将业务后端资源 Memory Cache 等本地化,减少跨专线请求;一旦发生跨专线请求时,需要开启一些流量压缩的协议。同时,微博内部通过 WMB 缓存数据双向同步机制,基于消息分发策略,在专有云内部对缓存的读写以消息的方式同步到公有云的缓存上,延迟一般在毫秒级,同时在专线出现异常时,消息不会丢失,保证高可用。

  微博弹性调度离不开微博高可用多机房架构。上图是 2016 年春晚时微博的业务混合云部署形态。内部是典型的后端互联网服务技术站,通过四层的负载,用 Nginx 实现七层负载,再往后是一些 Web 层的计算和 RPC 服务,最下面是缓存层的资源、数据库。由于数据库的请求量和数据安全要求比较高,因此暂时没有将 DB 层放到公有云上。架构的中间是采用了 SLB 服务、之下的 RPC、Web、Nginx 都是部署在 ECS 上的。

  春晚峰值流量来临优先弹性内网资源。阿里云常备部署不需要弹性资源如缓存 Memcache、队列处理机等依赖。Web 前端机常规 30 台机器,春晚主体弹性扩容 Web 前端机至 1000+,很好完成备战三节。

  综上所述弹性调度系统采用了开源的解决方案,例如 Swarm、Mesos 等。在它们的基础上封装了统一调度的 API,将原来专有云内分散的各个应用平台统一到一起,大大节省在基础运维上的时间成本。

  弹性调度作为新浪微博混合云架构的重要组件,其框架选型要从业务需求出发来设计系统架构。而业务落地要考虑资源调度框架对周边技术体系建设的依赖,考虑通用性设计实现,以及技术架构的迭代升级。弹性调度后续发展方向为数据中心操作系统,整合在线、离线资源,以更大程度地提高资源利用率。

本文链接:http://mikephotos.net/diaoducelue/281.html