印刷产品分类:
您当前所在位置:官网首页 > 行业新闻 >

活捉抢算力的谷歌员工!博弈论或可破数据中心“囚徒困境”

把“数据中心”和“博弈游戏”两个词放在一同,你会想到什么?经济学家们研讨的“囚犯窘境”?仍是《魔兽国际》的用户数据?

咱们今日要讲的,正是“数据中心”和“博弈游戏”的结合,但和在线游戏一点联系没有。

今日的论题,是切实发生在数据中心的博弈——从同享的许多核算机和存储体系中抢占资源。

即使是在算力最为满足的的公司——谷歌,职工们也常常进行这样的博弈。

当要求提交使命的核算需求时,一些职工会夸张了他们对资源的恳求,以削减与别人同享的数量。风趣的是,其他一些职工则会削减了他们的资源恳求,伪装他们的使命能够轻松地在任何一台核算机上完结。一旦他们在一台机器上开端使命,相关的操作就会耗尽机器上一切可用的资源,并挤掉他们搭档的使命。

这些手段看起来有点诙谐,但它直指一个实在的问题——功率低下。

2018年,全球数据中心耗电量为2050亿千瓦时,简直和澳大利亚全境的用电量适当,约占国际总量的1%。由于服务器未被充分使用,因而许多动力被糟蹋掉了。一台闲暇服务器所糟蹋的电力适当于其峰值用电量的50%;而当服务器开端作业时,其固定的电力本钱就将分摊到该作业上。

由于作业单个使命的用户一般只占用服务器资源的20%到30%,因而多个用户有必要同享服务器以进步其使用率,然后进步其动力功率。同享还能够下降本钱、运营和根底设施本钱。究竟,不是每个人都有满足的钱来树立自己的数据中心。

为了分配同享资源,数据中心布置有资源办理体系,依据用户需求和体系本身方针,对可用的处理器内核、内存容量和网络资源进行区分。乍一看,这个使命应该很简略,由于用户常常有弥补需求。但现实并非如此。同享在用户之间发生了竞赛,正如咱们看到的谷歌职工,很或许会歪曲资源的运用。

因而,咱们能够运用博弈论(game theory),即描绘理性决策者之间战略交互的数学模型,进行了一系列项目,以此来办理这些自私用户之间的资源分配,一同最大化地进步数据中心的功率。在这种状况下,这种博弈还的确有利于处理资源分配问题。

钱银兑换机制失效,博弈论上台

协助一群理性和自私的用户有效地同享资源并不仅仅是大数据年代的产品。经济学家们几十年来一直在这样做。

在经济学中,市场机制依据供求来决议资源的价格。实际上,现在不少公共数据中心就在这么做,比方Amazon EC2和Microsoft Azure。在那里,实在钱银的搬运充当了一种东西,将用户的动机(绩效)与供给商的方针(功率)结合起来。

可是,在许多状况下,钱银兑换机制是失效的。

让咱们考虑一个简略的比方。

假定在你最好朋友的婚礼上,你得到了一张歌剧表演的门票,你决议把票给最喜欢该表演的人。所以你要进行所谓的第二价拍卖:让你的朋友们为这张票出价,规则赢家付出给你第二高的出价。数学上现已证明,在这种拍卖中,你的朋友没有动机去谎称他们对这张歌剧票的评价。

假如你不想要钱或不能让你的朋友付你钱,你的挑选就会变得十分有限。假如你问你的朋友他们有多想去看歌剧,没有什么能阻挠他们夸张他们对门票的巴望。歌剧票仅仅一个简略的比方,但在许多当地——比方谷歌的私家数据中心或学术核算机集群——金钱要不不能易手,要不便是不应易手,更不能以此来决议谁得到什么。

博弈论为这类问题供给了可行的处理方案——实际上它已被应用于核算机网络和核算机体系。咱们从这两个范畴取得了创意,但咱们也有必要处理它们的局限性。在核算机网络中,有许多作业经过规划机制来办理自利的和不协调的路由器以防止拥塞。可是这些模型只考虑对单个资源网络带宽的争用。在数据中心核算机集群和服务器中,有各式各样的资源需求抢夺。
在核算机体系中,人们对考虑多种资源的资源分配机制发生了稠密的爱好,特别是一种称为分配资源公平性的机制。可是,这类作业仅限于功能模型和处理器与内存的比率,它们并不总是反映数据中心的实在场景。

“核算冲刺”引起“公地悲惨剧”

为了提出适用于数据中心的博弈论模型,咱们深入研讨了硬件架构的细节,从最小的层次开端:晶体管。

长期以来,晶体管在缩小体积的一同耗散的功率越来越小,部分原因是下降了作业电压。可是,到2005年左右,这种被称为登纳德缩放份额的规律已被打破。

成果便是,关于固定的电力预算,处理器不再以咱们习气的速度变快。一个暂时的处理方案是将多个处理器中心放在同一块芯片上,这样许多的晶体管依然能够在经济上得到冷却。可是,很明显,你不或许一同全速作业一切的中心,不然芯片会熔化。

2012年,核算机架构师提出了一种名为“核算冲刺”(computational sprinting)的变通办法。其概念是处理器中心能够在短时刻距离(称为冲刺)内安全地打破它们的能量预算。在一次冲刺之后,处理器有必要鄙人一次冲刺之前冷却下来;不然芯片就会被熔毁。假如处理正确,“冲刺”能够使体系对作业负载的改动做出更快速的呼应。“核算冲刺”开端是为智能手机等移动设备的处理器而提出的,由于这些处理器有必要束缚用电量,以节约电量,一同防止“烫坏”用户。但“冲刺”很快就应用于数据中心来处理核算需求的激增。

这便是问题所在。假定自私的用户们具有启用了带有“冲刺”的服务器,这些服务器在数据中心中同享一个电源供给。用户能够经过冲刺来进步处理器的核算才干,但假如大部分处理器一同冲刺,那么电力负荷将会激增。然后断路器跳闸。这就迫使不间断电源(UPS)中的电池在体系康复时供给电力。在这样的紧急状况之后,一切的服务器都有必要在电池充电的时分以额定功率作业——不答应冲刺。

这种景象是经典的“公地悲惨剧”(tragedy of the commons)的一个版别,英国经济学家威廉·福斯特(43.900, 2.11, 5.05%)·劳埃德(William Forster Lloyd)在1833年的一篇文章中初次提出了这一观念。他描绘了如下的状况:假定牧牛人同享一块土地来放牧他们的牛。假如一个牧民把超越分配数量的牛放到公共草地上,这个牧民能够取得边沿收益;但假如许多牧民这样做,过度放牧将损坏土地,损伤一切人。

咱们与其时杜克大学(Duke University)的博士生Songchun Fan一同,把“冲刺”战略当作公地悲惨剧来研讨。咱们树立了一个重视两个首要物理束缚的体系模型。首要,关于服务器处理器,冲刺要求处理器在芯片散热时等候,然后束缚了未来的操作。其次,关于一个服务器集群,假如断路器跳闸,那么一切的服务器和处理器有必要在UPS电池充电时处于等候状况。

咱们规划了一个博弈游戏。在每一轮竞赛中,用户或许处于三种状况中的一种:活泼状况、冲刺后的冷却状况、紧急断电后的康复状况。在每一轮游戏中,用户仅有能决议的便是当他们的处理器处于活动状况时是否进行冲刺。用户期望优化他们的冲刺以取得优点,比方进步吞吐量或削减履行时刻。但也要注意,这些优点会跟着冲刺的发生时刻而改动。例如,冲刺在需求量大的时分更有利。

考虑一个简略的比方。在第5轮,你知道假如此刻冲刺将取得10个单位的收益,可是处理器有必要冷却几个回合才干再次冲刺。假定现在你冲刺了,那么在第6轮,你会发现冲刺能够取得20个单位的收益。另一种状况是,你将冲刺权保存到了下一轮但一切其他用户都决议在第5轮时冲刺,这导致电力紧急状况,使你无法在后续几轮中冲刺。更糟的是,到那时你的收益就不会那么高了。

短跑游戏中的“均匀场博弈剖析”

玩家们运用一个数据中心来同享信息。假如其间一个玩家挑选在第5轮冲刺,他们将取得必定的收益,但他们有必要要等处理器冷却一段时刻才干再次加快。假如他们比及第6轮或许之后再冲刺,他们会取得更多收益。

假如太多的玩家一同冲刺,电流大幅度添加会导致断电。在核算机集群的不间断电源电池充电之前,任何人都不能再冲刺,即使是没有冲刺的玩家4也不可。

一切用户都有必要权衡他们取得的功效的多少和其他用户的冲刺战略,之后再做出相应的决议。虽然少量用户竞赛的比方或许很风趣,但跟着竞赛对手的数量增长到数据中心的规划,做出这些决议就变得十分扎手。

走运的是,咱们找到了这种叫做“均匀场博弈剖析”的办法,能够在在大型体系中优化每个用户的战略。这种办法将一切用户战略考虑为一个全体,防止了考虑每个竞赛对手战略的复杂性。这种核算办法的要害在于假定任何单个用户行为都不会显著地改动体系的均匀行为。正是由于这一假定,咱们能够用单个均匀效应来近似一切其他用户对任何给定用户的影响。

这有点类似于数百万上班族企图优化他们的日常出行。咱们以文摘菌这样一个上班族为例。虽然不能用她以一概全。可是,文摘菌的行为方式能够揣度出上班族这一全体在特定一天中期望抵达的时刻,以及他们的出行方案会怎么加重路途拥堵等。
均匀场剖析答应咱们找到冲刺游戏的“均匀场平衡”。用户会优化他们对集体的呼应。这也意味着,在平衡状况下,违背他们对全体的最佳呼应将没有任何优点。

在交通状况中,文摘菌会依据对通勤人群均匀行为的了解来优化通勤。假如优化后的方案没有发生预期的交通方式,她就会批改自己的预期并重新考虑自己的方案。跟着每一个通勤者在几天内的一次优化,交通收敛到一些重复的方式,通勤者的独立举动发生一个平衡。

经过均匀场平衡,咱们拟定了冲刺游戏的最优战略:当功能收益超越某个阈值时,用户应该冲刺。

该阈值依据用户的不同而不同。咱们能够运用数据中心的作业负载及其物理特性来核算这个阈值。

当每个人都在均匀场平衡下以他们的最优阈值作业时,体系将会获益良多。首要,数据中心的电源办理能够是分布式的,由于用户能够完结他们自己的战略,而不需求向中心办理员恳求加快答应。这种独立性使得功率操控愈加活络、节能。用户能够在微秒或更少的时刻内调理处理器的功耗。而假如他们有必要等候几十毫秒来取得答应,才干经过数据中心,那么这种作用将难以完结。其次,用户能够依据自己的作业负载需求来及时优化加快战略,使得均衡条件下能够完结更多核算作业。最终,当增益超越阈值时,用户的战略就变成了简略的冲刺。这是十分简单履行的。

得寸进尺必自毙:在冲刺游戏中,与“贪心”战略比较,运用均匀场均衡战略能够用更少的力完结更多的功。

博弈论必将发挥巨大作用

“冲刺办理项目”仅仅咱们在曩昔五年中开发的一系列数据中心办理体系中的一个。在每一款游戏中,咱们都运用了硬件架构和体系的要害细节来规划游戏。而这样使用这一办理机制使得,当参加者行为表现得过于自私利己时,体系仍旧能够安稳作业。咱们有理由信任,这样的确保只会鼓舞同享体系的参加,并为节能和可扩展的数据中心奠定坚实的根底。

虽然咱们现已设法在服务器多处理器、服务器机柜和服务器集群等级处理了资源分配问题,可是将它们用于大型数据中心仍需求许多作业。一方面,你有必要能够生成数据中心的功能概要。因而,数据中心有必要布置必要的根底设施来监督硬件活动、评价功能成果和揣度对资源的偏好。

这类体系的大多数博弈论处理方案都要求剖析阶段离线进行。相反,构建能够从一些先验常识开端,然后在履行过程中跟着特征变得更明晰,而更新其参数的在线机制或许搅扰更小。在线机制乃至或许经过强化学习或另一种方式的人工智能来改善游戏。

还有一个现实问题便是:在数据中心,用户能够随时进出体系,使命能够在核算过程中随意交叉,服务器或许会失利并重新启动。一切这些事情都需求重新分配资源,可是这些重新分配或许会损坏整个体系的核算,并要求对数据进行分流,然后耗尽资源。

在坚持每个人公平竞赛的一同,敷衍一切这些改动必定需求更多的作业,但咱们深信博弈论必将发挥巨大作用。

城市网络

公司简介

凯时娱人生就是博 ,www.凯时,凯时国际娱乐下载…… 更多>>

欢迎来电来厂咨询