Журнал LinuxFormat - перейти на главную

LXF164:Скры­тая опо­ра CERN

Материал из Linuxformat
Перейти к: навигация, поиск
Подписка на печатную версию
Весь 2015 год (12 номеров)
Первое полугодие (6 номеров)
Второе полугодие (6 номеров)
Подписка на электронную версию
Весь 2015 год (12 номеров)
Первое полугодие (6 номеров)
Второе полугодие (6 номеров)
Подшивки старых номеров журнала (печатные версии)
Весь 2014 год (12 номеров)
Первое полугодие (6 номеров)
Второе полугодие (6 номеров)


Содержание

Скры­тая опо­ра CERN

Адам Окс­форд вы­яс­ня­ет, как Linux по­мо­га­ет охо­тить­ся за бо­зо­ном Хигг­са.

Обыч­ный день док­то­ра Фаб­ри­цио Саль­ва­то­ре [Fabrizio Salvatore] скла­ды­ва­ет­ся при­мер­но та­ким об­ра­зом: ко­фе, ко­рот­кий бри­финг с дву­мя кан­ди­да­та­ми на­ук, ра­бо­таю­щи­ми на его ка­фед­ре в универ­си­те­те Сас­сек­са [University of Sussex], в зе­ле­ном кам­пусе Брай­тона. По­сле это­го – немно­го бо­лее про­дол­житель­ная встре­ча с па­рой ас­пи­ран­тов, занимаю­щих­ся ис­сле­до­вания­ми, а по­том – обыч­ные пре­по­да­ва­тель­ские де­ла и обя­зан­но­сти. Весь­ма ти­пич­ный ака­де­ми­че­­ский день.

Ес­ли же д-р Саль­ва­то­ре улучит вре­мя на соб­ст­вен­но­е ис­сле­до­вание, он начнет с то­го, что за­гру­зит про­грам­му под на­званием ROOT в свой но­ут­бук с Ubuntu. ROOT – из­люб­лен­ная про­грамм­ная сре­да для фи­зи­ки вы­со­ких энер­гий (HEP) и ана­ли­за час­тиц. Раз в неде­лю он про­во­дит кон­фе­рен­цию по те­ле­фо­ну со свои­ми со­трудника­ми по ис­сле­до­ванию по все­му ми­ру.

В один дей­ст­ви­тель­но пре­крас­ный день – воз­мож­но, это случится один-един­ст­вен­ный раз за всю его жизнь – он под­пи­шет бу­ма­гу об об­на­ру­жении поч­ти сто­про­цент­но­го до­ка­за­тель­ст­ва су­ще­ст­во­вания бо­зо­на Хигг­са, так на­зы­вае­мой час­ти­цы Бо­га, ко­то­рая при­да­ет осталь­ным час­ти­цам мас­су и, та­ким об­ра­зом, соз­да­ет ре­аль­ность имен­но в том ви­де, в ко­то­ром она су­ще­ст­ву­ет.

(thumbnail)
> Ими­та­ция то­го, как мо­гут вы­гля­деть дан­ные столк­но­ве­ния бо­зо­на Хигг­са.

Д-р Саль­ва­то­ре – один из 3300 уче­ных, ра­бо­таю­щих в ATLAS, про­ек­те, вклю­чаю­щем соз­дание, об­ра­бот­ку и ана­лиз дан­ных от Боль­шо­го ад­рон­но­го кол­лай­де­ра (БАК) во все­мир­но из­вест­ной швей­цар­ской ла­бо­ра­то­рии, CERN. «Когда я впер­вые по­пал в CERN в 1994 го­ду, – го­во­рит д-р Саль­ва­то­ре, – это бы­ло мое пер­вое пре­бы­вание за границей. И моя ра­бо­та здесь – а дли­лась она все­го ме­сяц – убе­ди­ла ме­ня в том, что я хо­чу ра­бо­тать над чем-то, свя­зан­ным с ней. Я знал, что бу­ду ра­бо­тать над кан­ди­дат­ской в об­лас­ти фи­зи­ки час­тиц, и знал, что хо­чу занимать­ся этим имен­но здесь».

В июне это­го го­да уче­ные из ATLAS и их кол­ле­ги из CMS, дру­го­го экс­пе­ри­мен­та CERN, объ­я­ви­ли о том, что они об­на­ру­жи­ли ве­ро­ят­ное до­ка­за­тель­ст­во су­ще­ст­во­вания бо­зо­на Хигг­са, важ­ной суб­атом­ной час­ти­цы, чье су­ще­ст­во­вание пред­по­ла­га­лось чис­то тео­ре­ти­че­­ски на про­тя­жении пол­ве­ка, но ко­то­рой никто не на­блю­дал. Эту но­вость ок­ре­сти­ли «одним из са­мых важ­ных на­уч­ных от­кры­тий всех вре­мен», и сде­лал это не кто иной, как секс-сим­вол на­уч­ной сфе­ры, про­фес­сор Брай­ан Кокс [Brian Cox]. И – от­ло­жим в сто­ро­ну та­кую ме­лочь, как са­мо соз­дание БАК – Хиггс был об­на­ру­жен поч­ти це­ли­ком и пол­но­стью с по­мо­щью Linux. На са­мом де­ле, мно­гие из тех уче­ных, с ко­то­ры­ми мы бе­се­до­ва­ли, ска­за­ли, что ина­че сде­лать это бы­ло бы невоз­мож­но.

Ин­те­рес об­ще­ст­вен­но­сти к ра­бо­те CERN неуди­ви­те­лен. Не­воз­мож­но остать­ся равно­душ­ным при раз­го­во­рах об уско­ри­те­лях час­тиц, кван­то­вой ме­ханике и воссоз­дании то­го со­стояния, в ко­то­ром пре­бы­ва­ла Все­лен­ная в са­мом на­ча­ле вре­мен, да­же ес­ли вы не понимае­те то­го, что на са­мом де­ле оз­на­ча­ют по­ня­тия су­пер-сим­мет­рии и эле­мен­тар­ной час­ти­цы. Внут­ри кол­лай­де­ра про­то­ны на­прав­ля­ют­ся друг на дру­га со ско­ро­стью, близ­кой к ско­ро­сти све­та. Они про­ле­та­ют по­ряд­ка 17 миль замк­ну­то­го про­стран­ст­ва под Фран­ко-Швей­цар­ски­ми Аль­па­ми, и суб­атом­ные оскол­ки их столк­но­вений фик­си­ру­ют­ся одним или несколь­ки­ми из се­ми де­тек­то­ров, раз­ме­щен­ных по пе­ри­мет­ру коль­ца. ATLAS и CMS – только два из них.

И неве­ро­ят­ное фи­зи­че­­ское яв­ление столк­но­вения двух про­то­нов – это лишь на­ча­ло напряженной ра­бо­ты; именно то, что про­ис­хо­дит по­том, тре­бу­ет на­ли­чия од­но­го из крупней­ших в ми­ре ком­пь­ю­тер­ных про­ек­тов с от­кры­тым ко­дом.

БАК – это мно­го дан­ных

(thumbnail)
> Ком­пь­ю­тер­ную сеть рас­пре­де­лен­ных вы­чис­ле­ний Ве­ли­ко­бри­та­нии, GridPP, мож­но про­смат­ри­вать че­рез раз­ные пор­та­лы.

Экс­пе­ри­мен­ты или «со­бы­тия» в БАК да­ют мас­су ин­фор­ма­ции. Да­же по­сле от­бра­сы­вания 90 % дан­ных, по­лу­чен­ных его сен­со­ра­ми, по из­на­чаль­ным при­бли­зи­тель­ным под­сче­там, для хранения дан­ных от кол­лай­де­ра по­тре­бу­ет­ся по­ряд­ка 15 пе­та­байт еже­год­но. В 2011 го­ду кол­лай­дер пре­доста­вил око­ло 23 пе­та­байт дан­ных для ана­ли­за, а в 2012-м ожи­да­ет­ся, что эта циф­ра вы­рас­тет до 30 ПБ, то есть в два раза пре­взой­дет из­на­чаль­но планируе­мый по­ка­за­тель. Этой зи­мой уско­ри­тель за­кро­ет­ся на 20 ме­ся­цев на ре­монт и мо­дерниза­цию, что при­ве­дет к еще боль­ше­му уве­ли­чению объема дан­ных, по­лу­чен­ных в ре­зуль­та­те экс­пе­ри­мен­тов.

Вот эти циф­ры и есть про­дукт: тес­ти­руя ре­зуль­та­ты, фи­зи­ки не ра­бо­та­ют ис­клю­чи­тель­но с по­следними дан­ны­ми. Со­бы­тие внут­ри кол­лай­де­ра никогда не рас­смат­ри­ва­ет­ся изо­ли­ро­ван­но, но всегда счи­та­ет­ся ча­стью це­ло­го. Сбор дан­ных от БАК, их рас­пре­де­ление и тес­ти­ро­вание – ко­лоссаль­ная за­да­ча. «Са­мое глав­ное ис­пы­тание для нас при ком­пь­ю­тер­ной об­ра­бот­ке дан­ных, – объ­яс­ня­ет Ян Берд [Ian Bird], ру­ко­во­ди­тель про­ек­та Worldwide LHC Computing Grid, – это по­иск ре­сур­сов, ко­то­рые по­на­до­бят­ся для экс­пе­ри­мен­та в бу­ду­щем, по­то­му что и объ­ем дан­ных, и тре­бо­вания к их об­ра­бот­ке бу­дут все вре­мя по­вы­шать­ся, а эко­но­ми­че­­ская си­туа­ция та­ко­ва, что фи­нан­си­ро­вание силь­но не уве­ли­чить».

Проводя па­рал­лель, мож­но ска­зать, что Google еже­днев­но об­ра­ба­ты­ва­ет око­ло 25 ПБ. Но при этом Google не ана­ли­зи­ру­ет ка­ж­дый пик­сель в ка­ж­дой бу­к­ве ка­ж­до­го сло­ва, по­ме­щае­мо­го в ар­хи­вы, из-за то­го, что в нем за­ре­ги­ст­ри­ро­ва­на подпись основ­ной час­ти­цы, ко­то­рую по­камест никто не на­блю­дал.

«То, чем мы занима­ем­ся, не по­хо­же на то, чем занима­ют­ся осталь­ные, – го­во­рит Берд. – Ска­жем, ска­чав ви­део, вы по­лу­чи­те нема­ло дан­ных, но боль­шин­ст­во, ско­рее все­го, про­сто по­смот­рит де­сять пер­вых фай­лов, и их мож­но со­хранить в кэ­ше, что­бы уско­рить об­ра­бот­ку. На­ша про­бле­ма в том, что мы ра­бо­та­ем с ко­лоссаль­ны­ми на­бо­ра­ми дан­ных, и фи­зи­кам ну­жен весь на­бор це­ли­ком. Им нуж­ны не пер­вые че­ты­ре ги­га­бай­та это­го на­бо­ра, а все 2,5 ПБ – так же, как и ты­ся­че дру­гих ис­сле­до­ва­те­лей. И вы не мо­же­те ис­поль­зо­вать обыч­ную ком­мер­че­скую сеть пе­ре­да­чи дан­ных для ре­шения этой про­бле­мы».

Пау­ло Ка­ла­фиу­ра [Paulo Calafiura] – глав­ный ар­хи­тек­тор экс­пе­ри­мен­таль­но­го ПО ATLAS, и он ра­бо­та­ет в этом про­ек­те с 2001 го­да. Тогда ощу­щение его мас­штаб­но­сти мно­гое из­менило.

«Мы бы­ли на пе­ре­до­вой “боль­ших дан­ных”, – го­во­рит Ка­ла­фиу­ра. – Когда я впер­вые ска­зал, что у нас бу­дет 10 ПБ дан­ных в год, у на­ро­да че­лю­сти от­вис­ли. В на­ши дни Google или Facebook мо­гут без осо­бых уси­лий сде­лать это в лю­бом из сво­их цен­тров об­ра­бот­ки дан­ных. Од­на­ко в нау­ке мы по-прежнему оста­ем­ся ли­де­ра­ми по объ­е­му дан­ных». Бу­ду­чи по спе­ци­аль­но­сти про­грам­ми­стом, Ка­ла­фиу­ра име­ет бо­га­тый опыт ра­бо­ты в об­лас­ти фи­зи­ки. До на­ча­ла ра­бо­ты в ATLAS он по­мо­гал пи­сать GAUDI Framework – это фун­да­мент боль­шин­ст­ва при­ло­жений фи­зи­ки вы­со­ких энер­гий, осо­бен­но ис­поль­зуе­мых в CERN. Идея GAUDI за­клю­ча­лась в соз­дании об­щей плат­фор­мы для фи­зи­че­­ских ис­сле­до­ваний, что­бы об­лег­чить со­трудниче­­ст­во уче­ным все­го ми­ра.

До GAUDI, по сло­вам Ка­ла­фиу­ры, боль­шин­ст­во про­грамм для ана­ли­за обыч­но пи­са­лись по ме­ре на­доб­но­сти на язы­ке FORTRAN. Бла­го­да­ря пе­ре­хо­ду на объ­ект­но-ори­ен­ти­ро­ван­ную сре­ду для сбо­ра дан­ных, мо­де­ли­ро­вания и ана­ли­за с ис­поль­зо­ванием C++, ко­ман­да, в ко­то­рой ра­бо­тал Ка­ла­фиу­ра, за­ло­жи­ла осно­вы ши­ро­ко­мас­штаб­но­го гло­баль­но­го со­трудниче­­ст­ва на осно­ве ра­бо­ты CERN.

«Сре­да GAUDI оп­ре­де­лен­но яв­ля­ет­ся муль­ти­п­лат­фор­мен­ной, – го­во­рит Ка­ла­фиу­ра. – Сна­ча­ла про­грам­ма ATLAS под­дер­жи­ва­лась ря­дом плат­форм Unix, а GAUDI под­дер­жи­ва­ла – и под­дер­жи­ва­ет – Windows. При­мер­но в 2005 го­ду мы от­клю­чи­ли сбор­ку Solaris [из-за от­сут­ст­вия ин­те­ре­са], а до это­го боль­шая часть обо­ру­до­вания ра­бо­та­ла на HPUX. Но сер­ве­ры пе­ре­шли на Linux, и все бы­ли до­воль­ны».

«В дан­ный мо­мент, – про­дол­жа­ет Ка­ла­фиу­ра, – с точ­ки зрения на­стоя­щих ком­пь­ю­тер­ных тех­но­ло­гий и раз­ра­бот­ки при­клад­ных про­грамм мы яв­ля­ем­ся в чис­том ви­де мас­тер­ской Linux. Рас­тет чис­ло тех, кто ра­ту­ет за MacOS, но ра­бо­та ве­дет­ся на са­мой луч­шей осно­ве».

По сло­вам Ка­ла­фиу­ры, но­ут­бу­ки Apple все ча­ще встре­ча­ют­ся сре­ди уча­стников кон­фе­рен­ций по фи­зи­ке вы­со­ких энер­гий, но в них очень ред­ко мож­но встре­тить кноп­ку Пуск [Start]. «В сво­ей ду­ше ар­хи­тек­то­ра, – при­зна­ет он, – я не очень до­во­лен тем, что мы ра­бо­таем ис­клю­чи­тель­но на Linux, по­то­му что про­ще ре­шать неко­то­рые про­бле­мы, не бу­ду­чи за­ви­си­мым от плат­фор­мы. Но ис­поль­зование толь­ко Linux по­зво­ля­ет нам обой­ти ряд ост­рых уг­лов. На­при­мер, мы об­су­ж­да­ли non-POSIX функ­цию Linux под на­званием Splice – это ка­на­л, где вы не ко­пи­руе­те дан­ные, что по­вы­ша­ет эф­фек­тив­ность на­шей об­ра­бот­ки дан­ных».

Со­трудниче­­ст­во в об­лас­ти от­кры­то­го ко­да

Око­ло 10 000 фи­зи­ков по все­му ми­ру ра­бо­та­ют над про­ек­та­ми, свя­зан­ны­ми с CERN; две тре­ти из них бро­ше­ны на круп­ные экс­пе­ри­мен­ты, ATLAS и CMS.

Ана­лиз дан­ных, про­из­ве­ден­ных БАК – это дер­зание на мно­гих уров­нях. Пре­достав­ление уче­ным ре­зуль­та­тов подразумевает мас­со­вую пе­ре­да­чу дан­ных. За­тем вста­ет во­прос об­ра­бот­ки этих дан­ных. На­деж­ность – то­же важ­ный ас­пект: ес­ли на сер­ве­ре где-то по­сре­ди про­цес­са про­изой­дет сбой по­сле двух­су­точ­ной ра­бо­ты, его пе­ре­за­пуск бу­дет сто­ит все­го ранее за­тра­чен­но­го дра­го­цен­но­го вре­мени и уси­лий.

Сфе­ра об­ра­бот­ки и хранения дан­ных в CERN обес­пе­чи­ва­ет­ся мощ­ным про­ек­том рас­пре­де­лен­ных вы­чис­лений внут­ри од­ной из са­мых мощ­ных вы­чис­ли­тель­ных се­тей в ми­ре, с са­мым ши­ро­ким ох­ва­том. Точ­ная тер­ми­но­ло­гия и реа­ли­за­ция WLCG раз­ная в 36 стра­нах и 156 ор­ганиза­ци­ях, принимаю­щих уча­стие в про­ек­те, но по сути это – мно­го­уровневая сеть для досту­па и ре­сур­сов. В цен­тре этой се­ти рас­по­ла­га­ет­ся CERN, или Tier 0 (T0), рас­по­ла­гаю­щий свыше 28 000 ло­ги­че­­ских CPU для обес­пе­чения рас­пре­де­лен­ных вы­чис­лений. T0 – это ме­сто, где генери­ру­ют­ся необ­ра­бо­тан­ные экс­пе­ри­мен­таль­ные дан­ные. С T0 со­единены – ча­ще все­го 10-Gbps во­лок­ном – цен­тры Tier 1 (T1), ко­то­рые обыч­но рас­по­ла­га­ют­ся в круп­ных на­цио­наль­ных ла­бо­ра­то­ри­ях фи­зи­ки вы­со­ких энер­гий и вы­сту­па­ют в ро­ли локаль­ных уз­лов. В боль­шин­ст­ве слу­ча­ев все T1 от­ра­жа­ют одни и те же дан­ные, про­из­ве­ден­ные в CERN.

Ни­же цен­тров T1 рас­по­ла­га­ют­ся цен­тры об­ра­бот­ки дан­ных Tier 2 (T2). Как пра­ви­ло, они рас­по­ло­же­ны в круп­ных универ­си­те­тах, где име­ют­ся необ­хо­ди­мые ре­сур­сы, что­бы обес­пе­чить сво­бод­ное ме­сто, стой­ки и как минимум од­но­го со­трудника для ра­бо­ты с ними. Обыч­но со­единение ме­ж­ду цен­тра­ми T1 и T2 осу­ще­ст­в­ля­ет­ся че­рез на­цио­наль­ную ака­де­ми­че­скую сеть (в Ве­ли­ко­бри­тании это JANET), и по­это­му они име­ют вы­со­кую ско­рость, но не спе­ци­аль­но вы­де­лен­ный тра­фик. Локаль­но хра­нят­ся не все ис­сле­до­ва­тель­ские дан­ные – ско­рее, под­на­бо­ры дан­ных, пред­став­ляю­щие ин­те­рес для оп­ре­де­лен­ной ор­ганиза­ции, бу­дут на­хо­дит­ся на по­сто­ян­ном хранении, а осталь­ные дан­ные бу­дут по ме­ре надо­бно­сти брать­ся в T1.

Уч­ре­ж­дения Tier 3 (T3) – это, как пра­ви­ло, менее мас­штаб­ные универ­си­те­ты и ис­сле­до­ва­тель­ские цен­тры, ко­то­рым не тре­бу­ют­ся от­дель­но вы­де­лен­ные для ра­бо­ты ме­ст­ные ре­сур­сы, но ко­то­рые, со­глас­но тре­бо­ваниям, ска­чи­ва­ют дан­ные из се­ти T2 и обес­пе­чи­ва­ют их об­ра­бот­ку в се­ти рас­пре­де­лен­ных вы­чис­лений.

Су­ще­ст­ву­ет несколь­ко ин­фор­ма­ци­он­ных он­лайн-панелей, ку­да ка­ж­дый мо­жет зай­ти и уви­деть со­стояние се­ти (са­мые ин­фор­ма­тив­ные – http://dashb-wlcg-transfers.cern.ch/ui/, https://netstat.cern.ch/monitoring/network-statistics/visual/?p=ge и http://wlcg.web.cern.ch/. В на­стоя­щий мо­мент име­ет­ся око­ло 90 000 фи­зи­че­­ских CPU на 345 893 ло­ги­че­­ских ядрах, со­единен­ных с WLCG. Об­щая ем­кость хранения со­став­ля­ет 300 ПБ. В Ве­ли­ко­бри­тании на­цио­наль­ный про­ект рас­пре­де­лен­ных вы­чис­лений WLCG из­вес­тен как GridPP, и управ­ля­ет им из Универ­си­те­та Окс­фор­да Пит Гронбаx [Pete Gronbach]. Со­глас­но кар­те се­ти – www.gridpp.ac.uk – с GridPP сое­динено бо­лее 37 000 ло­ги­че­­ских ядер CPU, и все это ра­бо­та­ет как еди­ный ре­сурс для уче­ных, занимаю­щих­ся ана­ли­ти­кой на осно­ве дан­ных CERN.

«Мы по­сто­ян­но про­во­дим монито­ринг сис­те­мы, убе­ждаясь, что на­ши сер­ви­сы ра­бо­та­ют нор­маль­но, – объ­яс­ня­ет Гронбаx. – Ес­ли вы по­тер­пе­ли неуда­чу в ка­ком-ли­бо тес­те, это ото­бра­жа­ет­ся на кон­троль­ной панели, и от­вет­ст­вен­ные за монито­ринг на­блю­да­ют за таки­ми ве­ща­ми и при­сваи­ва­ют та­ким цен­трам та­лон неис­прав­но­сти. Есть про­то­кол, со­глас­но ко­то­ро­му центр, что­бы быть ча­стью се­ти, обя­зан обеспечивать оп­ре­де­лен­ный уровень услу­г, и неис­прав­ность долж­на быть уст­ранена за оговорен­ное вре­мя. Все де­ла­ет­ся на очень про­фес­сио­наль­ном уровне – воз­мож­но, вы не жда­ли та­ко­го от универ­си­те­та. Но это не та вещь, с ко­то­рой мы мо­жем шу­тить».

Одно из тре­бо­ваний для цен­тра T2 –на­ли­чие ра­ботника с пол­ной за­ня­то­стью, чья обя­зан­ность – под­дер­жи­вать ре­сур­сы се­ти, и еженедель­но про­во­дят­ся ви­део- или ау­дио­кон­фе­рен­ции ме­ж­ду сисад­мина­ми WLCG, что­бы обес­пе­чить кор­рект­ную ра­бо­ту всей се­ти и свое­вре­мен­ное об­нов­ление ее ре­сур­сов.

Крайне важ­но, что Linux по­зво­ля­ет цен­трам HEP снизить рас­хо­ды, по­сколь­ку мож­но ис­поль­зо­вать бо­лее или менее об­щие ком­понен­ты во всей се­ти об­ра­бот­ки и хранения дан­ных. CERN – ог­ром­ное об­ще­ст­вен­ное вло­жение, бо­лее мил­ли­ар­да ев­ро еже­год­но, и он дол­жен уметь счи­тать день­ги. Это так­же оз­на­ча­ет, что CERN мо­жет под­дер­жи­вать ПО с от­кры­тым ко­дом, типа Disk Pool Manager (DPM), применя­емое для под­держ­ки кла­сте­ров хранения. Как и сле­ду­ет ожи­дать от ор­ганиза­ции, по­да­ри­в­шей челове­че­­ст­ву Все­мир­ную пау­ти­ну, она от­лич­но осоз­на­ет все пре­иму­ще­ст­ва со­вме­ст­ной раз­ра­бот­ки.

«GridPP су­ще­ст­ву­ет бо­лее 10 лет, – го­во­рит Гронбаx, – но мно­гие па­кет­ные сис­те­мы оста­лись те­ми же: мы ис­поль­зу­ем TORQUE и MAUI, на базе PBS. Один-два цен­тра ис­поль­зу­ют Grid Engine, но для него под­держ­ка не рас­про­странена. Та­кие ве­щи прак­ти­че­­ски неиз­мен­ны дол­гие го­ды. Дру­гие час­ти ПО, та­кие, как Computing Element (это эле­мент, си­дя­щий ме­ж­ду вхо­дя­щи­ми за­да­ча­ми поль­зо­ва­те­ля и их от­прав­кой в па­кет­ную сис­те­му об­ра­бот­ки), уже про­шли че­рез мно­же­ст­во по­ко­лений, и мы об­нов­ля­ем их при­мерно раз в пол­го­да».

По сло­вам Ка­ла­фиу­ры, мно­го­ядер­ная об­ра­бот­ка дан­ных ста­ла са­мым зна­чи­мым луч­шением се­ти рас­пре­де­лен­ных вы­чис­лений.

«Бла­го­да­ря мно­го­ядер­ной об­ра­бот­ке, – го­во­рит он, – мы смог­ли ис­поль­зо­вать спе­ци­фи­че­скую хит­рость Linux – от­вет­вить, ско­пи­ро­вать и за­пи­сать – для за­пуска вось­ми или 16 ко­пий од­но­го и то­го же при­ло­жения».

Сейчас основ­ное об­нов­ление, про­ис­хо­дя­щее в GridPP – уста­нов­ка Scientific Linux 6 (SL6) и ­свежей вер­сии Lustre для хранения фай­ло­вых сис­тем. SL со­вме­ст­но под­дер­жи­ва­ет­ся CERN и аме­ри­кан­ской ла­бо­ра­то­ри­ей Fermilab. На мо­мент пи­сания нашей ста­тьи SL6 ра­бо­та­ет на 99 365 ком­пь­ю­те­рах – это ниже нор­мы, видимо, из-за летних каникул в боль­шин­ст­ве стран се­вер­но­го по­лу­ша­рия. https://www.scientificlinux.org/about/stats/2012/arch.html

SL6 – от­ветв­ление Red Hat Enterprise Linux, вы­бран­ное за его неве­ро­ят­ную ста­биль­ность. Не все ис­сле­до­ва­те­ли применяют SL, и все ин­ст­ру­мен­ты, жизнен­но важ­ные для ра­бо­ты CERN, со­вмес­ти­мы с дру­ги­ми ди­ст­ри­бу­ти­ва­ми – по-прежнему по­пу­ля­рен Ubuntu. Но на всех сер­ве­рах, со­единен­ных с WLCG, вер­сия SL5 или вы­ше. «Что по­ра­до­ва­ло за по­следние 10 лет – это ав­то­ма­ти­че­­ская уста­нов­ка и ад­минист­ри­ро­вание этих сис­тем, – про­дол­жа­ет Грон­бах. – Мы мо­жем уста­нав­ли­вать сис­те­мы, ис­поль­зуя Pixiboot, Kickstart, CF Engine или Puppet для бы­ст­рой или уда­лен­ной пе­реуста­нов­ки уз­ла, по­то­му что ком­пь­ю­тер­ные цен­тры час­то рас­по­ла­га­ют­ся вне универ­си­те­та».

Унификация обо­ру­до­вания и от­ла­жен­ное FOSS так­же об­лег­ча­ет мно­гим цен­трам вы­ход он­лайн и воз­мож­ность пред­ло­жить свои ре­сур­сы се­ти. В июне Сас­сек­с стал цен­тром T2. Универ­си­тет при­сое­динил­ся к про­ек­ту ATLAS в 2009 го­ду, когда д-р Саль­ва­то­ре и д-р Анто­нел­ла Де Сан­то [Antonella De Santo] вошли в про­ект от Универ­си­те­та Ро­ял Хол­лоу­эй [Royal Holloway], еще од­но­го цен­тра T2, соз­дав груп­пу ATLAS. Бла­го­да­ря их ра­бо­те Сас­секс по­лу­чил фи­нан­си­ро­вание, так что д-р Саль­ва­то­ре, д-р Де Сан­то и ка­фед­ра ИТ смогли соз­дать центр об­ра­бот­ки дан­ных на 12 сто­ек, со 100 CPU и 150 TБ хранимых дан­ных, в зале с ес­те­ст­вен­ным ох­ла­ж­дением, за­тра­тив 80 000 фунтов.

Уг­л­у­б­им­ся в де­та­ли

По­ми­мо управ­ления па­кет­ной об­ра­бот­кой дан­ных для ты­сяч ре­зуль­та­тов, еже­днев­но по­сту­паю­щих в WLCG HEP, про­цесс на­уч­но­го ис­сле­до­вания экс­пе­ри­мен­таль­ных дан­ных так­же тре­бу­ет под­хо­да, осно­ван­но­го на от­кры­том ко­де. Все уча­стники экс­пе­ри­мен­та от­ве­ча­ют за по­сто­ян­ное улуч­шение про­грам­мы в плане ее спо­соб­но­сти вы­де­лить зна­чи­тель­ные со­бы­тия сре­ди мил­ли­ар­дов час­тиц.

Нет ниче­го невоз­мож­но­го в том, что­бы быть фи­зи­ком и при этом не раз­би­рать­ся C++ и не знать, как оп­ти­ми­зи­ро­вать код с по­мо­щью ком­пи­ля­то­ра, но это вхо­дит в про­грам­му обу­чения в Сас­сек­се и дру­гих уч­ре­ж­дениях HEP.

«На­ше со­об­ще­ст­во бы­ло со­об­ще­ст­вом от­кры­то­го ко­да за­дол­го до то­го, как оно по­лу­чи­ло это на­звание, – го­во­рит Берд. – Мы ис­поль­зу­ем ком­мер­че­­ское ПО там, где это нуж­но и мож­но, но все про­грам­мы для ана­ли­за на­ших соб­ст­вен­ных дан­ных на­пи­са­ны у нас же, по­то­му что для вы­полнения та­кой ра­бо­ты боль­ше ниче­го не су­ще­ст­ву­ет».

(thumbnail)
> Это не съем­ки web-ка­ме­рой зна­ме­ни­то­го пят­нич­но­го тур­ни­ра CERN по Quake. Это ус­та­нов­ка ре­кор­да энер­гии для БАК в но­яб­ре 2009 го­да — двой­ной пу­чок дос­тиг по­ка­за­те­ля 1,18 TэВ.

Ве­ли­чи­на и слож­ность ATLAS и CMS оз­на­ча­ет на­ли­чие со­тен про­фес­сио­на­лов в об­лас­ти ПО, ра­бо­таю­щих над соз­данием и под­держ­кой ко­да, но, по­сколь­ку раз­ные цен­тры занима­ют­ся раз­ны­ми час­тя­ми экс­пе­ри­мен­та, та­кие ин­ст­ру­мен­ты, как SVN, жизнен­но важ­ны для управ­ления ра­бо­той над ка­ж­дым ал­го­рит­мом. «Вы не смог­ли бы сде­лать это­го в дру­гой опе­ра­ци­он­ной сис­те­ме, – го­во­рит д-р Саль­ва­то­ре. – С ин­ст­ру­мен­та­ми вро­де SVN про­ще ра­бо­тать из­нут­ри ОС, и мы это оп­ре­де­лен­но экс­плуа­ти­ру­ем, как мож­но глуб­же проникая в ОС; в про­прие­тар­ных же сис­те­мах ОС скры­та за несколь­ки­ми уров­ня­ми».

Од­на­ко управ­ление ре­зуль­та­та­ми ра­бо­ты ты­сяч ака­де­ми­ков HEP – это за­да­ча, тре­бу­ющая не про­сто управ­ления вер­сия­ми. «Здесь при­сут­ст­ву­ет и некая до­ля со­цио­ло­гии, – го­во­рит Ка­ла­фиу­ра. – При на­ли­чии 3000 уча­стников нуж­ны осо­бые про­це­ду­ры, что­бы вы­яснить, кто яв­ля­ет­ся чле­ном ATLAS, а кто под­пи­сы­ва­ет до­ку­мент о Хигг­се. Су­ще­ст­ву­ет сис­те­ма кре­ди­тов. Тра­ди­ци­он­но это ли­бо ра­бо­та с де­тек­то­ром, ли­бо раз­ра­бот­ка про­грамм. Ес­ли у ко­го-то есть хо­ро­ший ал­го­ритм для от­сле­жи­вания дви­жения час­ти­цы по де­тек­то­ру, они тра­тят несколь­ко лет на со­вер­шен­ст­во­вание это­го ал­го­рит­ма и пе­ре­да­ют его в об­щий про­грамм­ный ре­по­зи­то­рий, и он ста­но­вит­ся ча­стью офи­ци­аль­ных ин­ст­рук­ций. До 2010 го­да боль­шая часть вкла­да в раз­ви­тие ПО бы­ла сде­ла­на фи­зи­ка­ми, и толь­ко в об­лас­ти яд­ра тру­ди­лись про­фес­сио­на­лы. А за­тем все из­менил тот мо­мент, когда на­ча­ли по­сту­пать ре­аль­ные дан­ные. В те­чение несколь­ких по­следних лет фи­зи­ки ис­поль­зу­ют ин­ст­ру­мен­ты, под­го­тов­лен­ные ку­да мень­шим со­об­ще­ст­вом. Я занима­юсь фи­зи­кой вы­со­ких энер­гий боль­шую часть сво­ей жизни, и ка­ж­дый раз, когда экс­пе­ри­мент на­чи­на­ет пре­достав­лять дан­ные, боль­шая часть со­об­ще­ст­ва сра­зу те­ря­ет вся­кий ин­те­рес к техниче­­ско­­му ас­пек­ту».

За­час­тую ис­сле­до­вания на­чи­на­ют­ся с то­го, что фи­зи­ки раз­ра­ба­ты­ва­ют тео­ре­ти­че­скую ба­зу для рас­че­та ре­зуль­та­тов со­бы­тия, в ко­то­ром поя­вит­ся бо­зон Хигг­са. Как толь­ко уче­ный пред­ла­га­ет оп­ре­де­лен­ный сце­на­рий, на­чи­на­ют­ся по­пыт­ки смо­де­ли­ро­вать его, ис­поль­зуя Monte Carlo, про­грам­му, ра­бо­таю­щую на осно­ве се­ти рас­пре­де­лен­ных вы­чис­лений, ко­то­рая пы­та­ет­ся спрог­но­зи­ро­вать, что про­изой­дет при столк­но­вении про­то­нов. Ре­зуль­та­ты сравнива­ют­ся с ба­зой дан­ных ре­аль­ных ре­зуль­та­тов, что­бы вы­яснить, кто бу­дет про­во­дить дальней­шие ис­сле­до­вания. Со­бы­тие, в ко­то­ром вы­яв­ля­ет­ся ве­ро­ят­ность по­яв­ления час­ти­цы Хигг­са, по­яв­ля­ет­ся из на­бо­ра дан­ных, со­стоя­ще­го при­мерно из квад­рил­лио­на столк­но­вений. Есть груп­пы уче­ных и раз­ра­бот­чи­ков ПО, свя­зан­ные с ка­ж­дой ча­стью «основ­ных» ком­пь­ю­тер­ных ре­сур­сов, ко­то­рые управ­ля­ют по­ве­дением БАК и основ­ным от­бо­ром дан­ных.

Бу­ду­щее

По­сколь­ку в кон­це го­да БАК бу­дет от­клю­чен на мо­дерниза­цию, ес­те­ст­вен­но, что в выс­ших эше­ло­нах про­ек­та вы­чис­лений шло нема­ло де­ба­тов по по­во­ду то­го, чем бу­дет занимать­ся WLCG, что­бы со­от­вет­ст­во­вать воз­росшим тре­бо­ваниям экс­пе­ри­мен­тов в об­лас­ти фи­зи­ки вы­со­ких энер­гий.

«Когда мы на­ча­ли всю эту ра­бо­ту, – го­во­рит Берд, – нас бес­по­кои­ла сеть, по­лу­чение доста­точ­ной ско­ро­сти пе­ре­да­чи и на­деж­ность всего этого. Все по­лучилось про­сто фан­та­сти­че­­ским и пре­взош­ло все ожи­дания. По­это­му се­го­дня во­прос зву­чит так: “Как нам ис­поль­зо­вать сеть еще луч­ше?” Мы ищем бо­лее ра­зум­ные спо­со­бы ис­поль­зо­вания се­ти, кэ­ши­ро­вания и пе­ре­да­чи дан­ных, когда то­го по­тре­бу­ет ра­бо­та, вме­сто по­пы­ток вы­яснить, где они по­тре­бу­ют­ся».

Не­из­беж­но возника­ет те­ма об­лач­ных вы­чис­лений. Не­что вро­де EC2, на­при­мер, непрак­тич­но для по­все­днев­но­го ис­поль­зо­вания, из-за вы­со­кой стои­мо­сти пе­ре­да­чи дан­ных с и на сер­ве­ры Amazon. Од­на­ко он мо­жет при­го­дить­ся для добавоч­ных вы­чис­лений во вре­мя про­ве­дения основ­ных кон­фе­рен­ций, по­сколь­ку на них всегда есть спрос, когда уче­ные ра­бо­та­ют над за­вер­шением сво­их ста­тей и уточнением ре­зуль­та­тов. Боль­шин­ст­во кла­сте­ров се­ти пред­на­зна­че­ны для 90 % ис­поль­зо­вания сво­их ре­сур­сов при обыч­ных об­стоя­тель­ст­вах, и в них недоста­точ­но сво­бод­ных цик­лов, ко­то­рые мож­но бы­ло бы за­дей­ст­во­вать.

«С ис­поль­зо­ванием ком­мер­че­­ских об­ла­ков есть про­бле­мы – оно обходится зна­чи­тель­но до­ро­же, чем мы мо­жем сде­лать са­ми, – го­во­рит Берд. – С дру­гой сто­ро­ны, имеются та­кие тех­но­ло­гии, как OpenStack, ко­то­рые крайне ин­те­рес­ны. Сей­час мы ис­поль­зу­ем пи­лот­ный кла­стер OpenStack, ко­то­рый по­зво­ля­ет нам пред­ла­гать раз­ные ви­ды сер­ви­сов и да­ет воз­мож­ность применять дру­гой спо­соб со­еди­не­ния цен­тров об­ра­бот­ки дан­ных – это не со­всем то, что нам нуж­но, но мы ста­ра­ем­ся ид­ти в но­гу с тех­но­ло­гия­ми, что­бы не за­стаи­вать­ся, не вяз­нуть в бо­ло­те, занима­ясь тем, чем боль­ше никто не занима­ет­ся».

Столь же го­ря­чей те­мой для об­су­ж­дения сре­ди раз­ра­бот­чи­ков ATLAS яв­ля­ет­ся GPGPU. «Не­ко­то­рые ака­де­ми­ки, на­при­мер, в Глаз­го, рас­смат­ри­ва­ют воз­мож­ность пор­ти­ро­вания сво­его ко­да в GPGPU, – го­во­рит Грон­бах из GridPP, – но во­прос в том, со­от­вет­ст­ву­ет ли тип ана­ли­за, ко­то­рый они де­ла­ют, дан­но­му ти­пу об­ра­бот­ки дан­ных. Боль­шая часть на­ше­го ко­да яв­ля­ет­ся тем, что из­вест­но под на­званием “усложнен­но­го па­рал­ле­лиз­ма”, мы мо­жем на­ре­зать со­бы­тия и дан­ные на пор­ции и от­пра­вить ка­ж­дую из этих пор­ций на от­дель­ный CPU, и ему незачем знать, как ре­ша­ют­ся дру­гие за­да­чи. Но са­ма по се­бе эта за­да­ча не па­рал­лель­ная; она не очень хо­ро­шо впи­сы­ва­ет­ся в об­ра­бот­ку дан­ных ти­па GPU».

По сло­вам Бер­да, боль­шой ин­те­рес вы­зы­ва­ет ожи­дае­мое обо­ру­до­вание Intel Larabee/Xeon Phi.

И хо­тя по по­во­ду раз­ви­тия са­мой круп­ной в ми­ре се­ти рас­пре­де­лен­ных вы­чис­лений ве­дут­ся ожив­лен­ные де­ба­ты, мож­но со всей оп­ре­де­лен­но­стью ска­зать, что ра­бо­та CERN бу­дет про­дол­жать­ся, и бу­дет ста­но­вить­ся все бо­лее тре­бо­ва­тель­ной ка­ж­дый год. Су­ще­ст­во­вание бо­зо­на Хигг­са по­ка не под­твер­жде­но, цель Боль­шо­го ад­рон­но­го кол­лай­де­ра по­ка не достиг­ну­та и не яв­ля­ет­ся един­ст­вен­ной за­да­чей, над ко­то­рой он ра­бо­та­ет. Это все­го лишь пер­вый круп­ный анонс мно­же­ст­ва – бу­дем на­де­ять­ся – гря­ду­щих со­бы­тий.

По­это­му в сле­дую­щий раз, лю­бу­ясь звез­да­ми и пре­да­ва­ясь фи­ло­соф­ским раз­мыш­лениям о том, как же все это на­ча­лось, помните, что все на­ши недав­но по­лу­чен­ные знания о жизни, Все­лен­ной и обо всем осталь­ном – это ре­зуль­тат тру­да ты­сяч уче­ных и некого замечательно­го пин­гви­на. |

Источник — «http://wiki.linuxformat.ru/wiki/index.php?title=LXF164:%D0%A1%D0%BA%D1%80%D1%8B%C2%AD%D1%82%D0%B0%D1%8F_%D0%BE%D0%BF%D0%BE%C2%AD%D1%80%D0%B0_CERN&oldid=18979»
Персональные инструменты
купить
подписаться
Яндекс.Метрика