Proiectele ştiinţifice ultra-moderne de astăzi sunt mai mari, mari complexe şi mai scumpe ca niciodată. Grid computing furnizează resursele care permit cercetătorilor să partajeze cunoştinţe, date şi puterea de procesare a calculatorului.

Oliver Gutsche stă într-un mic birou liniştit din clădirea Wilson Hall a laboratorului Fermilab, concentrându-se asupra ecranului calculatorului său, ignorând panorama ferestrei sale de la etajul 11. Lucrează febril pentru a respecta un termen limită de peste un pic mai puţin de doi ani, când peste 5.000 de oameni de ştiinţă vor participa la cel mai mare şi cel mai internaţional experiment de grid computing făcut vreodată.

Gutsche este un membru al experimentului de fizica particulelor numit Compact Muon Solenoid (CMS), unul dintre cele patru experimente construite la Marele Accelerator de Hadroni (LHC, Large Hadron Collider) de la CERN, Elveţia. Când LHC-ul, care va accelera particule la cele mai mari energii din lume, va începe să funcţioneze în 2007 (n.t. între timp, se pare că LHC va începe în 2008 sau 2009), cantităţi mari de date vor fi colectate de experimentele sale. Oameni de ştiinţă din lumea întreagă vor trebui să cearnă munţi de date pentru a găsi evidenţe evazive de noi particule şi forţe.

“Experimentul Compact Muon Solenoid (CMS) va colecta 225 megabytes de date pe secundă pentru o perioadă echivalată cu 115 zile în 2008,” spune Gutsche. “Asta înseamnă că în fiecare an se vor colecta peste doi petabytes de date”.

Un petabyte înseamnă multe date (ar fi nevoie de 1,4 milioane de CD-uri pentru a le stoca), iar experimentele de la LHC vor colecta petabytes de date timp de mulţi ani. Oricărei instituţii singure i-ar fi foarte greu să colecteze toate aceste date într-un singur loc şi să furnizeze suficientă putere de calcul pentru a permite ca mii de oameni de ştiinţă curioşi să aibă acces la ele zilnic. Astfel, experimentele LHC-ului şi alte colaborări ştiinţifice se bizuie pe o nouă cale de a partaja în mod sigur resursele: grid computing.

Conceptul de grid

Termenul de grid a luat naştere la sfârşitul anilor 1990 pentru a descrie o infrastructură computaţională care permite colaborărilor dinamice, distribuite, să partajeze resurse. Pionierii săi au prefigurat un viitor unde utilizatorii vor accesa resursele de calcul oricând este necesar fără a-şi face griji de unde provin, asemănător unei persoane care accesează  reţeaua de curent electric de acasă.

Un astfel de pionier, Carl Kesselman, de la Institutul de Informaţie pentru Ştiinţe (Information Sciences Institute) de la Universitatea din California de Sud, afirmă: "În societatea de astăzi, oamenii de ştiinţă lucrează mai mult ca niciodată în cadrul unei structuri organizaţionale care cuprinde multe instituţii, laboratoare şi ţări. Grid-ul înseamnă a construi o infrastructură a tehnologiei informaţiei pentru astfel de organizaţii virtuale".

Organizaţiile virtuale (VO-urile, de la Virtual Organizations) sunt colaborări tipice care se întind dincolo de graniţe instituţionale şi regionale, îşi schimbă membrii frecvent şi sunt guvernate de o mulţime de reguli care definesc ce resurse sunt partajate, cine are permisia de a le partaja şi condiţiile în care se va face partajul. Grid-urile furnizează hardware-ul şi software-ul care permit VO-urilor ca aceste lucruri să fie îndeplinite. Cum uneltele ştiinţifice moderne devin mai mari, mai complexe şi mai scumpe, cercetătorii au nevoie crescândă de acces la  instrumente, date şi colaboratori nu doar în instituţia lor gazdă.

“Nu este nicio exagerare să afirmi că vom colecta mai multe date în următorii cinci ani decât am facut-o în toată istoria umanităţii”, spune Tony Hey de la Microsoft, fost director la proiectul e-Science din Marea Britanie. “Grid computing şi e-Science vor permite acum ca acest noian de date să fie analizate ştiintific într-un mod nou, pasionant, mai bun”.

Aplicaţii în multe domenii

În domenii cum ar fi biologia şi geologia, grid-urile vor permite oamenilor de ştiinţă să unească tipuri vaste şi diferite de date, unelte şi metode de cercetare pentru a permite progresul ştiinţific.

“De exemplu, există un grup de cercetători în Anglia care studiază efectele proteinilor asupra celulelor inimii," explică Hey, "şi un alt grup în Noua Zeelandă cu un model mecanic al unei inimi care răspunde la un stimul electric. Dacă cele două grupuri ar putea accesa datele, programele de modelare şi resursele de calcul ale celuilalt, într-o zi ar putea fi capabili să determine exact cum o anumită proteină produsă de un defect genetic induce în inimă un semnal electric neobişnuit, care conduce la un atac de cord”.

Fizicienii din fizica particulelor precum Gutsche aparţin unora din cele mai mari colaborări ştiinţifice care folosesc grid-urile astăzi. Munca lui Gutsche are loc în cadrul Open Science Grid (OSG) – Grid-ul dedicat ştiinţei – un proiect de grid computing care va furniza cadrul de lucru pentru fizicienii din Statele Unite pentru a accesa datele de la LHC, provenind de la experimentele ATLAS şi CMS. Proiectul său presupune executarea unui program de analiză a datelor din OSG, astfel încât 500 de colaboratori CMS din Statele Unite să poată crea mulţimi de date legate de interesele lor individuale de cercetare. În primul rând, în orice caz, Gutsche trebuie să pătrundă secretele grid-ului.

Asemănător multor fizicieni din fizica particulelor  cariera lui Gutsche necesită ca el să fie (din punct de vedere practic) pe jumătate şi inginer în calculatoare. Expertiza computaţională, o istorie a colaborărilor internaţionale şi studierea intensă a datelor au condus fizicienii să fie fondatorii sau adoptatorii timpurii ale multor tehnologii distribuite de calcul cum ar fi Internet-ul, Web-ul, şi acum grid computing, o aplicaţie a calcului distribuit.

“Sistemul bancar a fost un exemplu timpuriu de calcul distribuit”, explică Ian Foster de la Universitatea din Chicago şi Laboratorul Naţional Argonne, care, împreună cu Kesselman, au publicat “Grid-ul: Schemă pentru a Nouă  Infrastructură de Calcul”, în 1998. “Sistemul este foarte concentrat pe transferul informaţiei pentru un scop foarte precis, folosind protocoale specificate de proprietarii datelor. În grid computing există o accentuare a ideii de a aduce împreună resurse distribuite pentru o varietate de scopuri, folosind protocoale deschise, gratuite (open)”.

Cum funcţionează grid-urile

Grid-urile vor permite oamenilor de ştiinţă şi publicului să folosească resurse, să acceseze informaţii şi să comunice cu alţi oameni în moduri în care nu este posibil acum. Un sistem unificat de grid computing care face legătura între oameni şi resurse este alcătuit din patru nivele de resurse şi software-uri stivuite unul deasupra celuilalt. Fiecare nivel al arhitecturii grid-ului depinde de cele de sub el. La bază se află nivelul reţelei de calculatoare, conectâdnd toate resursele grid-ului, care alcătuiesc al doilea nivel. Deasupra resurselor stă middleware-ul, software-ul care face grid-ul să funcţioneze şi care ascunde complexitatea sa faţă de utilizatorul grid-ului. Cei mai mulţi oameni vor interacţiona într-un final doar cu cel mai înalt nivel, aplicaţiile software, care este şi cel mai divers nivel. Include orice program pe care cineva doreşte să-l execute folosind resursele grid-ului.

Folosind grid-ul, un om de stiinţă ar putea sta la calculatorul său şi ar putea cere, de exemplu, o predicţie a climatului pentru următorii 10 ani. Ar porni aplicaţia de grid cea mai potrivită şi ar furniza locaţia geografică precum şi intervalul de timp al predicţiei. Aplicaţia şi middleware-ul vor face restul: se vor asigura că ea este un membru al unui VO căreia i se permite să acceseze resursele legate de climat; va localiza datele istorice necesare; va executa un program de predicţie a climatului folosind resursele disponibile şi va returna rezultatele la calculatorul său local.

Paşii care au fost făcuţi până acum în direcţia conceptului de grid fără cusur au fost posibili datorită unei creşteri bruşte a conectivităţii reţelelor din ultimul deceniu.

“Companiile au instalat multă fibră optică, gândindu-se că vor putea să o vândă la un profit bun”, spune Les Cottrell de la Centrul Acceleratorului Linear de la Standford. «Când s-a spart balonul, în loc de a-l vinde altor companii la un preţ de nimic, multe companii au dorit să negocieze contracte cu organizaţii academice şi de cercetare. De exemplu, drept rezultat, conexiunea laboratorului SLAC la backbone-ul Internet-ului a crescut de peste 60 de ori din 2000, de la 150 megabiţi pe secundă la 10 gigabiţi pe secundă şi putem transmite de 10 ori mai multe date către liniile transaltantice în aceeaşi cantitate de timp».

Disponibilitatea unor hardware, software şi management de reţea mai bune permite oamenilor de ştiinţă să folosească grid-ul pentru a partaja mai mult decât putere de procesare sau fişiere. Nivelul resurselor grid-ului, conectate de reţele de viteză ridicată, de asemenea, include de asemenea stocarea datelor, baze de date, depozite software şi chiar potenţiali senzori cum ar fi telescoape, microscoape şi baloane care prezic vremea”.

“Creierul” unui grid

A face multe reţele diferite şi resursele să pară o resursă unificată este treaba middleware-ului – “creierul” grid-ului. Tipurile de middleware folosite de un grid depind de scopul proiectului.

“Dacă construieşti un grid al informaţiilor, unde colectezi informaţii de la 15.000 de antene radio, te concentrezi asupra seviciilor de informaţie“, explică Olle Mulmo de la Institutul Royal al Tehnologiei din Suedia.  «Dacă pui la dispoziţie multe unităţi de prelucrare, te concentrezi asupra serviciilor de management al resurselor. Vei avea nevoie de servicii de date dacă compilezi multe date şi le faci disponibile altora. A patra categorie principală este securitatea, care funcţionează la nivelul tuturor celorlalte categorii».

Implementarea şi respectarea unor reguli ale VO-urilor despre cine poate accesa ce resurse, asigurarea faptului că accesul este securizat şi menţinerea evidenţei a cine face ce face asupra unui grid creează câteva din cele mai provocatoare probleme pentru dezvoltatorii grid-ului. Middleware-ul trebuie să furnizeze soluţii.
“Fără securitate – autorizaţie, autentificare şi conturi – nu există niciun grid", explică Fabrizio Gagliardi, director de proiect pentru Enabling Grids for E-sciencE, proiect fondat de Uniunea Europeană.

Cererile stricte legate de securitate şi conturi diferenţiază grid computing de alte aplicaţii distribuite de calcul. Descoperirile noi în securitate deja permit cercetătorilor academici să folosescă tehnologia grid-ului, însă rămân încă multe obstacle în utilizarea comercială a grid-urilor.

“În fizica particulelor, odată ce ai fost verificat că aparţii unui anumit VO, nu mai contează pe care şi mai ales câte dintre resursele VO-ului le foloseşti”, adaugă Gagliardi. “Însă dacă rulezi nişte programe într-un grid oferit de o companie contra cost, atunci ar trebui să fie un program de conturi strict pentru ce resurse ai folosit şi cât de mult le-ai folosit”.

O multitudine de grid-uri

Gutsche adaptează o aplicaţie de analiză fizică de la experiementul CMS care deja rulează pe LHC Computing Grid (Grid Computing-ul LHC-ului, LCG), infrastructura dedicată fizicieniilor europeni de la LHC, să ruleze pe OSG, dedicat fizicienilor din Statelor Unite. Datorită diferenţelor de middleware, aceeaşi aplicaţie nu rulează  automat atât pe LCG, cât şi OSG. Acest lucru este des întâlnit în lumea de astăzi a grid-urilor, care include grid-uri mici, mari, vaste, orientate pe un singur aspect şi multidisciplinare.

În situaţia de acum, un expert în grid-uri va petrece săptămâni sau luni pentru a adapta o anumită aplicaţie să ruleze pe un anumit tip de middleware al grid-ului, pentru ca apoi să repete procesul pentru a fi folosit cu un alt tip de middleware. Odată ce standardele vor fi adoptate de comunitatea grid-ului, pregătirea aplicaţiilor să funcţioneze pe un grid sau mai multe va fi mult mai uşoară.

“Comunitatea grid-urilor este acum destul de mare şi de experimentată astfel încât utilizatorii pot avea nevoie să comunice cu mai multe infrastructuri de grid”, spune Mulmo. «Pentru a face acest lucru astăzi, ei trebuie să aibă deseori mai multe middleware-uri instalate. Însă acum începem să vedem cum comunităţile şi colaborările internaţionale ne forţează pe noi, dezvoltatorii middleware-ului, să cooperăm pe interfeţele comune şi interoperabilitate. »

Vizionarii grid-urilor cred că în cele din urmă va fi un singur “Grid” internaţional alcătuit din mai multe grid-uri mici care operează ireproşabil.

“Întotdeauna o să semene puţin cu Internet-ul”, spune Foster, ”cu protocoale comune şi multe programe software obişnuite, însă multe reţele diferite proiectate pentru a livra o calitate diferită a serviciilor pentru comunităţi diferite. Unele comunităţi vaste vor dori sau vor avea nevoie de propria lor infrastructură dedicată, însă grupul mic de arheologi vor avea nevoie să folosescă o infrastructură cu scop general”.

Primele semne ale succesului

Gutsche stă la calculatorul său şi se pregăteşte să testeze aplicaţia de analiză a datelor ce rulează pe grid. El iniţializează interfaţa grid-ului său şi parcurge paşii pentru a se identifica ca utilizator în OSG şi LCG. Programul va extrage informaţii statistice dintr-o mulţime de date de fizica particulelor. El selectează mulţimea de date pe care o doreşte de pe un site Web şi tastează atât numele mulţimii de date cât şi a programului ce le va analiza într-un fişier mic. Porneşte aplicaţia utilizator de trimitere a analizei, care citeşte fişierul. Calculatorul îl preia mai departe de aici. Împarte cererea în mai multe sarcini mai mici şi le trimite la un calculator central cunoscut ca distribuitorul de resurse.

Distribuitorul de resurse găseşte datele experimentale, se asigură că acestea sunt complete şi verifică mulţimea de calculatoare unde datele sunt localizate pentru a verifica că acolo sunt suficiente resurse pentru a rula toate sarcinile lui Gutsche. Dacă este aşa, cererile sale sunt planificate şi stau la coadă pe « ferma » de calculatoare. Dacă totul decurge bine, sarcinile vor rula cu succes şi Gutsche poate colecta rezultatele de la distribuitorul de resurse.

Prima încercare a lui Gutsche în cadrul acestei zile eşuează, iar a doua încercare are aceeaşi soartă, evidenţă a faptului că grid-ul este încă o sarcină în progres. Eventual, cererea sa va rula cu succes pe un site LCG din Italia si pe un site OSG la Fermilab.

“Pentru a rula acum programe pe un grid încă mai este nevoie uneori de un expert care cunoaşte înformaţii specifice despre locaţia fiecărui grid”, afirmă  Gutsche. “Până în 2007, sperăm că toate acestea vor fi ascunse utilizatorului. Nu ştim unde rulează sarcina noastră, sau că două site-uri folosesc middleware-uri diferite. Tot ce ştim este ce date dorim şi unde să găsim rezultatele nostre.“

În ciuda dezvoltării importante încă necesară în tehnica grid-ului, mulţi oameni de ştiinţă au folosit deja grid-uri pentru a-şi avansa cercetarea. Fizicienii, biologii, chimiştii, cei ce lucrează cu nanotehnologii şi cercetătorii din alte domenii au folosit zeci de proiecte de tip grid pentru a accesa cu success resurse mai mari decât acelea disponibile în instituţia lor de acasă şi pentru a partaja şi utiliza diferite tipuri de date din specialităţi ştiinţifice diferite. Grid-urile multidisciplinare cum este OSG-ul şi TeraGrid-ul în Statele Unite şi proiectul  Enabling Grids in E-sciencE în Europa continuă să adauge mai multe aplicaţii la modernizarea stiinţei.

Chiar înainte de merge la masa de prânz, Gutsche primeşte un mesaj pe messenger de la un cercetator CMS care doreşte să fie ajutat la analizarea datelor cu ajutorul gridului. Aceasta este una din primele cereri pe care Gutsche le primişte şi el ştie că nu va fi ultima. Grid-urile devin din ce în ce mai populare şi Gutsche de-abia aşteaptă să ajute din ce în ce mai mulţi oameni să înceapă, privind cum grid-urile devin la nivel de unelte standard pentru descoperiri măreţe.

(Până aici, autorul a fost Katie Yurkewicz)

Unde este grid-ul meu?

Mulţi  membrii ai colaborărilor ştiinţifice mari deja au acces la grid-uri specializate, disponibile pentru cercetarea lor. Cei nu atât de norocoşi pot avea acces la resurse partajate prin intermediul unuia din multele proiecte multidisciplinare care se dezvoltă peste tot în lume. Aceste grid-uri variază de la «faza de test», care cuprind doar câteva calculatoare, la proiecte complet mature care partajează resurse vaste de-a lungul continentelor.

Cercetătorii universitari şi studenţii folosesc grid-urile în campus, cum ar fi Grid Laboratory of Wisconson (Laboratorul Grid de la Universitatea din Wisconsin-Madison, GLOW), sau Grid-ul Campusului Nanyang din Singapore, pentru a partaja resurse computaţionale din departamente diferite. Universităţile care încă nu au prins încă “boala grid-urilor” se pot alătura proiectelor statale sau regionale cum ar fi North Carolina Statewide Grid (Gridul Statului Carolina de Nord), care vor aduce beneficii companiilor, mediului academic şi guvernului când se va încheia, sau  SEE-Grid, care va include 10 ţări din sud-estul Europei (n.t. între care şi România).

Proiecte naţionale în cadrul grid computing abundă. În Japonia, cercetătorii în domeniul academic şi companii folosesc NAREGI şi peste 25 de ţări europene au acces fie la un grid naţional, fie la infrastructura Enabling Grids in E-sciencE (EGEE) finanţanţată de Uniunea Europeană. În Statele Unite, colaborările pot partaja şi accesa resurse folosind infrastructura Open Science Grid (OSG) sau pot aplica pentru timp de folosire a grid-ului TeraGrid, care face legătura între calculul performant, stocare şi resursele de vizualizare în cadrul unei reţele dedicate.

Creşterea grid-ului va conduce la super-capacităţi de procesare

Creşterea grid computing-ului ar putea influenţa viitorul supercalculatoarelor, dacă Horst Simon are dreptate. “Există câţiva care cred că super-computing-ul va fi înlocuit de grid,” spune Simion, de la  Centrul Naţional de Calcul pentru Cercetare Ştiinţifica în domeniul Energetic (National Energy Research Scientific Computing Center, NERSC) de la Laboratorul Naţional Lawrence Berkeley. “De exemplu, folosind multe PC-uri, SETI@home este un  succes clar şi poate face o muncă importantă“.

“Folosesc însă analogia cu reţeaua electrică”, continuă Simon. “Ar fi grozav să avem multe generatoare de energie bazate pe mori de vânt şi panouri solare care produc electricitate în toată ţara, însă acum, grid-ul de electricitate (reţeaua electrică) nu poate funcţiona fără marile centrale electrice. În acelaşi mod,  supercalculatoarele sunt într-adevăr asemenea marilor centrale electrice, făcând calculele care nu pot fi distribuite în grid.“

“În concluzie, grid-ul va conduce la o cerere chiar mai mare pentru supercalcul, care poate produce din ce în ce mai multe date pentru a utiliza efectiv capacitatea grid computing-ului. Gândiţi LCH-ul şi Tevatron-ul ca supercalculatoare. Grid computing-ul va susţine experientele CMS, ATLAS şi alte detectoarele de fizica particulelor, în timp ce supercalculatoarele acceleratorului produc din ce în ce mai multe date“.

Simon şi colegii săi Hans Meurer, de la Universitatea din Mannheim, Germania; Erich Strohmaier de la NERSC şi Jack Dongarra de la Universitatea din Tennessee-Knoxville întocmesc de două ori pe an lista celor mai rapide 500 supercalculatoare din lume (lista TOP500). Următoarea lor listă va fi publicată la   SC|05 în Seattle, pe 12-18 noiembrie, la conferinţa internaţională anuală a performanţelor înalte în calcul, reţele şi stocare. Pe lista actuală, care a fost publicată la conferinţa  ISC2005 din Heidelberg, Germania, pe 22 iunie, cel mai mare punctaj a fost acordat sistemului BlueGene/L, o alianţă de dezvoltare între IBM şi  Administraţia Naţională a Securităţii Nucleare (National Nuclear Security Administration, NNSA) de la DOE şi instalat la DOE's Lawrence Livermore National Laborator. Blue-Gene atinge 136,8 teraflopi sau trilioane de calcule pe secundă, deşi Simon a fost de acord că a judeca un supercalculator doar după viteză este asemănător cu a judeca un accelerator de particule doar după luminozitate.

Definiţia unui supercalculator a evoluat începând de la lista originală TOP500 din 1993, datorită performanţei competitive a tehnologiilor paralele impresionante din anii 1990. Acum, supercalculatoarele sunt definite ca cele mai mari sisteme disponibile la un anumit moment pentru rezolvarea celor mai importante probleme în ştiinţă şi inginerie, deşi sunt folosite în principal pentru aplicaţii ştiinţifice. Simon prevede o creştere spiralată a sinergiei între grid-uri şi supercalculatoare. “Supercomputing-ul şi grid-ul sunt complementare, consolidându-se mutual,” spune el. «Grid-ul furnizează uneltele potrivite din middleware pentru a obţine mai mult din datele ştiinţice”.

«Între  timp, supercomputing va continua creşterea sa spiralată». Supercomputing urmează legea lui Moore a creşterii exponenţiale», observă Simon. Laptop-ul standard din 2005 ar fi fost primul în lista primelor 500 din 1993.

(iar partea aceasta a fost tradusă de Mike Perricone)

(Tradus de Marinela Spiridon din revista "Symmetry", din noiembrie 2005, originalul putând fi găsit aici, autorii acestui  articol fiind Katie Yurkewicz şi Mike Perricone.)