Universitatea Politehnica Bucureşti - Facultatea de Automatica si Calculatoare

09.04.23 Arhitecturi şi Sisteme de Calcul – Prezentări Laborator 1

NEC Nehalem Cluster(Germania – Stuttgart)

Cristian Bârcă

332 CB

cristian.barca@cti.pub.ro

Universitatea Politehnica Bucureşti - Facultatea de Automatica si Calculatoare

09.04.23 2

• Introducere

• Detalii hardware

• Arhitectura clusterului– Caracteristici– Noduri instalate

• Noduri de acces (frontend nodes)• Noduri de calcul (compute nodes)

• Sistemul de planificare al joburilor (batch system)

• Clase de joburi

Cuprins

Arhitecturi şi Sisteme de Calcul – Prezentări Laborator

Universitatea Politehnica Bucureşti - Facultatea de Automatica si Calculatoare

09.04.23 3

• Ce este un cluster?

• Care este diferenţa dintre grid şi cluster?

• Ce reprezintă Top500Supercomputers?

• Ce este NEC? Dar Nehalem?

Dar mai întai...

Arhitecturi şi Sisteme de Calcul – Prezentări Laborator

Universitatea Politehnica Bucureşti - Facultatea de Automatica si Calculatoare

09.04.23 4

• The High Performance Computing Center Stuttgart (HLRS) of the University of Stuttgart

• Clasare în Top500Supercomputer– Iunie 2009, locul 77– Noiembrie 2009, locul 94 (Germania Top 5 – locul 4)– Iunie 2010, locul 110– Noiembrie 2010, locul 157 (Germania Top 10 – locul 8)

• Impreună cu NEC SX-9 formează platforma eterogenă de calcul pentru proiectul Baku al acestui centru de cercetare

Introducere

Arhitecturi şi Sisteme de Calcul – Prezentări Laborator

Universitatea Politehnica Bucureşti - Facultatea de Automatica si Calculatoare

09.04.23 5

Detalii hardware

Arhitecturi şi Sisteme de Calcul – Prezentări Laborator

Universitatea Politehnica Bucureşti - Facultatea de Automatica si Calculatoare

09.04.23 6

Caracteristici generale • Platforma NEC Nehalem Cluster este formată din peste 700 de

noduri

• Tipuri de arhitecturi C/GPU instalate pe noduri:– CPU: Intel Xeon 5560 (nehalem) – GPU: Nvidia Tesla C1060, Nvidia Quadro 5800FX

• Operating System: ScientificLinux 5.3 (internal test on Windows HPC Server 2008)

• Batchsystem: Torque/Maui/Moab • Node-node interconnect: Infiniband + GigE • OpenMPI Support• Compilatoare: Intel, GCC, Java

Arhitectura clusterului

Arhitecturi şi Sisteme de Calcul – Prezentări Laborator

Universitatea Politehnica Bucureşti - Facultatea de Automatica si Calculatoare

09.04.23 7

Noduri instalate

Arhitectura clusterului

Arhitecturi şi Sisteme de Calcul – Prezentări Laborator

Universitatea Politehnica Bucureşti - Facultatea de Automatica si Calculatoare

09.04.23 8

Noduri instalate: noduri de acces (frontend nodes)

• Există 2 noduri de acces, disponibile utilizatoriilor din mediul academic:– Cl3fr1.hww.de– Cl3fr2.hww.de

• Sunt concepute ca punct unic de acces la întreg clusterul

• Aici poti să îţi setezi mediul, să îţi muţi informaţiile, să editezi, să compilezi programele şi să creezi scripturi

• Utilizarea interactivă precum rularea programului (ceea ce duce la o supraîncarcare) nu este permisă pe astfel de noduri

Arhitectura clusterului

Arhitecturi şi Sisteme de Calcul – Prezentări Laborator

Universitatea Politehnica Bucureşti - Facultatea de Automatica si Calculatoare

09.04.23 9

Noduri instalate: noduri de calcul (compute nodes)

• 700 de noduri de calcul (n010501-n143302) – Servere de tip NEC HPC-144 Rb-1 – Folosite la rularea taskurilor în paralel

• Singura modalitate de a porni un serviciu paralel pe nodurile de calcul ale clusterului este folosirea sistemului de batch portabil (Torque)

• Joburile sunt transmise de la utilizator la coada “utilizator”

qsub -q user <...>

Arhitectura clusterului

Arhitecturi şi Sisteme de Calcul – Prezentări Laborator

Universitatea Politehnica Bucureşti - Facultatea de Automatica si Calculatoare

09.04.23 10

• Există 2 metode de utilizare a sistemului de batch

– batch pentru joburi interactive

– batch pentru joburi normale

Sistemul de planificare al joburilor(batch system)

Arhitecturi şi Sisteme de Calcul – Prezentări Laborator

Universitatea Politehnica Bucureşti - Facultatea de Automatica si Calculatoare

09.04.23 11

• Clase diferite de joburi - pentru utilizarea eficientă a resurselor.

• Pot fi depuse joburi cu o durata de pană la 24 de ore

• Valoarea implicita a duratei unui job este de 10 minute

• Numarul maxim de joburi pentru fiecare utilizator în diferite clase este restricţionat astfel:

Clase de joburi

Arhitecturi şi Sisteme de Calcul – Prezentări Laborator

Universitatea Politehnica Bucureşti - Facultatea de Automatica si Calculatoare

09.04.23 12

• TEST

• SINGLE

Clase de joburi

Arhitecturi şi Sisteme de Calcul – Prezentări Laborator

Universitatea Politehnica Bucureşti - Facultatea de Automatica si Calculatoare

09.04.23 13

• MULTI

Clase de joburi

Arhitecturi şi Sisteme de Calcul – Prezentări Laborator

Universitatea Politehnica Bucureşti - Facultatea de Automatica si Calculatoare

09.04.23 14

• TESLA

• HERO

Clase de joburi

Arhitecturi şi Sisteme de Calcul – Prezentări Laborator

Universitatea Politehnica Bucureşti - Facultatea de Automatica si Calculatoare

09.04.23 15

Va mulţumesc!

Ştiu că NU aveţi întrebări

Arhitecturi şi Sisteme de Calcul – Prezentări Laborator