HPC Big Data Virtualization mar2018.ppt - PRO...

HPC * Big Data * Virtualizare – cerinte si solutii

ing. Petrică Bărbieru

29 Martie 2018 Bucuresti

ing. Petrică Bărbieru – Director General PRO SYS SRL

Program eveniment

9:00 – 9:30 Primirea invitaţilor

9:30 – 10:10 Soluţii HPC/Big Data/Virtualizare – ing. Petrică Bărbieru, Director General PRO SYS

10:10 – 10:20 Capabilităţi HPC şi simulare numerică la IMT–Bucuresti – dr. Titus Sandu, IMT–

Bucureşti

10:20 – 10:30 Noutaţi ANSYS – ing. Constantin Ciolofan, Director General INAS Craiova

10:30 – 10:45 Pauză de cafea

10:45 – 11:25 Demo – HPC&Big Data – Management unificat – Cătălin Bostan, consultant IT, PRO SYS

11:25 – 11:40 HPC – avantaj important în dezvoltarea aplicaţiilor aerospaţiale – Oana Dumitrescu,

INCDT COMOTI

11:40 – 11:55 Pauză de cafea

11:55 – 12:30 Demo – Solutii Virtualizare– Cătălin Bostan, consultant IT, PRO SYS

12:30 – 13:00 Supermicro systems for High Performance, Accelerated Computing, Big Data and

Virtualization – Alexandar Laketa, Sales Manager at Supermicro and Sergey

Shevchenko, Field Applications Engineer at Supermicro

13:00 – 13:15 Sisteme HPC instalate – ing. Petrică Bărbieru, Director General PRO SYS

13:15 – 14:00 Prânz

AGENDA

1. Despre PRO SYS

2. HPC – High Performance Computing

3. Big Data

4. Virtualizare

5. HPC*Big Data*Virtualizare – Bright Computing solutions

PRO SYS PRO SYS PRO SYS PRO SYS –––– date date date date sinteticesinteticesinteticesintetice

• Peste 20 de ani de experienta in domeniul IT

• Peste 3000 de clienti

• Peste 150 de proiecte mari

• Peste 10 sisteme cluster HPC instalate

• Peste 20 de parteneriate cu nume de referinta

Certificari:

• ISO 9001

• ISO 14001

• ISO 27001

• Bright Computing – Advanced Partner

• nVidia – Tesla Prefered Partner

• Supermicro – Authorized Business Partner

Parteneriate : Bright Computing Intel® nVidia Supermicro®

PRO SYS

Sisteme / solutii :

- servere

- sisteme de stocare- sisteme / solutii HPC

- sisteme / solutii Big Data

- sisteme / solutii Virtualizare

- statii grafice

- statii de randare

Clienti PRO SYS:

• ACTTM : cluster HPC 6 noduri / Infiniband EDR

• COMOTI : cluster HPC 12 noduri / Infiniband QDR

• Directia Topografica Militara : statii grafice

• IFIN-HH : servere, sisteme de stocare

• Institutul de Microtehnologie : cluster HPC 10 noduri / Infiniband FDR

• Institutul pentru Protectia Mediului : cluster HPC 6 noduri / Infiniband QDR

• Ministerul Apararii : solutie HPC/Big Data/Virtualizare

• Universitatea “Dunarea de Jos” Galati : cluster HPC 26 noduri / Infiniband QDR

• Universitatea Politehnica Timisoara : cluster HPC 26 noduri / Infiniband FDR

V2222 High Performance ComputingHigh Performance ComputingHigh Performance ComputingHigh Performance Computing

Ce este HPC?

High Performance Computing (Supercomputer) – se refera la agregarea puterii de calcul a

n sisteme de calcul (noduri) pentru a le utiliza in simulari, modelari, procesarea unui

volum masiv de date, operatiuni ce n-ar putea fi efectuate pe un singur sistem de calcul

din cauza timpului de calcul foarte mare sau imposibilitatii procesarii unui asemenea

volum de date.

Exemple domenii de utilizare:

• mediul academic: cercetare fundamentala sau aplicativa

• industrie: simulare / modelare diverse fenomene/elemente tehnice

• meteorologie: prognoza / modelare

• financiar-bancar: analiza / prognoza

• aparare: analiza informatii in timp real / criptografie


Distribuirea datelor si operatiilor de calcul pe mai multe sisteme de calcul implica

conceptul de “paralelizare”.

Mod accesare memorie RAM:

- noduri de calcul cu memorie comuna

- noduri de calcul cu memorie distribuita

Structura hibrida – noduri cu memorie comuna compun un sistem cu memorie distribuita


ParalelizareLimitarea teoretica indicata de legea Amdahl

ϕ – gradul de paralelizare a problemei


ParalelizareLimitarea practica indicata de legea Gustafson – Barsis

ϕ – gradul de paralelizare a problemei


ParalelizareLimitarea practica din cauza intarzierilor introduse de comunicatia dintre procese (noduri)

ϕ = 0.95 (gradul de paralelizare a problemei)

f(P) – dependenta timp comunicatie vs numar de procesoare (noduri)


Schema bloc sistem cluster HPC


Sistem cluster HPC – elemente componente principale

1. Master node: asigura conectarea utilizatorilor (management / login node)

2. Compute nodes: noduri de calcul; pot fi CPU sau CPU/GPU (hibride) / Vizualizare

3. Storage: sistem de stocare; aplicatiile folosite determina capacitatea,

viteza sustinuta si numarul minim de IOPs-uri

4. Computational Network: asigura comunicarea intre nodurile de calcul; trebuie sa

aiba viteza cat mai mare si latenta cat mai mica

Management Network 1: asigura comunicatia pentru sistemul de management al

sistemului HPC

Management Network 2: asigura comunicatia pentru sistemul de management la

nivel hardware (IPMI)

Outside network: retea externa ce permite conectarea utilizatorilor din

exterior si/sau conectarea la un alt sistem HPC pentru

cresterea puterii de calcul


2.1 Sistem cluster HPC – Master Node

- denumit si management node sau login node

- sustine aplicatia de management a sistemului cluster HPC

- asigura conectarea utilizatorilor

- pentru redundanta / scalabilitate pot fi doua sau mai multe noduri de

management

- cerinte putere de calcul : moderate

- cerinte stocare: moderate

- in sistemele mici poate fi folosit si ca nod de calcul

- realizat de regula pe o platforma dual CPU, 1U sau 2U


2.2 Sistem cluster HPC – Compute Node

- Poate fi echipat doar cu CPUs, CPU/GPU (hibrid) sau/si Video (nod de vizualizare)

- asigura puterea de calcul

- cerinte putere de calcul : ridicate

- cerinte stocare: - diskless / PXE boot

- functie de sistemul de fisiere / functie de aplicatiile folosite

- realizat de regula pe o platforma cu 4 noduri dual CPU in 2U / 1 nod hibrid in 1U


2.2 Compute node – Procesoare Intel Skylake – lansate in iulie 2017


V2222 Soluţii HPC Soluţii HPC Soluţii HPC Soluţii HPC –––– nVidia GPU nVidia GPU nVidia GPU nVidia GPU

nVidia Volta

Performante nVidia V1007.8 TFLOPS in virgula mobila, precizie dubla (FP64)

15.7 TFLOPS in precizie simpla (FP32)

125 Tensor TFLOPS

16GB HBM2 memory, 900GB/s peak BW

8 controllere de memorie pe 512biti (4096biti in total)

TDP: 300W

21.1mld. tranzistori / 812mm2

V2222 Soluţii HPC Soluţii HPC Soluţii HPC Soluţii HPC –––– nVidia GPU nVidia GPU nVidia GPU nVidia GPU

V2222 Soluţii HPC Soluţii HPC Soluţii HPC Soluţii HPC –––– CPU / GPU (nVidia) nodeCPU / GPU (nVidia) nodeCPU / GPU (nVidia) nodeCPU / GPU (nVidia) node

nVlink / SXM2 form factor cards

V2222 Soluţii HPC Soluţii HPC Soluţii HPC Soluţii HPC –––– platforme certificate nVidia GPUplatforme certificate nVidia GPUplatforme certificate nVidia GPUplatforme certificate nVidia GPU

Server Model GPU Architecture NVIDIA GPUGPU Form

FactorMax GPU Workload Processor Type Max CPU

Rack Unit

(U)

SYS-1028GQ-XXX Volta Tesla V100 16GB PCI-E 4 HPC/Deep Learning Haswell/Broadwell 2 1U

SYS-1029GQ-XXX Volta Tesla V100 16GB PCI-E 4 HPC/Deep Learning Skylake 2 1U

SYS-2028GR-XXX Volta Tesla V100 16GB PCI-E 4 HPC/Deep Learning Haswell/Broadwell 2 2U


SYS-4028GR-XXX2 Volta Tesla V100 16GB PCI-E 8 HPC/Deep Learning Haswell/Broadwell 2 4U


SYS-7049GP-XXX Volta Tesla V100 16GB PCI-E 4 HPC/Deep Learning Skylake 2 4U

SYS-1029GQ-TVRT Volta Tesla V100 16GB SXM2 4 HPC/Deep Learning Skylake 2 1U

SYS-4028GR-TVRT Volta Tesla V100 16GB SXM2 8 HPC/Deep Learning Haswell/Broadwell 2 4U

SYS-4029GR-TVRT Volta Tesla V100 16GB SXM2 8 HPC/Deep Learning Skylake 2 4U

F628G Pascal Tesla P100 PCI-E 3 HPC/Deep Learning Haswell/Broadwell 2 2U

SBI-7128RG-X Pascal Tesla P100 PCI-E 2 HPC/Deep Learning Haswell/Broadwell 2 2U

SYS-1028GQ-XXX Pascal Tesla P100 PCI-E 4 HPC/Deep Learning Haswell/Broadwell 2 1U

SYS-1028GR-XXX Pascal Tesla P100 PCI-E 3 HPC/Deep Learning Haswell/Broadwell 2 1U

SYS-1029GQ-XXX Pascal Tesla P100 PCI-E 4 HPC/Deep Learning Skylake 2 1U


SYS-2028GR-XXXH Pascal Tesla P100 PCI-E 6 HPC/Deep Learning Haswell/Broadwell 2 2U


SYS-4028GR-XXX2 Pascal Tesla P100 PCI-E 8 HPC/Deep Learning Haswell/Broadwell 2 4U


P8NVL Pascal Tesla P100 SXM2 4 HPC/Deep Learning POWER8 2 2U

SSP-2028G-XXX Pascal Tesla P100 SXM2 4 HPC/Deep Learning POWER8 2 2U

SYS-1028GQ-TXR Pascal Tesla P100 SXM2 4 HPC/Deep Learning Haswell/Broadwell 2 1U

SYS-1029GQ-TXRT Pascal Tesla P100 SXM2 4 HPC/Deep Learning Skylake 2 1U

SYS-4028GR-TXRT Pascal Tesla P100 SXM2 8 HPC/Deep Learning Haswell/Broadwell 2 4U

https://www.nvidia.com/en-us/data-center/tesla/tesla-qualified-servers-catalog/

V2222 Soluţii HPC PRO SYS Soluţii HPC PRO SYS Soluţii HPC PRO SYS Soluţii HPC PRO SYS

V2222 Soluţii HPC Soluţii HPC Soluţii HPC Soluţii HPC –––– Personal ClusterPersonal ClusterPersonal ClusterPersonal Cluster

TRUSTER GX

V2222 Soluţii HPC Soluţii HPC Soluţii HPC Soluţii HPC –––– TRUSTER S3TRUSTER S3TRUSTER S3TRUSTER S3

TRUSTER S3 – 4x dual CPU nodes in 2U

V2222 Soluţii HPC Soluţii HPC Soluţii HPC Soluţii HPC –––– TRUSTER GV4TRUSTER GV4TRUSTER GV4TRUSTER GV4

TRUSTER GV4 – CPU/GPU node, up to 4x

nVidia Pascal / Volta nVlink

V2 Soluţii HPC Soluţii HPC Soluţii HPC Soluţii HPC –––– TRUSTER G4TRUSTER G4TRUSTER G4TRUSTER G4

TRUSTER G4 – CPU/GPU node, up to 4x

nVidia Pascal / Volta PCIe

V2222 Soluţii HPC Soluţii HPC Soluţii HPC Soluţii HPC –––– TRUSTER GX3RTRUSTER GX3RTRUSTER GX3RTRUSTER GX3R

TRUSTER GX3R – CPU/GPU node, up to 3x

nVidia Pascal / Volta GPU

V2 Soluţii HPC Soluţii HPC Soluţii HPC Soluţii HPC –––– TRUSTER R8TRUSTER R8TRUSTER R8TRUSTER R8

TRUSTER R8 – CPU/GPU node, up to 8x nVidia Pascal / Volta

V2 Soluţii HPC Soluţii HPC Soluţii HPC Soluţii HPC –––– nod vizualizarenod vizualizarenod vizualizarenod vizualizare

Nod de calcul cu suport pentru vizualizare la distanta

Max. 100m / Cupru

Max. 300m / FO

V2 Soluţii HPCSoluţii HPCSoluţii HPCSoluţii HPC

2.3 Storage

Cerinte:• latenta redusa

• scalabilitate ridicata

Specificatii solutii de stocare:- Sistem de fisiere: ZFS

- Capacitate maxima: nelimitata*

- Modele redundante (doua sau

mai multe noduri)

- Interfete: Infiniband / ethernet / SAS

- Scalabilitate ridicata: mii de device-uri

prin JBOD-uri aditionale

- TrustOS storage OS

TRUSTER® SNxxxx(z) – specificatii

Head CPU 1 or 2 Intel® Xeon / one, two or more head nodes

Cache Read and Write cache; global or dedicated

NETWORK

•Protocols : CIFS, AFP, NFS, iSCSI, Telnet, SSH, SNMP, HTTP, FTP;

• VLAN support

•LACP support

•IPv4 & IPv6 Support

File system

features

•Data Integrity (protect the user's data on disk against silent data

corruption caused by bit rot, current spikes, bugs in disk firmware)

•File system snapshot (instantaneous creation, unlimited number)

•File system clone

•Copy-on-write transactional model

•Cache management

•Inline Deduplication

•End-to-end checksumming

•Transparent filesystem compression.

•Intelligent scrubbing and resilvering (resyncing)

•Load and space usage sharing among disks in the pool

•no FSCK needed

STORAGE

features

•Max File System Size : 256 x 1024 TB

•Max File Systems : 264

•Max iSCSI Target # : 4096

•Max iSCSI LUN # : 4096

File Sharing

Capability

•Max User Accounts : 16.384

•Max Groups : 16.384

•Max Shared Folder : no limit

•Max Concurrent CIFS/AFP/FTP Connections : limited by TCP/IP stack

V2 Soluţii HPC Soluţii HPC Soluţii HPC Soluţii HPC –––– storagestoragestoragestorage

8x SAS3 ports (8x4x12Gbps)

Storage headJBODs

Infiniband Switch

4x Infiniband ports

V2 Soluţii HPCSoluţii HPCSoluţii HPCSoluţii HPC

2.3 Computational NetworkComputational NetworkComputational NetworkComputational Network

Infiniband Network

Viteze: QDR – 40Gbps

FDR – 56Gbps

EDR – 100Gbps

Latenta: 90ns

Management : Da / Nu

Suport RDMA: Da

V2 Soluţii HPC Soluţii HPC Soluţii HPC Soluţii HPC


Specificatii Infiniband

SDR DDR QDR FDR10 FDR EDR HDR NDR XDR

Viteza semnal referinta [Gb/s] 2.5 5 10 10.3125 14.0625 25.78125 50 100 250

Rata de transfer teoretica [Gb/s] per 1x 2 4 8 10 13.64 25 50

Rata de transfer pentru 4x links (Gbit/s) 8 16 32 40 54.54 100 200



Schema codare (bits) 8/10 8/10 8/10 64/66 64/66 64/66 64/66

Latenta medie pe adaptor (ms) 5 2.5 1.3 0.7 0.7 0.5

Anul lansarii2001 /

20032005 2007 2011 2011 2014 2017 dupa 2020 ?

V2 Soluţii HPC Soluţii HPC Soluţii HPC Soluţii HPC


Omni-Path Architecture (OPA) - dezvoltata de Intel din 2015

Viteza: 100Gbps

Latenta: 110ns

Management : Da / Nu

Suport RDMA: Nu

V3333 Big Data / Data ScienceBig Data / Data ScienceBig Data / Data ScienceBig Data / Data Science

Big Data presupune capturarea, stocarea si

procesarea unui volum foarte mare de date,

de regula din surse disparate.

Exemple aplicatii ce folosesc Big Data

- analiza in timp real comunicatii electronice

- intelegerea si adresarea clientilor

- analiza datelor stiintifice

- analiza imaginilor – servicii de securitate

- analiza financiara

Tipuri de date:

- structurate (baze de date)

- semistructurate

- nestructurate (peste 80%)

si diverse formate:

- text

- audio

- imagini

- video


Big Data - principalii parametri:

- volumul: zilnic se genereaza aprox. 2500PB

Surse de date de volum ridicat:

- tranzactii online

- cercetare stiintifica si experimentala (CERN, etc.)

- social media (Facebook, Twitter, etc.)

- senzori de diverse tipuri (GPS, RFID, telemetrie, etc.)

- viteza: determina timpul necesar procesarii datelor intr-o entitate > determina IOPs

Date cu viteza ridicata:

- sisteme autonome (autovehicule, roboti, sisteme de lupta avansate, etc.)

- analiza real-time (securitate trafic online, recunoastere faciala, date bursiere)

- senzori de pe echipamente complexe (motor cu reactie, drone, etc.)


Specificatii sisteme folosite in Big Data:- Putere de procesare ridicata

- Capacitate de stocare ridicata

- Viteza retea interconectare : moderata

Structura este similara cu HPC.

Sistemele Big Data proceseaza un volum foarte mare de date si nu necesita o retea de mare

viteza (latenta redusa) vs sistemele HPC care proceseaza un volum relativ redus de date dar

viteza retelei de interconectare dintre noduri este critica!

Interconectare noduri Big Data : 1 sau 10Gbps Ethernet

Stocarea datelor : distribuita pe fiecare nod

capacitate: functie de volumul de date prelucrate

IOPs-uri: cat mai ridicat

* numar mare de device-uri (mai ales la HDD)

* tehnologii all flash pentru date sau/si caching

* link-uri SAS/SATA suficiente pentru IOPs-urile necesare


TRUSTER DX720 – nod sistem Big DataCaracteristici nod:

2U rackmount

Dual Intel® Xeon Scalable Processors

Up to 2TB DDR4 2666MHz ECC REG

Dual-Port 10Gigabit RJ45 / SFP+

12 HDD/SSDs SAS or SATA hot-swap 3.5" / 2.5"

1+1 hot-swap redundant power supply

Până la 144TB capacitate de stocare / nod

Software:

CentOS

Bright Cluster Manager for Data Science

V4 Soluţii VirtualizareSoluţii VirtualizareSoluţii VirtualizareSoluţii Virtualizare

Virtualizarea - are ca idee centrala utilizarea cu eficienta maxima a resurselor de

calcul disponibile

Clasificarea solutiilor de virtualizare se poate face dupa urmatoarele criterii:

1. Locul implementarii

- Public Cloud

- Private Cloud (on premise)

-Mixt

2. Accesul la codul sursa

-Open-source

-Proprietar

Orice combinatie este posibila din punct de vedere tehnic, decizia de utilizare a unei

anumite solutii trebuie insa sa tina seama de necesitatile prezente si viitoare ale fiecarei

organizatii in parte.


Cerinte:

- Numar core ridicat

- Capacitate memorie RAM ridicata

- Cerinte IOPs moderate

- Conectivitate: ethernet minim 10Gbps

- Stocare: centralizata


Solutiile cu cea mai mare cota de piata in acest moment sunt urmatoarele:

Cloud Public

- Amazon Cloud

- Azure Cloud

- Google Cloud

Cloud Privat

- VMware Cloud

- OpenStack

- Xen Cloud


PRO SYS ofera distribuitia Bright OpenStack ca o extensie la capabilitatile de

HPC, Big Data/Data Science ale Bright Cluster Manager.

Bright OpenStack - caracteristici principale:

1. Distributie integrata

2. Instalare usoara si optimizata

3. Management unitar

4. Utilizare usoara

5. Monitorizare complexa si integrata

6. Suport si documentatie consistenta

7. Posibilitati largi de personalizare


PRO SYS are o solutie de virtualizare atipica bazata pe o filozofie

diferita fata de cea mainstream.

SmartOS - caracteristici principale:

1. Hypervisor read-only: securitate ridicata

2. Storage local atasat (DAS) bazat pe ZFS

-performanta maxima (data-path minimal)

-integritate garantata ( Merkle-tree checksum)

-deduplicare/compresie inline

-rezilienta sporita (multiple nivele de redundanta)

-multiple nivele de cache

3. Kernel minimal

-suprafata de atac minimala


SmartOS - caracteristici principale:

4. Hypervisor de nivel 1, 2 precum si suport nativ pentru containere

(docker)

5. Capabilitati de tracking si debug in-kernel cu monitorizare dinamica in

timp real a parametrilor de performanta

6. Gandit din start pentru devops (API-uri complet deschise pentru

automatizare)


Private Cloud in a box:- Doua sau mai multe servere dual CPU

- Switch 10Gbps

- Sistem de stocare centralizata (ZFS)

- Electroalimentare de siguranta

- Solutie management

- Instalare / configurare

- Suport dedicat


Agregare hardware: ScaleMP- Doua sau mai multe servere formeaza un

singur sistem virtual vSMP

- Permite agregare selectiva

- Pana la 32.768 procesoare

- Pana la 2.048TB memorie

- Permite agregare RAM cu NVM

- Aplicatii:

• Baze de date rulate din RAM

• Procesare Big Data din RAM

• Modele CAE / genetice / moleculare

foarte mari

V5 HPC * Big Data * VirtualizareHPC * Big Data * VirtualizareHPC * Big Data * VirtualizareHPC * Big Data * Virtualizare

Solutie Management unificat:

- Bright Cluster Manager

• Standard

• Advanced

- Bright Cluster Manager for Data Science

• suport pentru Hadoop

• suport pentru Spark

- Bright OpenStack

HPCHPCHPCHPC

BIG DATABIG DATABIG DATABIG DATA

VIRTUALIZAREVIRTUALIZAREVIRTUALIZAREVIRTUALIZARE


Bright Cluster Manager

• Standard

• Advanced

Feature STANDARD ADVANCED

Choice of Linux distributions * *

Intel Cluster Ready * *

Cluster Management GUI * *

Cluster Management Shell * *

Web-Based User Portal * *

Node Provisioning * *

Node Identification * *

Cluster Monitoring * *

Cluster Automation * *

User Management * *

Role-based Access Control * *

Workload Manager Integration * *

MPI Libraries * *

Cloud Bursting * *

NVIDIA CUDA & OpenCL *

GPU Management & Monitoring *

Xeon Phi Management & Monitoring *

Redundant Failover Head Nodes *

Multi-Cluster Management *

Health Checking *

Suggested Number of Nodes 4-128 129-10,000+

Maximum sockets per server 2 unlimited

Hadoop add-on available Optional


Bright Cluster Manager - implementari

Aircraft Design of the University of Stuttgart

Boeing

Center for Biological Sequence Analysis – Denmark – 16.000+ core cluster

Consortium of Austrian Universities - 2000+ node cluster, VSC-3

European Electronics Company – 250 noduri (5000 core) cluster

Geneva Finance Research Institute

Maritime Research Institute Netherlands (MARIN) – 200 node (4200 core) cluster

Swiss National Supercomputing Centre

Tsinghua University

University of Maryland – 240 nodes cluster

Virginia Bioinformatics Institute

VSoluţiile PRO SYS Soluţiile PRO SYS Soluţiile PRO SYS Soluţiile PRO SYS

Principalele avantaje :

- Flexibilitatea solutiilor tehnice

- Experienta:

• peste 20 de ani de activitate

• consultanta specializata

- Pret de achizitie si costuri de instalare / suport mai reduse

- Suport pentru instalarea mediului necesar si aplicatiilor specifice

- Suport hardware si software

Vă mulţumesc !

Contact

PRO SYS S.R.L.Bd. Pache Protopopescu

nr. 108, sector 2, Bucureşti

Tel: 021 252 42 32

E-mail: [email protected]

www.prosys.ro

Toate marcile, schemele, specificatiile si tehnologiile proprietare

mentionate in acest material, apartin companiilor/organizatiilor

respective.

Date post:	08-Mar-2020
Category:	Documents
Upload:	others
View:	30 times
Download:	0 times

HPC Big Data Virtualization mar2018.ppt - PRO...

Documents