Curs 6 - Sisteme de fisiere în retea -...

transcript

Curs 6Sisteme de fis, iere ın ret, ea

Servicii avansate pentru ISP

27 martie 2017

SAISP Curs 6, Sisteme de fis,iere ın ret,ea 1/41

Outline

Sisteme de stocare

Organizarea datelor ın sistemele de stocare

Sisteme de fis, iere partajate

Protocoale de acces la sistemele de stocare

Sisteme de fis, iere de retea

Concluzii

Intrebari

Stocarea datelor

I Ce problematici ridica?

I Unde s, i cum le stocam?

I Sunt redundante?

I Accesul este rapid? (performant, a)

I Cum partajam accesul la date? (mecanisme)

Extinderea unui sistem de stocare

I Privit din perspectiva unui Cluster

I Scale-up vs. Scale-outI Remember: Gestiunea scalabila a dispozitivelor de stocare

I 1 disc mai mareI mai multe discuri de diferite dimensiuni

I Abordare diferita fat, a de un singur sistem

Scale-up

I Adaugare noi discuri la acelas, i sistem

Scale-out

I Adaugare noi sisteme de stocare

I Cum le interconectam? Ethernet e suficient?

Scale-up and Scale-out

I In funct, ie de necesitat, iI adaugare noi discuri la acelas, i sistemI adaugare noi sisteme de stocare

Scale-up or out - factori de select, ie

I Costuri - scale-up adauga capacitate suplimentara fara altecosturi (controller nou de stocare).

I Capacitate de stocare - ambele pot asigura cres, terea acesteia,dar ın cazul scale-up s-ar putea sa fie o limitare.

I Performant, a - scale-out poate paraleliza accesul la date(throughput mai mare), dar poate cres, te timpul de acces.

I Complexitate - scale-up simplu, fat, a de scale-out unde suntmai multe elemente pentru care trebuie asiguratmanagementul.

I Disponibilitatea - scale-out asigura o disponibilitate crescutaavand un numar mai mare de noduri (depinde deimplementare).

Outline

Sisteme de stocare

Concluzii

Intrebari

Sisteme de fis, iere

I Datele sunt organizate ın general ın fis, iere.

I Sistemul de fis, iere foloses, te metadate pentru a s, ti unde se aflafiecare fis, ier.

Taxonomia sistemelor de fis, iere

I In funct, ie de sistemele de stocare folosite, putem descrie otaxonomie a sistemelor de fis, iere.

Sisteme de fis, iere locale

I Exemple: ext2, ext3, ext4, NTFS, FATI Pot fi folosite ın sistemele dezvoltate pe principiul scale-up

I Se poate folosi acelas, i sistem de fis, iere pe mai multe discuri?

I Da, folosind LVM

I Asigura vreun mecanism pentru partajarea datelor? NU

I Se poate folosi acelas, i sistem de fis, iere pe mai multe discuri?I Da, folosind LVM

I Asigura vreun mecanism pentru partajarea datelor?

I Se poate folosi acelas, i sistem de fis, iere pe mai multe discuri?I Da, folosind LVM

I Asigura vreun mecanism pentru partajarea datelor? NU

Outline

Sisteme de stocare

Concluzii

Intrebari

I Mai multe sisteme au acces la ACELAS, I sistem de stocareI un exemplu dur pentru a face diferent, a: acelas, i disc

I Fiecare server va avea acces la sistemul de fis, iere ın paralelI sistemul de fis, iere se afla la client

I Metadatele sunt t, inute, ın funct, ie de implementare:I ın fiecare server (Cluster File System)I doar la un singur server (SAN File System)

Sisteme de fis, iere partajate (2)

I Aplicabilitate: migrarea mas, inilor virtuale

Sisteme de fis, iere partajate - studiu de caz

I VMFS (Virtual Machine File System)

I VMware Cluster File System

I VMware ESX Server (vSphere)

I Versiunea 5 (permite volume mai mari de 2TB, pana la 64TB)

I Mai multe servere ESXi pot accesa ın acelas, i timp storage-ul(maxim 64)

I Limita de fis, iere (la 130000 pentru VMFS5)I Closed source

I exista un driver open-source dezvoltat de Fluid OperationsI permite doar citirea fis, ierelor

Outline

Sisteme de stocare

Concluzii

Intrebari

I Acelas, i disc prezent ın mai multe servere ın acelas, i timp

I Fizic nu e posibil

I Protocoale de acces la sistemul de stocare

I Fiber ChannelI foarte scumpI necesita infrastructura separataI performante buneI viteze de 1/2/8/16 GbpsI din 2015 32/128 Gbps

I iSCSII implementeaza protocolul SCSI peste reteaI performant, a depinde de reteaua folosita (gigabit ethernet,

10gbit, etc)I suportat de majoritatea sistemelor de stocareI costuri reduse

I Protocoale de acces la sistemul de stocareI Fiber Channel

I foarte scumpI necesita infrastructura separataI performante buneI viteze de 1/2/8/16 GbpsI din 2015 32/128 Gbps

I Protocoale de acces la sistemul de stocareI Fiber Channel

I foarte scumpI necesita infrastructura separataI performante buneI viteze de 1/2/8/16 GbpsI din 2015 32/128 Gbps

iSCSI - concepte

I InitiatorI iSCSI ClientI Trimite comenzi SCSI peste retea

I TargetI resursa de stocare localizata pe un server iSCSII resursa este definita de serverul iSCSI

I Logical Number Unit (LUN)I dispozitiv (logic) SCSI adresat ın mod unicI modalitatea de numerotare a dispozitivelor iSCSI puse la

dispozit, ie de target

iSCSI - adresare

I Foloseste TCP (portul 860/3260)

I initiator s, i target sunt referite prin nume, folosind maimulte formate

I IQN (iSCSI Qualified Name) este cel mai folositI prezentat in RFC 3720/3721

I Extended Unique Identifier (EUI)I IEEE se ocupacu alocarea adreselorI eui.{EUI-64 bit address}

I T11 Network Address Authority (NAA)I introduse ın RFC3980I convent, ii asemanatoare cu FiberChannel s, i SAS (Serial

Attached SCSI)I IEEE se ocupa de alocarea adreselorI naa.NASA 64 or 128 bit identifier

iSCSI - adresare

iSCSI - adresare (2)

I IQN are urmatoarele campuriI cuvantul cheie iqnI data (yyyy-mm) cand a fost cumparat domeniulI numele de domeniu inversat (com.example)I opt, ional un nume prefixat cu :

Naming String defined by

Type Date Auth "example.com" naming authority

+--++-----+ +---------+ +-----------------------------+

| || | | | | |

iqn.1992-01.com.example:storage:diskarrays-sn-a8675309

iqn.1992-01.com.example

iqn.1992-01.com.example:storage.tape1.sys1.xyz

iSCSI - adresare (3)

I Un client, pentru a se conecta la un server iSCSI trebuie saofere

I adresa IPI portul TCP pe care se conecteazaI numele iSCSI (IQN-ul)I opt, ional o parola daca este configurata

iSCSI on Linux

I Linux-IO (LIO) Target

I dezvoltat de Datera din Sillicon Valley

I Torvalds a introdus ın LIO ın kernel 2.6.38I In afara de iSCSI, suporta s, i:

I FiberChannelI iSCSI - Extensions for RDMA (iSER) - InfinibandI SRP - SCSI RDMA Protocol

I Folosit ın Cloud (suport nativ in qemu/KVM, OpenStack)

I Competitor: SCST (SCSI Target, dezvoltat de Fusion io)I Backstores:

I discuri (inclusiv LVM)I fis, iereI memorie

Linux-IO Target

I Inclus ın kernelul Linux implicit

I apt-get install targetcli

I targetcliI este folosit pentru management-ul target-uluiI apeleaza un API binedefinit, astfel poate fi complementat usor

de un GUII implementat in Python

Linux-IO Target (2)

I targetcli

o- / ....................................................... [...]

o- backstores ............................................ [...]

| o- fileio ................................. [1 Storage Object]

| o- file_backend .............. [/usr/src/fileio deactivated]

| o- iblock ................................ [2 Storage Objects]

| | o- block_backend .................... [/dev/sdb deactivated]

| | o- block_backend_lvm ............ [/dev/vg0/lv1 deactivated]

| o- pscsi .................................. [1 Storage Object]

| o- pscsi_backend .................... [/dev/sr0 deactivated]

| o- rd_dr .................................. [0 Storage Object]

| o- rd_mcp ................................. [1 Storage Object]

| o- rd_backend ........................ [ramdisk deactivated]

o- ib_srpt .......................................... [0 Target]

o- iscsi ............................................ [0 Target]

o- loopback ......................................... [0 Target]

o- qla2xxx .......................................... [0 Target]

Outline

Sisteme de stocare

Concluzii

Intrebari

Taxonomia sistemelor de fis, iere

I partajarea fis, ierelor de pe un server

I 1 sau mai mult, i client, i

I folos, indu-se un protocol de ret, ea

I apt-get install nfs-kernel-server nfs-common

I A ajuns la versiunea 4, dar nu e ımbrat, is, ata de toata lumeaI Pentru configurarea serverului se editeaza fis, ierul

/etc/exportsI /srv/www/repository.grid.pub.ro

172.16.8.1(rw,sync,no_root_squash,no_subtree_-

check)

I Pentru montare pe clientI mount -t nfs

172.16.1.52:/srv/www/repository.grid.pub.ro /mnt

I no_root_squash - accesarea/crearea fis, ierelor det, inute deroot pe serverul NFS

Sisteme de fis, iere distribuite

I Fis, ierele sunt distribuite pe sisteme separate

Sisteme de fis, iere paralele distribuite

I Blocurile unui fis, ier sunt distribuite pe sisteme separate

Lustre

I Sistem de fis, iere paralel distribuitI ınceput ın 1999 la Universitatea Carnegie MellonI ın 2007 achizit, ionat de SUNI ın 2010 Oracle anunt, a ca nu va mai asigura suportI WhamCloud - startup ce se ocupa de LustreI OpenSFS (Open Scalable File Systems - Lustre Open Source)I In 2012 Intel achizit, ioneaza WhamCloud

I Un trecut furtunosI Cont, ine 3 componente majoreI MDS - (Metadata Server) - un singur server de metadateI OSS - (Object Storage Server) - servere de stocare a

obiectelorI OST - (Object Storage Target) - locat, ia de pe un server unde

se stocheaza obiecteleI Capacitatea unui sistem Lustre este data de suma capacitat, ilor

OST-urilor

I Client-ul

Lustre

I Sistem de fis, iere paralel distribuitI ınceput ın 1999 la Universitatea Carnegie MellonI ın 2007 achizit, ionat de SUNI ın 2010 Oracle anunt, a ca nu va mai asigura suportI WhamCloud - startup ce se ocupa de LustreI OpenSFS (Open Scalable File Systems - Lustre Open Source)I In 2012 Intel achizit, ioneaza WhamCloudI Un trecut furtunosI Cont, ine 3 componente majoreI MDS - (Metadata Server) - un singur server de metadate

I OSS - (Object Storage Server) - servere de stocare aobiectelor

I OST - (Object Storage Target) - locat, ia de pe un server undese stocheaza obiectele

I Capacitatea unui sistem Lustre este data de suma capacitat, ilorOST-urilor

I Client-ul

Lustre

I Sistem de fis, iere paralel distribuitI ınceput ın 1999 la Universitatea Carnegie MellonI ın 2007 achizit, ionat de SUNI ın 2010 Oracle anunt, a ca nu va mai asigura suportI WhamCloud - startup ce se ocupa de LustreI OpenSFS (Open Scalable File Systems - Lustre Open Source)I In 2012 Intel achizit, ioneaza WhamCloudI Un trecut furtunosI Cont, ine 3 componente majoreI MDS - (Metadata Server) - un singur server de metadateI OSS - (Object Storage Server) - servere de stocare a

OST-urilor

I Client-ul

Lustre

I Sistem de fis, iere paralel distribuitI ınceput ın 1999 la Universitatea Carnegie MellonI ın 2007 achizit, ionat de SUNI ın 2010 Oracle anunt, a ca nu va mai asigura suportI WhamCloud - startup ce se ocupa de LustreI OpenSFS (Open Scalable File Systems - Lustre Open Source)I In 2012 Intel achizit, ioneaza WhamCloudI Un trecut furtunosI Cont, ine 3 componente majoreI MDS - (Metadata Server) - un singur server de metadateI OSS - (Object Storage Server) - servere de stocare a

OST-urilor

I Client-ul

Lustre (2)

I Nu exista suport implict ın kernel (nici pentru client, nicipentru server)

I Compilare din surse (kernel + userspace)

I Se asigura pachete doar pentru RHEL-based

I In general folosit doar pe sisteme RHEL-based

I Trebuie recompilat kernelul chiar ın cazul clientuluiI La un acces

I Se interogheaza MDS-ul cu privire la fis, ierI Se ia lock-ul pe fis, ierI Se merge pe OSS-ul asociat s, i se trimite operat, ia acestuia

(clientul NU executa operat, ia direct pe fis, ier)

I NU stocheaza copii ale datelor sau metadatelor

I Sistem de fis, iere distribuit paralelI Asigura tolerant, a la defecte prin replicareI Format din mai multe layere de abstractizare

Ceph (2)

I OSD - Object Storage Device (disc formatat cu XFS sau btrfs)

I PG - Placement GroupI mapare a unui obiect la mai multe OSD-uriI la acest nivel se asigura replicarea

I POOLI interact, iunea cu utilizatorulI cont, ine mai multe PG-uri

I CRUSH mappingsI mapare ıntre obiectele s, i PG-uriI compilat static de catre administratorI important pentru a nu ajunge 2 replici pe acelas, i OSD

I RADOS - Reliable Autonomic Distributed Object Store(generic)

I RBD - Rados Block DeviceI resizeableI snapshotingI suport ın KVM direct

I CephFS - deasupra lui RADOS

Ceph (2)

I OSD - Object Storage Device (disc formatat cu XFS sau btrfs)I PG - Placement Group

I mapare a unui obiect la mai multe OSD-uriI la acest nivel se asigura replicarea

Ceph (2)

GlusterFS

I Sistem de fis, iere distribuit paralel

I Asigura redundant, aI Brick

I unitate de stocare pentru blocurile Gluster

I TranslatorI logica ıntre bit, i s, i numele fis, ierelorI mai multe layere

I VolumeI mai multe brick-uri combinate trimise translatorului

I Node/Peer

Ceph vs. GlusterFS

I Ubuntu (Canonical/Inktank) vs RedHat :)

I RedHat a scos un articol ın care se lauda ca au obt, inutperformante de 3 ori mai mari la citire

I TesteleI nu sunt ıntotdeauna relevanteI mai ales ca s-a folosit o distributie RedHat cu pachtele lor

destul de vechiI au fost facute doar cu citiri secvent, iale I/O, nu s, i random

I Ceph se lauda ca au un recovery time mult mai bun, datelefiind mult mai distribuite (ın GlusterFS datele sunt mult maistrans cumplicate de aceea testele secvent, iale au ies, it maibine)

I Articol ın care sunt comparate mai multe sisteme de fis, ierehttp://hal.archives-ouvertes.fr/docs/00/78/90/86/

PDF/a_survey_of_dfs.pdf

Ceph vs. GlusterFS

Outline

Sisteme de stocare

Concluzii

Intrebari

Cuvinte cheie

I scale-up

I scale-out

I Storage arrays

I iSCSI Target

I iSCSI Initiator

I Network File System

I Distributed File System

I Shared File System

I Cluster File System

I Lustre

I Ceph

I VMFS

I GlusterFS

I VM Migration

I Storage Network

I Infiniband

I FiberChannel

I Ethernet

Link-uri utile

I http://en.wikipedia.org/wiki/Clustered_file_system

I http://en.wikipedia.org/wiki/Distributed_File_System_(Microsoft)

I http://en.wikipedia.org/wiki/Logical_unit_number

I http://en.wikipedia.org/wiki/ISCSI

I http://linux-iscsi.org/wiki/Main_Page

I http://en.wikipedia.org/wiki/Logical_unit_number

I http://linux-iscsi.org/wiki/Target

I http://linux-iscsi.org/wiki/ISCSI

I http://itknowledgeexchange.techtarget.com/storage-soup/scale-out-vs-scale-up-the-basics/

I https://www.gluster.org/community/documentation/index.php/Getting_started_common_criteria

I http://thevarguy.com/open-source-application-software-companies/

glusterfs-or-ceph-who-will-win-open-source-cloud-storage-

I http://www.anchor.com.au/blog/2012/09/a-crash-course-in-ceph/

I http://www.linuxjournal.com/content/lustre-distributed-filesystem

I https://www.snia.org/sites/default/education/tutorials/2012/spring/file/ThomasRivera_The_

Evolution_of_File_Systems-v3.pdf

I http://www.enterprisestorageforum.com/sans/features/article.php/3834771/

Storage-Basics-Clustered-File-Systems.htm

I http://www.informationweek.com/infrastructure/storage/

gluster-vs-ceph-open-source-storage-goes-head-to-head/d/d-id/1113581

Outline

Sisteme de stocare

Concluzii

Intrebari

Curs 6 - Sisteme de fisiere în retea -...

Documents