Cursul 9 Stocarea s, i prelucrarea datelor

Utilizarea Sistemelor de Operare (USO) 20 noiembrie 2017

Departamentul de Calculatoare

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 1/51

Citat

Three things are certain: Death, taxes, and lost data. Guess which has occurred.

David Dixon, 1998, winning entry of the Haiku Error Messages 21st Challenge

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 2/51

Configurări de ret,ea

adres IP masc de re ea

gateway server DNS

static dinamic

temporar

persistent

ip address add 192.168.0.2/24 dev eth0

ip route add default via 192.168.0.1

echo "nameserver 8.8.8.8" > /etc/resolv.conf

dhclient eth0

auto eth0

iface eth0 inet static

address 192.168.0.2

netmask 255.255.255.0

gateway 192.168.0.1

dns-nameserver 8.8.8.8

auto eth0

iface eth0 inet dhcp

/etc/network/interfaces

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 3/51

Configurări de ret,ea (2)

http://www.guy-sports.com/humor/computers/computer_tech_support_calls.htm

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 4/51

În această săptămână la USO

I ı̂n week end apare quest de World of USO

I miercuri, 22 noiembrie 2017, ı̂ncepe laboratorul 9: Stocarea s, i prelucrarea datelor

I tema 3 va apărea ı̂n această săptămână I ı̂ntrebat, i, ı̂ntrebat, i, ı̂ntrebat, i I folosit, i forumul I ajutat, i colegii pe forum I https://ocw.cs.pub.ro/courses/uso/regulament

I sect, iunea ,,Recomandări de comunicare electronică” I sect, iunea ,,Realizarea temelor”

I slide-urile cursului 10: ,,Shell scripting” vor fi publicate vineri, 24 noiembrie 2017

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 5/51

Pin-uri USO

58 de pin-uri

I lab: 18 pin-uri (votat de asistent, i)

I curs: 8 (separat pe fiecare serie: 2 CA, 2 CB, 2 CC, 2 CD)

I midterm: 8 (primele 8 scoruri la testul practic de midterm)

I final: 16 (separat pe fiecare serie: 3 CA, 3 CB, 3 CC, 3 CD), cel mai bun scor, primul scor la practic, primul la grilă

I extra: 8 (per serie), cea mai activă persoană din serie pe forumuri (cs.curs.pub.ro), cel mai activ om ı̂n zona de social media (postări cu #usolife)

https://systems.cs.pub.ro/bachelor/uso/2018

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 6/51

Cuprins

Date digitale

Baze de date. SQL

Prelucrări de date

Parsarea datelor

Prezentarea datelor

Sumar

Extra

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 7/51

Date digitale

I informat, ii stocate pe suport electronic (̂ın general discuri)

I se stochează digital (̂ın bit, i, specific sistemului de calcul)

I ı̂n general stocate ı̂n fis, iere, ı̂n cadrul sistemelor de fis, iere I avantaje fat, ă de date ,,nedigitale”:

I stocare facilă (nu ai nevoie de spat, iu fizic) I duplicare instant (nu e nevoie de copiator sau scanner) I transfer us,or (nu ai nevoie de cutii s, i camioane) I controlul accesului (decizi cine ce foloses, te) I aplicat, ii care folosesc date (aplicat, ii conform nevoii: criptare,

extragere informat, ii, ı̂nlocuire etc.) I format de stocare (binar, text, comprimat etc.)

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 9/51

http://www.guy-sports.com/humor/computers/computer_tech_support_calls.htm https://ocw.cs.pub.ro/courses/uso/regulament https://systems.cs.pub.ro/bachelor/uso/2018

Ce e important la date digitale?

I spat, iul ocupat: unde le stocăm, cum le stocăm

I accesul: cum le accesăm, ce interfet,e oferim, ce aplicat, ii le folosesc

I securitatea: cine are acces, cum protejez de acces nedorit

I permanent,a (backup, versionare): cum previn pierderea datelor

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 10/51

Date structurate

I datele structurate sunt organizate, ı̂n general, ca o listă de elemente ce respectă nis, te criterii

I lista de student, i dintr-o facultate s, i atributele lor reprezintă date structurate

I catalogul unei materii e o formă de informat, ie structurată I alte exemple

I lista angajat, ilor unei companii I portofoliul de produse al unei companii I istoricul de evenimente ale unei organizat, ii

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 11/51

Entităt, i, proprietăt, i s, i asocieri

I ı̂n datele structurate folosim entităt, i (persoane, student, i, evenimente, produse)

I entităt, ile au proprietăt, i sau atribute I o persoană are vârstă, sex, ı̂nălt, ime, ocupat, ie, dată de nas, tere I un eveniment are o dată de desfăs,urare, un organizator, un set

de sponsori, nis, te obiective I un produs are un nume, un producător, un pret, , un mod de

distribut, ie I entităt, ile pot fi legate sau asociate ı̂ntre ele

I un profesor predă mai multe cursuri I un curs este parte a unui an de studiu I un an de studiu cuprinde mai multe serii I seriile cont, in student, i I o persoană are ca părint, i alte persoane I o persoană lucrează ı̂ntr-o organizat, ie I o organizat, ie furnizează o serie de produse

I formele de stocare a datelor structurate trebuie să păstreze entităt, ile, atributele acestora s, i legăturile/asocierile ı̂ntre ele

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 12/51

Date ı̂n format tabelar

I un mod de prezentare a datelor structurate este formatul tabelar: linii s, i coloane

I fiecare tabelă reprezintă o entitate (de exemplu ,,studenti”)

I fiecare linie din tabel reprezintă o intrare, un element de tipul acelei entităt, i (adică un ,,student” real)

I fiecare coloană ı̂nseamnă atribute ale studentului (nume, grupă, notă, username, locul nas, terii etc.)

I pot exista referint,e ı̂ntre tabele; o coloană este o referint, ă către altă intrare din alt tabel sau din acelas, i

I fis, ierele spreadsheet (.xls, .ods) sunt forme de date structurate ı̂n format tabelar

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 13/51

Baze de date

I mod de structurare a datelor pentru stocare s, i accesare eficientă

I orice formă de structurare a informat, iei pentru a facilita accesul poate fi considerată o bază de date

I poate fi text sau binar

I /etc/passwd: baza de date de utilizatori locali

I ı̂n general, baza de date este binară pentru eficient, ă

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 14/51

Format text vs. format binar

Format text

I citibil, format ASCII

I us,or de editat s, i parcurs

I foarte portabil

I spat, iu ocupat mai mare

I util pentru fis, iere relativ mici, ce pot fi parcurse de oameni

I ı̂n general nu foarte divers, folosim cuvinte s, i caractere

Format binar

I nu poate fi inspectat de o persoană

I nevoie de o aplicat, ie dedicată pentru citire s, i modificare

I posibil să fie dificil de deschis cu altă aplicat, ie

I eficient ca spat, iu

I poate folosi fis, iere oricât de mari

I flexibilitate completă la modul de structurare

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 15/51

Serializare

I transformarea structurilor de date/obiectelor ı̂ntr-o formă stocabilă (de obicei un fis, ier)

I ı̂n general se preferă un format de stocare standard, care să poată fi folosit de diverse aplicat, ii/limbaje

I exemple de formate de stocare de date serializate text: JSON, XML, YAML

I ı̂n Python se poate folosi modulul Pickle care stochează date ı̂n fis, iere binare

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 16/51

Date ı̂n format atribut-valoare

I nu există obiecte/entităt, i, ci doar proprietăt, i/atribute s, i valori pentru acestea

I ı̂n general de forma attribute = value sau attribute: value

I util pentru fis, iere de configurare, nu pentru obiecte sau entităt, i

I /etc/default/grub, /etc/hosts, fis, ierele .vmx

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 17/51

Formate de fis, iere text

I INI: formă simplă de cheie valoare

I JSON (JavaScript Object Notation): o formă de definire de obiecte (cu atribute s, i valori)

I YAML (YAML Ain’t Markup Language): este un superset al JSON

I XML (Extensible Markup Language): reprezentare arborescentă

I CSV (Comma Separated Values): format tabelar text, colaborare cu suite Office

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 18/51

Codificarea caracterelor

I codificarea caracterelor folosite de oameni ı̂n format digital de reprezentare

I ASCII asociază 7 bit, i pentru fiecare caracter: A = 0x41, a = 0x61

I UTF-8 este cel mai răspândit format de codificare din Internet I UTF-8 este compatibil cu ASCII s, i permite reprezentarea unui

spectru larg de caractere I ı̂n UTF-8: s, = 0xc899, t, = 0xc89b I caractere chirilice, chinezes, ti etc.

CSE Dep Cursul 9, Stocarea s, i prelucrarea datelor 19/51

Ce este o bază de date?

I un fis, ier sau un set de fis, iere

I format particular de stocare, specific implementării

I ı̂n general binare cu un nivel de acces la baza de date

I s