Category Archives: diverse

blog problems

diverse, ,

In ultima vreme tot am dat de dude cu blogul si nu stiam ce are. In weekend am descoperit: am ramas fara spatiu pe disc din cauza bazei de date care ajunsese la 16GB, iar discul e mic (20GB).

Asa ca am inceput sa investighez.

Am facut un dump pe un alt disc la toate bazele de date si am ajuns la 9.4GB. Asta a fost momentul de WTF, ca n-am cum pisici sa am atata spatiu ocupat cu blogul. Dar aveam cum sa am atata spatiu ocupat cu wiki-ul. Care in ultimii doi ani a fost spamat in dusmanie. Si m-am apucat sa sap sa vad ce pot face.

Si a devenit interesant, ca initial am vrut sa sterg toate reviziile de la pagini astfel incat sa nu mai am probleme, doar ca dura incredibil de mult. Pana m-am prins ca pot sterge cate o luna, cate o luna pana ajung la zi cu spam-ul. Si uite asa am sters cre’ca 1.5-2 milioane de spam-uri :( sute de mii de randuri cu cate putin text. Dupa toata aventura asta, am dat din nou dump la baza de date si guess what: doar 66MB.

Sters /var/lib/mysql, pornit MySQL sa-si refaca bazele de date, import si acu sunt iar fericit.

Acu merge blogul bine, merge si wiki-ul cam cum trebuie. Mai am sa ma prind cum draci sterg vreo 1700 de pagini de talk aiurea in mod automat sa nu ma ia plansul manual si cre’ca o sa fie OK overall.

san stuff, take 3

diverse

Azi m-am mai jucat putin cu SAN-ul nou si am descoperit ca daca merg pe recomandarile hitachi, scot cam ~ 200MB/sec scriere/citire pe raid groups. Daca in schimb pun VMware-ul sa foloseasca un singur path catre discuri, atunci rata de citire ajunge la ~ 360MB/sec.

Acu sunt la partea cu WTF, sa ma prind ca morti si raniti are de se comporta asa.

esxi, take 1

diverse

Tot weekend-ul m-am jucat cu VMware ESXi 4.1 Update 1 legat la maretul SAN.

Si am facut aproape toate tampeniile posibile pe el: cluster; activat Fault Tolerance pentru 2 masini virtuale, un Linux si-un Windows si facut failover si alte cele; lasat DRS-ul sa-si faca de cap si sa reaseze masinile virtuale unde crede el de cuviinta in cluster sa fie clusterul balansat cum trebuie; am dat drumul la compilat un kernel si am initiat un VMotion de pe un host pe altul: a mers compilarea chiar daca masina se muta dintr-o parte in alta.

Acu sunt curios ce-o sa iasa, am dat la toti linucsii sa faca “find / -print” de cateva zeci/sute de mii de ori sa stresez si CPU-ul si conectica pe FC la SAN, iar pe o masina sa compileze tot anul la 2.6.38 vanilla.

Daca nu mi-ar fi asa lene, as aloca niste adrese IP si la Windowsii aia si as rula pe ei un CpuBusy.vbs doar asa… sa fie burn-in -ul cat mai realist, eventual si-un IOMeter. Cre’ca am sa fac asta maine.

Pe legaturi de 100Mbps, dureaza la nesfarsit un VMotion – iar cateodata chiar nu se realizeaza, zice VMware ca “se schimba memoria mult prea des versus latimea de banda disponibila pentru acest proces, drept urmare se face abort”. Asa ca le-am conectat la un switch gigabit si acum e mult mai bine.

Windowsul a decis ca desi e proaspat instalat sa vrea sa se activeze asa de capul lui si sa nu astepte cele 30 de zile regulamentare inainte de a face asta si uite asa m-a suparat.

Overall ma declar fericit cu noua jucarie, astept s-o vad cum se comporta in productie.

san stuff, take 2

diverse

Dupa ce m-am mai jucat ceva cu noua jucarie, am reinstalat si serverele cu VMware si m-am pus pe facut masini virtuale: CentOS 5.5 si Windows Server 2008 R2 Enterprise: vreo 12 linucsi si 20 de Windowsi. Toti ruland pe acelasi server.

Inapoi la SAN: m-am apucat sa formatez (bine, io doar am dat comanda) volumele de 2TB de pe SAN (ca ESXi 4.1U1 nu stie de discuri mai mari de 2TB, cica s-ar fixa in ESXi 5 care apare in H2 2011). Si de ieri de la 12 tot formateaza la ele si exista ceva sanse sa termine pana maine dimineata sau pana la pranz. O parte cred ca are de face si cu faptul ca’s multe si prea mult I/O in paralel pe acelasi RAID Group nu face bine. Da macar beculeste frumos acolo.

Dupa formatare ma apuc sa fac teste sa vad cat I/O scot si de pe o gramada de discuri S-ATA mari.

san stuff

diverse,

Acu ca am SAN si tot vreau sa ma laud cu el, azi am avut o mica intalnire de “knowledge transfer” cu un nenea de e bun prieten cu SAN-urile HDS si switch-urile FC de la Brocade.

Azi am facut zone, adaugat WWN-uri la zone, RAID Groups, LUNs si alte cele.

Dimineata cabland io de zor la fibre intre servere, storage si SAN switch mi-am dat seama ca de fapt nu am doua cai de a ajunge de la switch la storage, ci patru. pentru ca fiecare controller are 2 porturi FC. Si pentru ca am SAN super jmecher, ambele controllere sunt active, iar LUN-urile sunt active pe fiecare controller.

Dar, cea mai tare chestie: boot de pe SAN al unui server. Ii fac acolo o partitie sistem de cativa giga si ii zic la HBA de unde sa booteze. Si gata, pot sa pun servere diskless care o sa booteze foarte frumos. Cu ocazia asta am descoperit ca HBA-urile Qlogic 2562 cand scaneaza dupa LUN-uri pe Fiber Channel si descopera acelasi LUN pe mai multe cai nu-l listeaza de 2-4 ori, ci doar o singura data. Ceea ce e foarte misto ca n-ai dileme dupa de pe care LUN sa bootezi.

VMware stie de HDS si operatiunile de copiere/mutare de date sunt accelerate in sensul ca doar ii spune la storage ce sa copieze/mute de unde/unde si ala face treaba fara sa mai tragi datele pana la server si sa le trimiti inapoi la storage. Ceea ce e foarte cool ca scapi de unele penalitati.

Vroiam sa pun o poza cu ce pisici am facut io azi, da a iesit cam handicapata si acu chef de Visio n-am sa fac poze frumoase. Da intentionez sa pun una cand termin tot setup-ul.

Un alt motiv pentru care’s asa bucuros e ca legaturile FC sunt la 8Gbps.

Nu stiu daca are prea multa logica ce-am balmajit p’aci da’ sunt super excitat si bucuros de noua jucarie. Sper ca pana marti cand se termina mini vacanta de pasti sa am un cluster de servere vmware complet functional sa fac si io probe de stuff.

Si ca tot vorbesc de VMware, azi am dat-o un pic de gard cu managementul SAN-ului si i-am dat un reboot de control sa-si faca clear la niste useri logati. Eh, in tot acest timp aveam in VMware o masina virtuala pornita care n-a patit nimic intr-un interval de ~ 10minute pana s-a rebutat SAN-ul complet. Daca n-ar dura asa mult reboot-ul, i-as mai da unul de control in timp ce fac I/O in masina virtuala sa vad ce face VMware in situatia asta.

Acu ca am cam priceput cam cum sta treaba, ma duc sa desenez stuff sa fac cum trebuie interconectarile intre servere si LUN-urile de boot pentru fiecare.

jucarii noi

diverse,

Azi am primit jucarii noi: Un sistem SAN de la Hitachi, doua switch-uri Fiber Channel de la Brocade si HBA-uri PCIe x8. Maine o sa le fac poze si cre’ca o sa le fac poze cand o sa le desfac pe bucatele din nou cand le-oi scoate din rack. Ca un sistem din ala incarcat cu discuri, surse si controllere e suficient de greu incat doi oameni sa-l miscam cu greu.

Acu mi-am laut de citit documentatie la sistem sa vad ce si cum. Ma gandeam ca n-ar fi stricat si-un contor Geiger ca tot scrie pe device-uri “Made in Japan”. Am intrat si io acu in grupul baietilor mari care au SAN :)

/me happy.