Ceph Distributed File System¶

Ceph är ett distribuerat nätverksfilsystem som är utformat för att ge god prestanda, tillförlitlighet och skalbarhet.

De grundläggande funktionerna omfattar:

• POSIX-semantik
• Sömlös skalning från 1 till många tusen noder
• Hög tillgänglighet och tillförlitlighet. Ingen enskild felpunkt.
• N-vägs replikering av data mellan lagringsnoder
• Snabb återhämtning från nodfel
• Automatisk ombalansering av data när en nod läggs till eller tas bort
• Enklare driftsättning:

Och

• Flexibla ögonblicksbilder (på vilken katalog som helst)
• Rekursiv redovisning (inbäddade filer, kataloger, bytes)

I motsats till klusterfilsystem som GFS, OCFS2 och GPFS, som förlitar sig på symmetrisk åtkomst för alla klienter till delade blockenheter, separerar Ceph data- och metadatahanteringen i oberoende serverkluster, i likhet med Lustre. Till skillnad från Lustre körs dock metadata- och lagringsnoderna helt och hållet som daemoner i användarutrymmet. Fildata stripas över lagringsnoderna i stora bitar för att fördela arbetsbelastningen och underlätta hög genomströmning. När lagringsnoderna går sönder replikeras data på ett distribuerat sätt av lagringsnoderna själva (med viss minimal samordning från en klusterövervakare), vilket gör systemet extremt effektivt och skalbart.

Metadataservrar bildar effektivt en stor, konsekvent, distribuerad minnescache ovanför filnamnsrymden som är extremt skalbar, dynamiskt omfördelar metadata som svar på förändringar i arbetsbelastningen och som kan tolerera godtyckliga (ja, icke-Byzantiniska) nodefel. Metadataservern använder en något okonventionell metod för lagring av metadata för att avsevärt förbättra prestandan för vanliga arbetsbelastningar. Särskilt inoder med endast en enda länk är inbäddade indirekta kataloger, vilket gör att hela kataloger med dentries och inoder kan laddas in i cacheminnet med en enda I/O-operation. Innehållet i extremt stora kataloger kan fragmenteras och hanteras av oberoende metadataservrar, vilket möjliggör skalbar samtidig åtkomst.

Systemet erbjuder automatisk ombalansering/migrering av data vid skalning från ett litet kluster med bara några få noder till flera hundra, utan att en administratör behöver dela in datamängden i statiska volymer eller genomgå den tråkiga processen att migrera data mellan servrar.När filsystemet närmar sig full kapacitet kan nya noder enkelt läggas till och saker och ting kommer ”bara att fungera”.

Ceph innehåller en flexibel ögonblicksbildsmekanism som gör det möjligt för en användare att skapa en ögonblicksbild av vilken underkatalog som helst (och dess inbäddade innehåll) i systemet. Det är lika enkelt att skapa och radera ögonblicksbilder som ”mkdir.snap/foo” och ”rmdir .snap/foo”.

Ceph tillhandahåller också en viss rekursiv redovisning av kataloger för inbäddade filer och bytes. Det vill säga, en ”getfattr -d foo” på vilken katalog som helst i systemet kommer att avslöja det totala antalet inbäddade reguljära filer och underkataloger samt en summering av alla inbäddade filstorlekar. Detta gör identifieringen av stora diskutrymmeförbrukare relativt snabb, eftersom ingen ”du” eller liknande rekursiv skanning av filsystemet krävs.

För det sista tillåter Ceph också att kvoter sätts på alla kataloger i systemet.Kvoten kan begränsa antalet bytes eller antalet filer som lagras under den punkten i kataloghierarkin. Kvoter kan ställas in med hjälp av de utökade attributen ”ceph.quota.max_files” och ”ceph.quota.max_bytes”, t.ex.:

setfattr -n ceph.quota.max_bytes -v 100000000 /some/dirgetfattr -n ceph.quota.max_bytes /some/dir

En begränsning i den nuvarande kvotimplementeringen är att den är beroende av att klienten som monterar filsystemet samarbetar för att stoppa skrivare när gränsen är nådd. En modifierad eller motstridig klient kan inte hindras från att skriva så mycket data som den behöver.