Ceph Distributed File System¶

Ceph ist ein verteiltes Netzwerk-Dateisystem, das für gute Leistung, Zuverlässigkeit und Skalierbarkeit entwickelt wurde.

Grundlegende Merkmale sind:

• POSIX-Semantik
• Nahtlose Skalierung von 1 bis zu vielen tausend Knoten
• Hohe Verfügbarkeit und Zuverlässigkeit. Kein Single Point of Failure.
• N-Wege-Replikation von Daten über Speicherknoten hinweg
• Schnelle Wiederherstellung nach Knotenausfällen
• Automatische Neuverteilung von Daten bei Hinzufügen/Entfernen von Knoten
• Einfache Bereitstellung: Die meisten FS-Komponenten sind Userspace-Daemons

Auch,

• Flexible Snapshots (auf jedes Verzeichnis)
• Rekursive Abrechnung (verschachtelte Dateien, Verzeichnisse, Bytes)

Im Gegensatz zu Cluster-Dateisystemen wie GFS, OCFS2 und GPFS, die sich auf einen symmetrischen Zugriff aller Clients auf gemeinsam genutzte Blockgeräte stützen, trennt Ceph die Verwaltung von Daten und Metadaten in unabhängigen Serverclustern, ähnlich wie Lustre. Im Gegensatz zu Lustre laufen die Metadaten- und Speicherknoten jedoch vollständig als Daemons im Userspace. Die Dateidaten werden in großen Blöcken über die Speicherknoten verteilt, um die Arbeitslast zu verteilen und hohe Durchsätze zu ermöglichen. Wenn Speicherknoten ausfallen, werden die Daten von den Speicherknoten selbst (mit minimaler Koordination durch einen Cluster-Monitor) neu repliziert, was das System extrem effizient und skalierbar macht.

Metadatenserver bilden effektiv einen großen, konsistenten, verteilten In-Memory-Cache über dem Dateinamensraum, der extrem skalierbar ist, Metadaten als Reaktion auf Änderungen der Arbeitslast dynamisch neu verteilt und beliebige (nun ja, nicht-byzantinische) Knotenausfälle toleriert. Der Metadatenserver verfolgt einen etwas unkonventionellen Ansatz für die Metadatenspeicherung, um die Leistung für gängige Arbeitslasten deutlich zu verbessern. Insbesondere Inodes mit nur einem Link sind eingebettete indirekte Verzeichnisse, so dass ganze Verzeichnisse mit Einträgen und Inodes mit einem einzigen E/A-Vorgang in den Cache geladen werden können. Der Inhalt extrem großer Verzeichnisse kann fragmentiert und von unabhängigen Metadatenservern verwaltet werden, was einen skalierbaren gleichzeitigen Zugriff ermöglicht.

Das System bietet automatischen Datenausgleich/Migration bei der Skalierung von einem kleinen Cluster mit nur wenigen Knoten auf viele Hunderte, ohne dass ein Administrator den Datenbestand in statische Volumes aufteilen oder den mühsamen Prozess der Datenmigration zwischen Servern durchlaufen muss.Wenn das Dateisystem voll ist, können einfach neue Knoten hinzugefügt werden, und alles wird „einfach funktionieren“

Ceph umfasst einen flexiblen Snapshot-Mechanismus, der es dem Benutzer ermöglicht, einen Snapshot für jedes Unterverzeichnis (und dessen verschachtelten Inhalt) im System zu erstellen. Das Erstellen und Löschen von Snapshots ist so einfach wie „mkdir.snap/foo“ und „rmdir .snap/foo“.

Ceph bietet auch einige rekursive Abfragen auf Verzeichnisse für verschachtelte Dateien und Bytes. Das heißt, ein „getfattr -d foo“ auf ein beliebiges Verzeichnis im System zeigt die Gesamtzahl der verschachtelten regulären Dateien und Unterverzeichnisse sowie eine Summierung aller verschachtelten Dateigrößen an. Dies macht die Identifizierung großer Speicherplatzverbraucher relativ schnell, da kein „du“ oder ähnlicher rekursiver Scan des Dateisystems erforderlich ist.

Schließlich erlaubt Ceph auch die Festlegung von Quoten für jedes Verzeichnis im System.Die Quote kann die Anzahl der Bytes oder die Anzahl der Dateien begrenzen, die unter diesem Punkt in der Verzeichnishierarchie gespeichert sind. Quoten können mit den erweiterten Attributen „ceph.quota.max_files“ und „ceph.quota.max_bytes“ festgelegt werden, z. B.:

setfattr -n ceph.quota.max_bytes -v 100000000 /some/dirgetfattr -n ceph.quota.max_bytes /some/dir

Eine Einschränkung der aktuellen Quoten-Implementierung besteht darin, dass sie auf die Kooperation des Clients angewiesen ist, der das Dateisystem mounten will, um die Schreibvorgänge zu stoppen, wenn ein Limit erreicht ist. Ein modifizierter oder feindlicher Client kann nicht daran gehindert werden, so viele Daten zu schreiben, wie er benötigt.