Facebook archiviert Daten auf Blu-Rays

Facebook entwickelt ein auf Blu-ray Technologie basierendes 1 Petabyte Storage-Rack und spart 80% Energie- und nicht zuletzt auch fortlaufende Migrationskosten

  • 10 years ago Posted in

Seit nunmehr 10 Jahren sammelt Facebook fleißig alles, was die mittlerweile 1,23 Milliarden Nutzer von sich preisgeben. Viele der Daten werden von den Usern zunächst fleißig geteilt und immer wieder angeschaut. Was jedoch passiert mit den älteren Daten? Diese werden nur noch ab und an aufgerufen, etwa wenn neu hinzugefügte Freunde sich in den älteren Daten umschauen oder man selbst sich vielleicht nostalgisch durch die in die Jahre gekommenen Fotoalben klickt.

Dieses Szenarium ist das Nonplusultra-Anwendungsgebiet für HSM-Software, welche den Content je nach Zugriffssituation zwischen den direkt zugreifbaren, schnelleren aber teuren Speichern und den im Unterhalt viel günstigeren Nearline-Storage Systemen hin und her bewegen kann.

Für den User geschieht das alles im Hintergrund, denn auch wenn eine Datei im Hintergrund verschoben wird, bleibt ein Link zu dieser Datei auf dem ursprünglichen Datenträger und in der Situation eines Zugriffs, in der der User auf eine ausgelagerte Datei oder im Falle von Facebook, auf den Link klickt, dirigiert das HSM-System die Anfrage auf die tatsächliche Lokation der Datei um. Zwar dauert der Zugriff, je nach verwendetem Nearline-Storage System dann etwas länger, jedoch ist dieses nicht unbedingt ungewöhnlich, denn auch das Aufrufen von zum Beispiel Youtube-Videos dauert einige Sekunden, bis das Video gecached ist und anläuft.

Facebook entwickelte mit einem Partner ein auf Blu-ray Medien basierendes Speichersystem, bei dem ca. 10.000 Blu-ray Medien mit jeweils 100GB in der Summe ein Petabyte Daten aufnehmen und bereitstellen kann. In diesem System befinden sich Cartridges im Einsatz, welche jeweils -wie in ersten 6fach CD-Wechslern für's Auto- mehrere Blu-rays enthalten sind. Wird eine Datei aus dem Archiv angefordert, entnimmt eine Robotik die jeweilige Cartridge, befördert Sie in wenigen Sekunden zum nächsten Laufwerk und beginnt dann sofort mit der Übertragung der Daten.

Das Argument für solche Lösungen liegt vor allem in den Kosten, aber auch langfristige Datensicherheit und Energieeffizienz spielen eine Rolle. Die in der Regel eingesetzten Festplattenarrays sind teuer in der Anschaffung und nicht zuletzt auch im Unterhalt, denn in derartigen Einsatzgebieten drehen die Festplatten unentwegt, verbrauchen somit Strom und produzieren nicht zuletzt auch Wärme, die über eine aufwendige Klimatisierung wieder heruntergekühlt werden muss.

Dazu kommt noch der erhebliche Aufwand, Festplattenspeicher aus Sicherheitsgründen immer wieder umkopieren zu müssen. Wer selbst schon einmal zu Hause seine Fotosammlung o.ä. mit einigen Terabyte von einer Festplatte auf eine andere kopiert hat, kann ermessen über welche Zeiträume gesprochen werden muss, bei Datenmengen, die im vielfachen Petabyte (1 Petabyte = 1.000 Terabyte) Bereich liegen.

Werden keine Daten abgefragt, verbraucht der Medienroboter mit 200 Watt kaum Strom und die Wärmeentwicklung ist selbst bei Vollast zu vernachlässigen. Nach eigenen Angaben spart Facebook 80% der Energiekosten, gegenüber den zuvor eingesetzten Festplattensystemen. Zudem ist auch die Haltbarkeit der verwendeten Blu-ray Medien ein nicht zu vernachlässigender Vorteil der Technologie. Während immerzu drehende Festplatten alle 3-5 Jahre ausgetauscht werden müssen, ist die Haltbarkeit der Blu-rays mit mindestens 50 Jahren um einiges länger zertifiziert.

Gerade im Zeitalter von Big Data ist die Haltbarkeit von Speichersystemen ein großes Thema, denn anders als bei Geschäftsakten, die in der Regel nach 10 Jahren entsorgt werden, verspricht dieser neue IT-Trend, auch aus älteren Daten nach langen Jahren noch Profit zu ziehen. Informationen werden immer mehr zur Handelsware und sind bei richtiger Auswertung einer der wichtigsten Rohstoffe unserer Gesellschaft.

Talent and training partner, mthree, which supports major global tech, banking, and business...
On average, only 48% of digital initiatives meet or exceed business outcome targets, according to...
GPUaaS provides customers on-demand access to powerful accelerated resources for AI, machine...
TMF Group, a leading provider of critical administrative services for global businesses, turned to...
Strengthening its cloud credentials as part of its mission to champion the broader UK tech sector...
Nearly all UK IT managers surveyed (98%) state cloud investment is an organisational priority for...
LetsGetChecked is a global healthcare solutions company that provides the tools to manage health...
Node4 to the rescue.