Facebook archiviert Daten auf Blu-Rays

Facebook entwickelt ein auf Blu-ray Technologie basierendes 1 Petabyte Storage-Rack und spart 80% Energie- und nicht zuletzt auch fortlaufende Migrationskosten

Seit nunmehr 10 Jahren sammelt Facebook fleißig alles, was die mittlerweile 1,23 Milliarden Nutzer von sich preisgeben. Viele der Daten werden von den Usern zunächst fleißig geteilt und immer wieder angeschaut. Was jedoch passiert mit den älteren Daten? Diese werden nur noch ab und an aufgerufen, etwa wenn neu hinzugefügte Freunde sich in den älteren Daten umschauen oder man selbst sich vielleicht nostalgisch durch die in die Jahre gekommenen Fotoalben klickt.

Dieses Szenarium ist das Nonplusultra-Anwendungsgebiet für HSM-Software, welche den Content je nach Zugriffssituation zwischen den direkt zugreifbaren, schnelleren aber teuren Speichern und den im Unterhalt viel günstigeren Nearline-Storage Systemen hin und her bewegen kann.

Für den User geschieht das alles im Hintergrund, denn auch wenn eine Datei im Hintergrund verschoben wird, bleibt ein Link zu dieser Datei auf dem ursprünglichen Datenträger und in der Situation eines Zugriffs, in der der User auf eine ausgelagerte Datei oder im Falle von Facebook, auf den Link klickt, dirigiert das HSM-System die Anfrage auf die tatsächliche Lokation der Datei um. Zwar dauert der Zugriff, je nach verwendetem Nearline-Storage System dann etwas länger, jedoch ist dieses nicht unbedingt ungewöhnlich, denn auch das Aufrufen von zum Beispiel Youtube-Videos dauert einige Sekunden, bis das Video gecached ist und anläuft.

Facebook entwickelte mit einem Partner ein auf Blu-ray Medien basierendes Speichersystem, bei dem ca. 10.000 Blu-ray Medien mit jeweils 100GB in der Summe ein Petabyte Daten aufnehmen und bereitstellen kann. In diesem System befinden sich Cartridges im Einsatz, welche jeweils -wie in ersten 6fach CD-Wechslern für's Auto- mehrere Blu-rays enthalten sind. Wird eine Datei aus dem Archiv angefordert, entnimmt eine Robotik die jeweilige Cartridge, befördert Sie in wenigen Sekunden zum nächsten Laufwerk und beginnt dann sofort mit der Übertragung der Daten.

Das Argument für solche Lösungen liegt vor allem in den Kosten, aber auch langfristige Datensicherheit und Energieeffizienz spielen eine Rolle. Die in der Regel eingesetzten Festplattenarrays sind teuer in der Anschaffung und nicht zuletzt auch im Unterhalt, denn in derartigen Einsatzgebieten drehen die Festplatten unentwegt, verbrauchen somit Strom und produzieren nicht zuletzt auch Wärme, die über eine aufwendige Klimatisierung wieder heruntergekühlt werden muss.

Dazu kommt noch der erhebliche Aufwand, Festplattenspeicher aus Sicherheitsgründen immer wieder umkopieren zu müssen. Wer selbst schon einmal zu Hause seine Fotosammlung o.ä. mit einigen Terabyte von einer Festplatte auf eine andere kopiert hat, kann ermessen über welche Zeiträume gesprochen werden muss, bei Datenmengen, die im vielfachen Petabyte (1 Petabyte = 1.000 Terabyte) Bereich liegen.

Werden keine Daten abgefragt, verbraucht der Medienroboter mit 200 Watt kaum Strom und die Wärmeentwicklung ist selbst bei Vollast zu vernachlässigen. Nach eigenen Angaben spart Facebook 80% der Energiekosten, gegenüber den zuvor eingesetzten Festplattensystemen. Zudem ist auch die Haltbarkeit der verwendeten Blu-ray Medien ein nicht zu vernachlässigender Vorteil der Technologie. Während immerzu drehende Festplatten alle 3-5 Jahre ausgetauscht werden müssen, ist die Haltbarkeit der Blu-rays mit mindestens 50 Jahren um einiges länger zertifiziert.

Gerade im Zeitalter von Big Data ist die Haltbarkeit von Speichersystemen ein großes Thema, denn anders als bei Geschäftsakten, die in der Regel nach 10 Jahren entsorgt werden, verspricht dieser neue IT-Trend, auch aus älteren Daten nach langen Jahren noch Profit zu ziehen. Informationen werden immer mehr zur Handelsware und sind bei richtiger Auswertung einer der wichtigsten Rohstoffe unserer Gesellschaft.

Kiteworks and Kasm partner to provide secure data management for distributed teams and partner...
Red Cactus and Tollring launch AI conversation analytics to support CRM integration across over 200...
F5 reveals new AI-driven security features in its ADSP that aim to enhance application protection...
Teleport’s infrastructure identity platform has been named a 2026 SC Awards Finalist in the Best...
WSO2 unveils a fresh focus on supporting agentic enterprises, aiming to strengthen AI deployment...
ServiceNow introduces AI innovations, Autonomous Workforce and EmployeeWorks, aiming to enhance...
NTT DATA and Ericsson collaborate to deploy enterprise private 5G networks, enabling edge AI and...
ElevenLabs and Google Cloud strengthen collaboration to offer advanced AI voice tools for global...