Server in den Wolken

Auf dem Google App Engine Blog findet sich ein bemerkenswert ausführlicher Artikel zum Umstieg auf den verbesserten Datastore. Dabei dreht es sich vor allem um die verbesserte Replikation zwischen verschiedenen Rechenzentren. Teilweise ähnelt der Artikel dem Vortrag den Ryan Barett bereits auf der Google I/O Konferenz gehalten hat. Aber auch wenn man den Vortrag schon kennt ist der Blogartikel lesenswert.
Ganz ohne Ausfall wird die Umstellung des Datastore verständlicherweise nicht sein. Entwickler die App Engine nutzen finden die geplanten Umstellungszeiten am Ende des Artikels.

Keyspace ist ein vom Startup Scalien entwickelter konsistent replizierter und ausfallsicherer Key-Value Speicher. Die Software ist gerade in Version 1.1 erschienen. Zeit sich das ganze mal etwas genauer anzusehen.
Als Open Source Software kann der Quelltext jederzeit eingesehen und angepasst werden. Zum Zugriff sollen verschiedene Bibliotheken angeboten werden. Zur Zeit ist lediglich eine für C verfügbar. Laut Dokumentation sind allerdings weitere für Python, PHP und Java geplant. Interessierte können aber sicher mithelfen. Stichwort Open Source.
Neben der Möglichkeit über ein eigenes Protokoll auf die Datenbank zuzugreifen, gibt es auch die Möglichkeit alle …

Soundcloud ist nun wahrlich keine Neuigkeit mehr. Soundcloud beschreibt die eigenen Funktionen mit den drei Worten empfangen, senden und verteilen. Dabei geht es wie der Name vermuten lässt natürlich um Musik.
Man kann übersichtlich neue Musik der Künstler mit denen man innerhalb des Dienstes verbunden ist hören, man kann eigene Musik an andere senden und Soundcloud bietet zusätzlich noch einen Player um die eigene Musik in andere Seiten einzubinden und dort anhörbar zu machen. Die Versandfunktion will das versenden von großen Dateien erleichtern. Selbst ausprobiert habe ich den Dienst nicht. Bin …

Die Last auf Datenbankservern kann je nach Anwendung, Datenstruktur und Art der Daten zu einem echten Problem für Startups werden. Weil es im Gegensatz zu Webservern bei Datenbankservern nicht damit erledigt ist einfach weitere Maschinen zu starten sollte man sich frühzeitig Gedanken machen wie man mit Hilfe von Sharding die Last auf verschiedene Datenbankserver(cluster) verteilen kann.
Das Problem, gerade für Startups, dabei ist, dass man vorher nicht sagen kann welche der Daten sich gut zum sharding eignen, wo es sich lohnt und wenn nach welchem Muster man die Daten aufteilt. Ausserdem …

Auf dem Blog maxindelicato.com, dem Max Indelicato seinen Namen gibt, findet sich erneut, ich habe bereits vorher auf einen Artikel zum Thema Datenbanksharding verlinkt, ein überaus interessanter und lesenswerter Artikel. Diesmal geht es um die Frage ob und wie man memcached als Shard Index verwenden könnte. Lesen.

Auf maxindelicato.com findet sich ein sehr ausführlicher Artikel zum Thema Datenbankskalierung durch Sharding. Von Sharding spricht man wenn Datensätze auf verschiedene Teile aufgeteilt werden damit diese dann auf verschiedene Datenbankinstanzen verteilt werden können.
Zu Beginn nimmt sich der Artikel dabei die Zeit einige Begriffe zu erklären. Besonders hervorzuheben ist dabei die wichtige Unterscheidung zwischen Geschwindigkeit (Performance) und Skalierbarkeit. Der Unterschied ist nämlich, dass es bei Geschwindigkeit darum geht wie schnell ein System eine einzelne Anfrage beantworten kann, wohingegen Skalierbarkeit sich auf die Qualität des Systems unter Last bezieht.
Der Artikel will dabei …

Zur Erklärung
Das größte Problem bei EC2 Instanzen bisher bestand darin, dass es keine Datenpersistenz gab. Das bedeutet, alle während der Laufzeit einer Instanz geänderten Daten die auf die Festplatte dieser Instanz geschrieben wurden waren verloren wenn die Instanz beendet wurde.
Wie jedem sofort einleuchten wird, ist dies natürlich ein großes Problem, wenn sich eine Maschine auf Grund irgendeines Fehlers während der Laufzeit verabschiedet. Normale Server fährt man wieder hoch und dank der Innovation bei den Journaling-Dateisystemen der letzten zehn Jahre kommt es nur sehr selten zu Datenverlusten. EC2 Instanzen hingegen kann …