Server in den Wolken » database

Überblick skalierbare NoSQL vs. skalierbare SQL Lösungen

Philipp Strube — Mon, 01 Mar 2010 09:13:41 +0000

Den Überblick über die verschiedenen Lösungen zu behalten ist gerade bei jungen Technologien oftmals ein anstrengendes Unterfangen. Schön deshalb wenn sich jemand anderes die Arbeit macht und eine Übersicht schafft und man selbst davon profitieren kann. Gute Sache dieses Internet.

High Performance Scalable Data Stores von Rick Cattell

Im seinem Papier geht Rick allerdings nicht nur auf die verschiedenen NoSQL Vertreter ein, sondern hat ebenfalls eine Liste an relationalen Datenbanken die sich das Thema Skalierbarkeit auf die Fahne geschrieben haben.

Neben einer Vorstellung der verschiedenen Lösungen gibt es ausserdem Beispiele zu Anwendungsgebieten der einzelnen Vertretergruppen.

Behandelt werden:

Key-Value Stores

Redis
Scalaris
Tokyo Tyrant / Cabinet
Voldemort
Riak

Document Stores

SimpleDB
CouchDB
MongoDB

Extensible Record Stores

HBase
HyperTable
Cassandra

Scalable Relational Databases

MySQL Cluster
ScaleDB
Drizzle
VoltDB

via highscalability.com

Google App Engine stellt auf neuen, besseren Datastore um

Philipp Strube — Fri, 18 Sep 2009 14:16:09 +0000

Auf dem Google App Engine Blog findet sich ein bemerkenswert ausführlicher Artikel zum Umstieg auf den verbesserten Datastore. Dabei dreht es sich vor allem um die verbesserte Replikation zwischen verschiedenen Rechenzentren. Teilweise ähnelt der Artikel dem Vortrag den Ryan Barett bereits auf der Google I/O Konferenz gehalten hat. Aber auch wenn man den Vortrag schon kennt ist der Blogartikel lesenswert.

Ganz ohne Ausfall wird die Umstellung des Datastore verständlicherweise nicht sein. Entwickler die App Engine nutzen finden die geplanten Umstellungszeiten am Ende des Artikels.

Redis Open Source Key-Value Store

Philipp Strube — Fri, 28 Aug 2009 08:49:52 +0000

Redis ist ein weiterer Open Source Key-Value Store, im Grunde vergleichbar mit memcached mit dem großen Unterschied, dass die Daten nicht-flüchtig sind. Zwar werden alle Daten während der Laufzeit im Speicher vorgehalten, jedoch werden diese nach konfigurierbaren Zeitabständen oder Anzahl von Zugriffen asynchron auf die Festplatte geschrieben.

Dies kann unter Umständen zum Verlust der letzten Transaktionen führen. Mit der von Redis ebenfalls unterstützen Replikation lässt sich dieses Problem aber verringern.

Redis ist Open Source unter der BSD-Lizenz verfügbar und es gibt bereits Bibliotheken für eine Vielzahl an Programmiersprachen. Unter anderem sind Ruby, Python, PHP, Java, und Perl aber auch Erlang und Lua vertreten. Je nach Bibliothek kann es sein, dass Sharding nicht unterstützt wird oder unterschiedliche Hash-Algorithmen verwendet werden. Hier soll wohl für die Zukunft nach Möglichkeit eine einheitliche Lösung geschaffen werden.

Insbesondere die Geschwindigkeit von Redis ist vielversprechend. Laut Webseite schafft Redis 110.000 SET und 81.000 GET Operationen pro Sekunde. Als Hardware wird dabei auf einen “entry-level Linux Server” verwiesen. Weitere Einschätzungen insbesondere im Vergleich mit MySQL findet man im MySQL-Performance-Blog.

LightCloud: Key Value Store Datenbank von Plurk

Philipp Strube — Fri, 06 Mar 2009 20:15:40 +0000

Ich hab ja schon das ein oder andere mal auf Key Value Store Datenbank als alternative verwiesen. Gerade für Cloud Computing eignen sich diese, da diese im Zweifelsfall einfach durch das hinzufügen von Nodes erweitert werden können. Dabei steigt sowohl der Speicherplatz als auch die Geschwindigkeit mit jeder Node. Etwas wovon man bei relationalen Datenbanken nur träumen kann.

Genauso wie nicht auf jede Frage die Antwort RDBMS lautet, lautet sie aber genausowenig Key Value Store. Im Zweifelsfall kommt es wie so oft darauf an, das richtige Tool für den Job zu finden.

Als Möglichkeit möchte ich deshalb hier kurz auf LightCloud verweisen. Eine Key Value Store Datenbank entwickelt von den Jungs und Mädels von Plurk. Beeindruckende Eckdaten hat LightCloud jedenfalls:

Great performance (comparable to memcached!)
Can store millions of keys on very few servers – tested in production
Scale out by just adding nodes
Nodes are replicated via master-master replication. Automatic failover and load balancing is supported from the start

Das ganze ist unter der BSD Lizenz als Open Source veröffentlicht und hier zu finden.

via HighScalability

Linktipps 6

Philipp Strube — Sun, 01 Mar 2009 20:35:28 +0000

Auch diesen Sonntag wieder, ein paar stanende Links zum Start in die neue Woche.

Ma.gnolia Totalausfall: Videopodcast mit Hintergründen und Learnings

Philipp Strube — Tue, 17 Feb 2009 10:58:53 +0000

Der Ma.gnolia Ausfall ist das absolute Paradebeispiel, was passieren kann wenn man die Systemadministration nebenher macht. Als Startup sollte man sich in dieser Hinsicht auf einen erfahrenen Partner verlassen. Ein paar dedicated Server mieten und die Administration nebenher machen kann fatal enden. In einem Podcast kann man jetzt Hintergründe und Learnings zum Ma.gnolia Ausfall erfahren. Ohne viel umschweife, hier ist das Video.

Citizen Garden Episode 11: Whither Ma.gnolia? from Larry Halff on Vimeo.

via FactoryCity

Facebook Casandra

Philipp Strube — Thu, 12 Feb 2009 11:59:44 +0000

Wer sich schon immer gefragt hat wie man 25TB an Nachrichten für über 100 Millionen Nutzer speichert kann sich einfach mal dieses Video (wieso kann ich Facebook Video nicht embedden?) ansehen. Dort wird Facebooks Antwort auf die Frage vorgestellt. Wer Text bevorzugt findet diesen auch auf James Hamiltons Blog.

via Highscalability