Auch der zweite Vortrag, dessen Referent mir entfallen ist (kann den jemand in den Kommentaren nachreichen?) war überaus interessant. Es ging zwar nicht um Cloud Computing sondern vielmehr um die Fullfillment Services die Amazon im Rahmen der Amazon Web Services anbietet, aber Logistik etc. sind definitiv faszinierende Themen und der Vortrag war auch sehr unterhaltsam.

Leider musste ich früher gehen, weil ich noch eine “Verpflichtung” hatte, aber ich denke beim nächsten mal bin ich definitiv wieder dabei.

Demnach resultierte eine Denial of Service Attacke bei einem auf EC2 gehosteten Dienst in extrem langsamen Zugriffen auf die EBS Volumes. Was die Vermutung nahe legt, dass die gleiche Netzwerkverbindung für externe Verbindungen und für den Zugriff auf die EBS Volumes genutzt wird. Ob dies nun wirklich so ist, oder nicht, weiss ich allerdings auch nicht…

Wie der Artikel aber schon sagt, kann man nur hoffen, dass die Vermutung sich nicht bewahreitet oder zumindest dieser Designfehler hoffentlich bald behoben wird.

Einige Eckdaten:

• ca. 40.000 Server +/- 10.000
• 2 U Dual-Socket wahrscheinlich 8 Kern Server (Rackable S2108)
• 8 x 500GB SATA Festplatten pro Server
• Server verteilt auf 6 Availability-Zones
• 6.700 pro Zone
• 16 Server pro Rack
• 417 Racks pro Zone, 2500 insgesamt
• 200.000 m² Rechenzentren insgesamt

Beeindruckende Zahlen. Wie Randy aber schreibt, sind es teilweise Informationen die er von zuverlässiger Quelle bekommen hat. Selbstverständlich  kann er die Quellen nicht nennen, und man muss ihm deshalb glauben, dass diese zuverlässig sind. Andere Zahlen sind annahmen. Jedoch ist Randy nicht einfach nur irgendwer, sondern hat in seiner Berufslaufbahn und insbesondere als CTO bei GoGrid durchaus genug Erfahrung gesammelt, dass man ihm die zuverlässige Einschätzung zutrauen kann.

Für den Umsatz entscheidend ist aber insbesondere die Größe der Instanz, deren Beliebtheit und die Gesamtauslastung. Seine Annahme hierzu bezeichnet Randy selbst als “wild ass guess”. Demnach macht Amazon mit EC2 alleine, über 220.000.000 US-Dollar Umsatz im Jahr. Auch wenn die Zahlen nicht 100% verlässlich sein werden, sind einige der Zahlen überaus interessant und geben einen guten Einblick in das Geschäftsmodell des IaaS Platzhirsches. Alle Details gibts bei Randy selbst:

Amazon’s EC2 Generating 220M+ Annually

Update: In den Kommentaren wurden einige Korrekturen vorgeschlagen und insbesondere der Kommentar vom Rightscale CTO Thorsten verhilft den Annahmen zu mehr Glaubwürdigkeit.

via Twitter jamesurquhart

Was natürlich niemanden davon abhält Untersuchungen an- und Vermutung aufzustellen.

Amazon EC2 erlaubt es Kunden stundenweise virtuelle Instanzen zu mieten. Soweit so kurz zur Einführung. Diese Instanzen bekommen einzigartige IDs zugewiesen. Guy Rosen ist bei den IDs die er zugewiesen bekommen hat ein Schema aufgefallen. Neugierig hat er daraufhin ein paar Versuche gestartet und kam dabei zu dem Ergebnis, dass Amazon in einer Verfügbarkeitszone an einem Tag im September 2009 50.000 neue Instanzen gespawnt hat.

Insgesamt müsste Amazon seit dem EC2 Start 8.4 Millionen Instanzen gestartet haben.

Beeindruckende Zahlen. Alle Details, wie Guy auf die Zahlen gekommen ist finden sich in seinem Blog:

Anatomy of an Amazon EC2 Resource ID

• Amazon SimpleDB - Highly available and scalable, low/no administration structured data storage.
• Amazon CloudWatch – Monitoring for the AWS cloud, starting with providing resource consumption (CPU utilization, network traffic, and disk I/O) for EC2 instances.
• Elastic Load Balancing – Traffic distribution across multiple EC2 instances.
• Auto Scaling – Automated scaling of EC2 instances based on rules that you define.

Damit erhöht Amazon weiter die Meßlatte für Cloud Infrastruktur Anbieter und erleichtert allen Nutzern das Leben erheblich. Ganz ohne Kritik darf man das ganze aber nicht sehen. Es ist eigentlich unnötig, dass neue Funktionen teilweise erst mehrere Monate nach den USA auch in Europa gestartet werden.

Bildquelle: Amazon

Einmalpasswörter versprechen Sicherheit durch die Kombination zweier bekannter Eingaben, nämlich Benutzername und Passwort und einer Dritten Zeichenfolge, dem Einmalpasswort. Dieses Einmalpasswort ändert sich in gewissen Zeitabständen und ist wenn nichts schief läuft nicht vorraussagbar. Normalerweise wird das Einmalpasswort auf einem kleinen Gerät angezeigt, von diesem kann man es dann ablesen und mit Benutzername und Passwort eingeben.

Ein solches Verfahren hat Amazon jetzt für die Amazon Web Services eingeführt. Auf diese Weise soll unberechtiger Zugriff auf die AWS Konsole erschwert werden.

Um das Verfahren einzusetzen muss man zuerst das Gerät kaufen, und dann in der Konsole freischalten. Mehr Informationen hat das Amazon Web Services Blog.

Google verwendet ein ähnliches System für die Google Suche und auch Yahoo setzt mit Hilfe von Hadoop auf dieses Verfahren.

Hadoop ist quasi der Open Source Klon des Google Systems, und mit etwas Übung und genug Hardware könnte man mit Hilfe dieses Apache Projekts schnell große Datenmengen verarbeiten.

Amazon bietet jetzt mit Amazon Elastic MapReduce die Möglichkeit diese Daten einfach in einen S3 Bucket zu laden, den MapReduce Job zu starten und die Resultate abzuwarten. Es entfällt also das Aufsetzen des Clusters und der Bedarf an Hardware.

Zumindest das Aufsetzen der Software lässt sich aber auch mit Hilfe der Cloudera Hadoop Distribution (Blogbeitrag dazu) vereinfachen. Hier kann man mit Hilfe eines Webinterfaces einen Cluster vorkonfigurieren und muss dann lediglich die zum Download angebotenen Pakete auf den Servern installieren.

Mit AppScale soll es danach möglich sein GAE-Anwendungen besser lokal testen zu können, als dies mit dem SDK möglich ist. Es kann ein Image für XEN heruntergeladen werden auf dem die Anwendungen dann laufen können. Aber vorsicht, zur Zeit gehen alle Daten in der Datenbank beim beenden der Instanz verloren. Dies soll sich aber natürlich in Zukunft ändern.

Darüber hinaus soll es auch möglich sein, die XEN-Instanzen auf EC2 oder Eucalyptus zu starten.

Insgesamt zwei sehr interessante Projekte, auf die man einen Blick werfen sollte. Insbesondere AppScale kann, so es einen ausreichend stabilen Entwicklungsstand erreicht der Ausweg aus dem Google AppEngine Lock-in sein.

Zur Zeit scheint Google dem Vorhaben positiv gegenüber zu stehen. So prangt auf der Webseite des Projekts die Bestätigung, Google habe das Projekt genehmigt. Don’t be evil, bleibt abzuwarten wie sich das entwickelt wenn vielleicht sogar die ersten Konkurrenten auf AppScale basierende Cloud-Hosting-Lösungen anbieten.

Bildquelle: Amazon

Mit dem AWS Toolkit for Eclipse hat Amazon Java-Entwicklern ein mächtiges Tool an die Hand gegeben.

Es ist damit möglich die Entwicklung von Java-Anwendungen auf und für EC2 direkt aus Eclipse heraus zu steuern. Dies umfasst sowohl Debugging der Anwendung während der Entwicklung, als auch die Kontrolle der laufenden Instanzen.

Damit baut Amazon konsequent weiter seine Vormachtstellung in Sachen Iaas aus und versucht das große Problem des hohen Administrationsaufwands etwas einzudämmen indem den Entwicklern gute Tools an die Hand gegeben werden. Trotzdem darf man natürlich nicht vergessen, dass Tools immer nur so lang helfen wie alles reibungslos funktioniert. Wenn irgendetwas schief gelaufen ist, ist häufig ein tieferes Verständnis des Systems notwendig und das Problem zu beheben. Ob dies derjenige, der das ganze mal eben dank des tollen Tools aufsetzen konnte ebenfalls leisten kann ist fraglich.

Das Angebot bietet Sicherheit für das Problem der Unsicherheit, ob Instanzen verfügbar sind wenn man welche braucht. Wenn man vorhersehbare Lastspitzen hat, kann man jetzt dafür Instanzen reservieren und hat die Sicherheit, dass man genug Ressourcen zur Verfügung hat um die Last zu bewältigen.

Die einmalige Zahlung fällt allerdings pro Instanz an und beläuft sich auf 325 US-Dollar für ein Jahr. Drei Jahre kosten 500 US-Dollar. Damit ist das Angebot wohl eher für große Unternehmen interessant. Kleine Startups werden sich wohl gut überlegen, ob wirklich reservierte Instanzen notwendig sind, und wenn ja wie viele. Durch die niedrigeren stündlichen Nutzungsgebühren amortisiert sich das ganze allerdings auch, wenn man die Instanzen denn tatsächlich nutzt.

Mehr Informationen gibts auf dem Amazon AWS Blog.