Vor ein paar Tagen bin ich über einen interessanten Vortrag zu Performance und Skalierung der Infrastruktur von Google gestoßen, den ich meinen Lesern nicht vorenthalten will. Jeff Dean , ein Google Mitarbeiter, hat im Rahmen der EE380 in Standford einen Vortrag gehalten, welcher auf den Namen “Building Software Systems at Google and Lessons Learned” getauft wurde. Sehr sehenswert, geht jedoch über eine ganze Stunde. Wer dafür keine Zeit hat, kann sich die Slides hier und eine der Zusammenfassungen hier ansehen.
Für mich war einer der interessantesten Sätze der Hinweis, dass man aus der Erfahrung von Google skalierbare Systeme zunächst auf 5-50-faches Wachstum auslegen sollte. Mehr als 100-faches Wachstum bräuchte dann sowieso ein Redesign der Strukturen. Auch sehr interessant waren die Statistiken zu den MapReduce-Jobs über die verschiedenen Jahre. So laufen derzeit 4 Millionen Jobs, welche knapp 1000PB Daten mit 130TB Zwischendaten und 45TB Ausgabedaten doch beachtliche Mengen pro Monat durchschleusen.
Ansonsten fand ich auch die Zahlen zu den verschiedenen Latenzen sehr interessant. Angefangen vom L1-Cache bis hin zur Übertragung von Daten zwischen zwei Ländern:
=> Sehr lesens- und sehenswert!
Quelle der Grafiken: Vortragsslides von Jeff Dean