Hi, I'm Guido. I develop large-scale e-commerce systems at OTTO and write about what works, what doesn't, and why.

Digression

Gustafson's Law – When the Problem Grows With the Resources

Amdahl’s Law describes the maximum speedup that can be achieved through parallelisation: it is bounded by the serial fraction. However, in 1988, John Gustafson countered that if the problem grows in proportion to the resources available, the speedup remains almost linear. This calculation works out in high performance computing. However, for load-driven web systems, it is ineffective because Gustafson’s optimism hinges on a constant serial fraction, which grows under load instead of shrinking.

The latest instalment in the Scalability Series shows when Amdahl’s law and Gustafson’s law are the right model, and explains why the two are not competitors but answer different questions.

Read the article: Gustafson's Law – When the Problem Grows With the Resources →
Exkurs

Gustafson's Law – Wenn das Problem mitwächst

Amdahl’s Law beschreibt, wie viel eine Parallelisierung überhaupt bringen kann: Der maximale Speedup ist durch den seriellen Anteil begrenzt. Doch 1988 hielt John Gustafson dagegen. Wächst das Problem mit den Ressourcen, bleibt der Speedup nahezu linear. Im High Performance Computing geht diese Rechnung auf. Für last-getriebene Web-Systeme gilt dies jedoch nicht, denn Gustafsons Optimismus basiert auf einem konstanten seriellen Anteil, der jedoch unter Last wächst.

Der neue Exkurs zur Skalierbarkeits-Serie zeigt, wann das Modell von Amdahl und wann das von Gustafson zutrifft – und warum beide keine Konkurrenten sind, sondern verschiedene Fragen beantworten.

Zum Artikel: Gustafson's Law – Wenn das Problem mitwächst →
Skalierbarkeit· Teil 3

Amdahl's Law und die Grenzen des Wachstums

Mehr Threads, mehr Kerne, mehr Geld – und trotzdem bleibt der Durchsatz gleich. Fast jedes System hat einen Anteil, der sich nicht parallelisieren lässt. Der dritte Teil der Skalierbarkeit-Serie über Amdahls Gesetz zeigt, wie dieser Anteil eine harte Obergrenze für die Skalierbarkeit setzt und warum sich eine Investition in die Architektur oft mehr lohnt als eine Investition in mehr Hardware.

Zum Artikel: Amdahl's Law und die Grenzen des Wachstums →
Scalability· Part 2

Kingman's Formula

The second part of the Scalability Series explains why a correctly sized service still breaks down under load. According to Kingman’s formula, as workload increases, variability in service times leads to a significant increase in response times and the creation of phantom traffic jams in the queue, which occurs long before the theoretical capacity limit is reached..

Read the article: Kingman's formula: phantom traffic jams in the queue →
Digression

Zipf's Law and the Limits of Caching

Caching is the first instinct when dealing with performance and load issues – and it usually helps dramatically. But the capacity gained isn’t down to the system itself, but to the traffic pattern. Zipf’s Law explains why hit rates of 80–95% aren’t the result of good implementation, but rather the result of ‘normal’ human behaviour. And why a single bot with the ‘wrong’ access pattern can bring an entire shop to its knees.

The new instalment in the Scalability Series shows why caching is a powerful performance tool – but not a scaling principle.

Read the article: Zipf's Law and the Limits of Caching →
Exkurs

Zipf's Law und die Grenzen des Cachings

Caching ist der erste Reflex bei Performance- und Last-Problemen – und meistens hilft es spektakulär. Aber die gewonnene Kapazität gehört nicht dem System, sondern dem Traffic-Muster. Zipf’s Law erklärt, warum Hit-Rates von 80–95% kein Verdienst guter Implementierung sind, sondern das Resultat “normalen” menschlichen Verhaltens. Und warum ein einzelner Bot mit dem „falschen” Zugriffsmuster einen ganzen Shop in die Knie zwingen kann.

Der neue Exkurs zur Skalierbarkeits-Serie zeigt, warum Caching ein mächtiges Performance-Werkzeug ist – aber kein Skalierungsprinzip.

Zum Artikel: Zipf's Law und die Grenzen des Cachings →
Scalability· Introduction

A New Series: Scalability

Sometime around 2005, a portal I’d helped to build crashed when it reached 50 concurrent users. Around then, the “New Market” was booming, and everywhere you looked, there were stories of companies serving millions of users. What did they know about software architecture that I didn’t?

The topic of scalability has been with me for over twenty years now. This new series is where I’ll be writing down what I’ve learnt along the way – from the mathematical fundamentals that every developer would understand, to the organisational structures that determine whether a company can even develop and operate systems of this scale.

The series kicks off with the article Fifty Users, in which I introduce the fundamental concepts and challenges of scalable systems. In the coming weeks, further articles will follow on topics such as backpressure, Little’s Law, Kingman’s formula and much more.

Read the article: Fifty Users →
Skalierbarkeit· Einführung

Eine neue Serie: Scalability

Irgendwann um 2005 brach ein Portal, an dem ich mitgebaut hatte, bei 50 gleichzeitigen Nutzern zusammen. Gleichzeitig boomte der “Neue Markt” und überall las man von Unternehmen, die Millionen von Nutzern bedienten. Was wussten die über Software-Architektur, was ich noch nicht wusste?

Das Thema Skalierbarkeit begleitet mich mittlerweile schon über zwanzig Jahre. In einer neuen Serie will ich aufschreiben, was ich dabei gelernt habe – von den mathematischen Grundlagen, die jedem Entwickler verständlich sind, bis zu den organisatorischen Strukturen, die darüber entscheiden, ob das Unternehmen Systeme dieser Größenordnungen überhaupt entwickeln und betreiben kann.

Den Auftakt der Serie macht der Artikel Fünfzig Nutzer, in dem ich die grundlegenden Konzepte und Herausforderungen von skalierbaren Systemen vorstelle. In den kommenden Wochen folgen weitere Artikel zu Themen wie Backpressure, Little’s Law, Kingman’s Formel und vielem mehr.

Zum Artikel: Fünfzig Nutzer →