Problemen met bereikbaarheid sommige websites

RCA / Post-mortem

Services op omgeving web103 en web104 hadden tussen gisteravond 21 december 23:19 uur en vandaag 10:15 uur last van verminderde performance als gevolg van een ingeplande aanpassing van het beschikbare RAM-geheugen.

Om dit probleem met verminderde performance op te lossen, is de aanpassing om 10:15 uur teruggedraaid. Als gevolg van het terugdraaien van deze aanpassing moesten web103 en web104 herstart worden. De web104 server kwam helaas niet goed door die herstart heen.

Websites die gebruikmaakten van Nginx waren online, websites die echter gebruikmaakten van Apache (via Nginx-proxy) niet. Het heeft ons tot 11:10uur gekost om er achter te komen waar dat probleem vandaan kwam. Een half ingeladen firewall-configuratie bleek uiteindelijk de boosdoener. Hierdoor waren sommige services (zoals Nginx) bereikbaar en sommige (zoals Apache) niet. Zodra dit duidelijk was, heeft een engineer dit vrijwel direct opgelost en waarom om 11:12 uur alle services weer online.

Een aantal zaken worden nog onderzocht. Zoals de oorzaak van de verminderde performance en het niet volledig inladen van de firewall-configuratie. Daarnaast willen we een soortgelijk probleem in de toekomst sneller kunnen detecteren - en uiteraard sneller oplossen.

Onze excuses voor het ontstane ongemak. We zijn ons ervan bewust dat de web104 server de laatste maanden een boven gemiddeld aantal keer met incidenten te maken gehad heeft. Wij gaan de komende tijd extra hard ons best doen om deze trend te doorbreken.

Alle services zijn weer bereikbaar. Aanvullende informatie volgt nog.

Alle websites op web104 zijn op dit moment onbereikbaar. Aan een oplossing wordt gewerkt.

Er is op dit moment nog een openstaand probleem met betrekking to web104. Het probleem is in onderzoek.

Het incident met web103 en web104 is opgelost. Het incident was het gevolg van een capaciteitsprobleem dat ontstaan is na gepland onderhoud.

Wij houden de situatie in de gaten.

We melden eerder dat dit incident betrekking had op web102 tot en met web105. Het incident had echter alleen betrekking op web103 en web104 en niet op web102 en web105.

de web104 wordt herstart ten behoeve van extra resources

Sommige websites op web102, web103, web104 en web105 zijn op dit moment verminderd bereikbaar. Het probleem wordt momenteel onderzocht.