MeinImmoPortal - Fehlgeschlagenes Update des Datenbankclusters – Details zu Vorfällen

Vor dem Update des Datenbankclusters haben wir dieses mit der offiziellen Anleitung auf einem Test-Cluster den wir dafür extra eingerichtet haben getestet.
Bei dem Test des Prozesses ist alles richtig gelaufen und während des Upgrades kam es zu keinen Unterbrechungen der Verbindung.
 
Den Prozess haben wir anschließend dokumentiert und heute Morgen um 06:30 Uhr mit der Umsetzung begonnen.

Das erste von drei Upgrades ist auf einem Großteil der Datenbankserver wie erwartet problemlos verlaufen.
Beim Update von einem der letzten Datenbankserver kam es beim identischen Prozess jedoch zu einem Fehler der das gesamte Cluster unerwartet in einen Fail-State versetzte.
 
Versuche das Cluster dann wiederherzustellen verliefen erfolglos und auch der Versuch nur einen einzelnen Datenbankserver kurzfristig ohne Cluster wieder aktiv zu nehmen schlug fehl.
 
Auf solch einen grundlegenden Fehler waren wir bei dem erwarteten Standard-Upgrade-Prozess nicht vorbereitet und mussten somit das weitere Vorgehen planen. Zur Sicherheit wurde an diesem Zeitpunkt auf ein 4-Augen Prinzip gewechselt, was Zeit gekostet hat, um den nötigen Kollegen ins Büro zu holen.
 
Wir haben uns dann dazu entschieden das Datenbank-Cluster komplett neu aufzubauen was dann erfolgreich verlaufen ist. In diesem Zuge wurde dann direkt das Upgrade auf die neuste Version mit ausgeführt.
 
Bei erneuter Überprüfung des Prozesses konnten wir keinen Fehler bei der Umsetzung laut offizieller Dokumentation feststellen und können aktuell anhand des Logs auch nicht nachvollziehen was den Fail-State verursacht hat.
 
Um zukünftig schneller eingreifen zu können, falls es erneut zu unerwarteten kritischen Fehlern kommt, werden wir auch bei vermeintlichen risikoarmen Standard Updates die Antwortzeiten der Bereitschaft reduzieren.

Die letzten Synchronisationen sind abgeschlossn. Alle Systeme laufen wieder ohne Auffälligkeiten mit den gewohnten Antwortzeiten.

Die Wiederherstellung ist auf einem Großteil der Datenbank-Server abgeschlossen, sodass wir das Cluster wieder in Betrieb nehmen konnten.

Es wird noch eine kurze Zeit zu "Timeouts" und längeren Ladezeiten kommen, während der Datenstand über die verbleibenen Server synchronisiert wird.

Bitte beachten Sie, dass Objektübertragungen zwischen 07:02 Uhr and 10:27 Uhr unter Umständen erneut angestoßen werden müssen.

Wir werden die Situation weiter beobachten.