MeinImmoPortal - Vergangene Meldungen

Vor dem Update des Datenbankclusters haben wir dieses mit der offiziellen Anleitung auf einem Test-Cluster den wir dafür extra eingerichtet haben getestet.
Bei dem Test des Prozesses ist alles richtig gelaufen und während des Upgrades kam es zu keinen Unterbrechungen der Verbindung.
 
Den Prozess haben wir anschließend dokumentiert und heute Morgen um 06:30 Uhr mit der Umsetzung begonnen.

Das erste von drei Upgrades ist auf einem Großteil der Datenbankserver wie erwartet problemlos verlaufen.
Beim Update von einem der letzten Datenbankserver kam es beim identischen Prozess jedoch zu einem Fehler der das gesamte Cluster unerwartet in einen Fail-State versetzte.
 
Versuche das Cluster dann wiederherzustellen verliefen erfolglos und auch der Versuch nur einen einzelnen Datenbankserver kurzfristig ohne Cluster wieder aktiv zu nehmen schlug fehl.
 
Auf solch einen grundlegenden Fehler waren wir bei dem erwarteten Standard-Upgrade-Prozess nicht vorbereitet und mussten somit das weitere Vorgehen planen. Zur Sicherheit wurde an diesem Zeitpunkt auf ein 4-Augen Prinzip gewechselt, was Zeit gekostet hat, um den nötigen Kollegen ins Büro zu holen.
 
Wir haben uns dann dazu entschieden das Datenbank-Cluster komplett neu aufzubauen was dann erfolgreich verlaufen ist. In diesem Zuge wurde dann direkt das Upgrade auf die neuste Version mit ausgeführt.
 
Bei erneuter Überprüfung des Prozesses konnten wir keinen Fehler bei der Umsetzung laut offizieller Dokumentation feststellen und können aktuell anhand des Logs auch nicht nachvollziehen was den Fail-State verursacht hat.
 
Um zukünftig schneller eingreifen zu können, falls es erneut zu unerwarteten kritischen Fehlern kommt, werden wir auch bei vermeintlichen risikoarmen Standard Updates die Antwortzeiten der Bereitschaft reduzieren.

Die letzten Synchronisationen sind abgeschlossn. Alle Systeme laufen wieder ohne Auffälligkeiten mit den gewohnten Antwortzeiten.

Die Wiederherstellung ist auf einem Großteil der Datenbank-Server abgeschlossen, sodass wir das Cluster wieder in Betrieb nehmen konnten.

Es wird noch eine kurze Zeit zu "Timeouts" und längeren Ladezeiten kommen, während der Datenstand über die verbleibenen Server synchronisiert wird.

Bitte beachten Sie, dass Objektübertragungen zwischen 07:02 Uhr and 10:27 Uhr unter Umständen erneut angestoßen werden müssen.

Wir werden die Situation weiter beobachten.

Auf einem einzelnen Web-Server fiel die Anbindung an unseren Datei-Cluster aus. Diese Anbindung erfolgt über Funktionen des Betriebssystems.

Unser Monitoring ist bislang nur auf Dienste und Programme ausgelegt, nicht aber auf Betriebssystemfunktionalitäten. So konnten wir das Problem nicht automatisiert erkennen, da alle Dienste - einschließlich Dateicluster - problemlos funktionierten.

Wir werden kurzfristig das Monitoring auch um funktionale Komponenten auf Betriebssystem-Ebene erweitern, die für einen reibungslosen Betrieb der Webseite notwendig sind.

Der Fehler wurde durch einen Neustart des Servers behoben.

Das Problem wurde auf einem einzelnen Server eingegrenzt. Eine Lösung wird gerade implementiert.

Der Server wurde aus dem Cluster entfernt.

Es sind nur einzelne Server betroffen.

Bitte loggen Sie sich aus und wieder ein, wenn Sie das Problem im Backend haben.

Der Abarbeitungs-Stau wurde am 10.06. gegen 22 Uhr vollständig aufgelöst.

Wir implementieren derzeit zwei Lösungen, um solch eine Auswirkung von unerwartetem Verhalten bei CASAFARI auf den Objekt-Import zukünftig zu unterbinden.