MeinImmoPortal - Vergangene Meldungen

Die Lösung wurde bestätigt. Der auslösende Fehler konnte ebenfalls identifiziert und behoben werden.

Die Ursache der Probleme wurde gefunden und eine mögliche Lösung wurde implementiert. Die Lösung beobachten wir derzeit um sicherzustellen, dass diese auch vollumfänglich greift.

Wir möchten an dieser Stelle noch einmal darauf hinweisen, dass Ihnen durch diesen Vorfall keinerlei Daten verloren gegangen sind. Sämtliche Aktivitäten und Aktionen Ihrer Besucher konnten vollständig geschrieben werden. Der Objektupload wurden auch nicht gestört.

Als Teil unser Hochverfügbarkeit haben wir Prüfungen implementiert, die prüfen, ob ein Datenbankserver verfügbar ist, bevor eine Anfrage an diesen geschickt wird. Mit der neuen Version der Datenbankserver-Software hat sich jedoch das Verhalten bei solchen Prüfungen verändert. Der Server behandelt solche Prüfungen nun als "fehlerhafte Verbindung" und sperrt nach einer gewissen Anzahl die Verbindung des Clients. Dies war bislang nicht der Fall.

Da unserer Prüfungen dieses Verhalten auslösten, wurden die Verbindungen der Webserver zu den Datenbankservern in unregelmäßigen Abständen "gesperrt" und mussten händisch wieder entsperrt werden.

Das problematische Verhalten haben wir damit gelöst, dass wir erst einmal die Prüfungen auf unserer Seite deaktiviert haben. Im Anschluss werden wir die Einstellungen der Datenbankserver so anpassen, dass wir die Prüfungen gefahrenlos ausführen können, ohne ein Sperre zu riskieren.

Darüber hinaus haben wir unser Monitoring dahingehen optimiert, dass wir die Alarmschwellen bei Häufungen von Fehlern von Datenbankverbindungen reduziert haben, um schneller reagieren zu können.

Unser Monitoring kann keine weiteren Auffälligkeiten seit Umsetzung der Lösung feststellen. Wir schließen den Vorfall daher.

Sie können Ihren Webseiten uneingeschränkt nutzen.

Wir danken für Ihr Verständnis.

Wir konnten die Fehler inzwischen identifizieren und haben Gegenmaßnahmen implementiert.

Die letzten Probleme sind gegen 11 Uhr aufgetreten. Seitdem sehen wir keine weiteren Auffälligkeiten oder Ausfälle.

Ein weiterer größerer Eingriff der mit einem Ausfall verbunden wäre, ist von unserer Seite aktuell erst einmal nicht geplant. Wir werden die System weiter beobachten und nötige Folgearbeiten über ein reguläres Wartungsfenster einplanen und kommunizieren. Dieses Fenster wird auf jeden Fall nötig sein, da auf einem unserer Datenbankserver nach aktuellem Kenntnisstand ein Software- oder Hardware Fehler vorliegt, an dessen Analyse wir noch arbeiten.

Sie können Ihre Webseiten uneingeschränkt nutzen und auch geplante Aktivitäten für den Rest der Woche ohne Besonderheiten einplanen und durchführen.

Vielen Dank für Ihr Verständnis.

Vor dem Update des Datenbankclusters haben wir dieses mit der offiziellen Anleitung auf einem Test-Cluster den wir dafür extra eingerichtet haben getestet.
Bei dem Test des Prozesses ist alles richtig gelaufen und während des Upgrades kam es zu keinen Unterbrechungen der Verbindung.
 
Den Prozess haben wir anschließend dokumentiert und heute Morgen um 06:30 Uhr mit der Umsetzung begonnen.

Das erste von drei Upgrades ist auf einem Großteil der Datenbankserver wie erwartet problemlos verlaufen.
Beim Update von einem der letzten Datenbankserver kam es beim identischen Prozess jedoch zu einem Fehler der das gesamte Cluster unerwartet in einen Fail-State versetzte.
 
Versuche das Cluster dann wiederherzustellen verliefen erfolglos und auch der Versuch nur einen einzelnen Datenbankserver kurzfristig ohne Cluster wieder aktiv zu nehmen schlug fehl.
 
Auf solch einen grundlegenden Fehler waren wir bei dem erwarteten Standard-Upgrade-Prozess nicht vorbereitet und mussten somit das weitere Vorgehen planen. Zur Sicherheit wurde an diesem Zeitpunkt auf ein 4-Augen Prinzip gewechselt, was Zeit gekostet hat, um den nötigen Kollegen ins Büro zu holen.
 
Wir haben uns dann dazu entschieden das Datenbank-Cluster komplett neu aufzubauen was dann erfolgreich verlaufen ist. In diesem Zuge wurde dann direkt das Upgrade auf die neuste Version mit ausgeführt.
 
Bei erneuter Überprüfung des Prozesses konnten wir keinen Fehler bei der Umsetzung laut offizieller Dokumentation feststellen und können aktuell anhand des Logs auch nicht nachvollziehen was den Fail-State verursacht hat.
 
Um zukünftig schneller eingreifen zu können, falls es erneut zu unerwarteten kritischen Fehlern kommt, werden wir auch bei vermeintlichen risikoarmen Standard Updates die Antwortzeiten der Bereitschaft reduzieren.

Die letzten Synchronisationen sind abgeschlossn. Alle Systeme laufen wieder ohne Auffälligkeiten mit den gewohnten Antwortzeiten.

Die Wiederherstellung ist auf einem Großteil der Datenbank-Server abgeschlossen, sodass wir das Cluster wieder in Betrieb nehmen konnten.

Es wird noch eine kurze Zeit zu "Timeouts" und längeren Ladezeiten kommen, während der Datenstand über die verbleibenen Server synchronisiert wird.

Bitte beachten Sie, dass Objektübertragungen zwischen 07:02 Uhr and 10:27 Uhr unter Umständen erneut angestoßen werden müssen.

Wir werden die Situation weiter beobachten.

Auf einem einzelnen Web-Server fiel die Anbindung an unseren Datei-Cluster aus. Diese Anbindung erfolgt über Funktionen des Betriebssystems.

Unser Monitoring ist bislang nur auf Dienste und Programme ausgelegt, nicht aber auf Betriebssystemfunktionalitäten. So konnten wir das Problem nicht automatisiert erkennen, da alle Dienste - einschließlich Dateicluster - problemlos funktionierten.

Wir werden kurzfristig das Monitoring auch um funktionale Komponenten auf Betriebssystem-Ebene erweitern, die für einen reibungslosen Betrieb der Webseite notwendig sind.

Der Fehler wurde durch einen Neustart des Servers behoben.

Das Problem wurde auf einem einzelnen Server eingegrenzt. Eine Lösung wird gerade implementiert.

Der Server wurde aus dem Cluster entfernt.

Es sind nur einzelne Server betroffen.

Bitte loggen Sie sich aus und wieder ein, wenn Sie das Problem im Backend haben.