Postmortem: Datenverlust nach Pretix Update

tl;dr

Am 20.08.2025 haben wir pretix.fachschaften.org auf die dann aktuelle Version von Pretix (2025.7.0) geupdatet. Eine fehlerhafte Migration in dieser Version hat zum Verlust von Veranstalter- und Veranstaltungs-Einstellungen geführt. Wir haben mit dem Team von Pretix das Problem ermittelt und aus Backups versucht, ein Maximum an Daten wiederherzustellen. Alle Veranstalter-Einstellungen konnten wiederhergestellt werden, bei Veranstaltungs-Einstellungen konnte nicht alles automatisiert wiederhergestellt werden und hier können noch Diskrepanzen vorliegen. Solltet ihr noch unerwartete Einstellungen in euren Veranstaltungen feststellen, meldet euch bitte bei uns, siehe unten.

Was ist passiert?

Am Freitag 22.08.2025 gegen 11:30 Uhr haben uns Nutzende von pretix.fachschaften.org auf verschwundene Einstellungen in ihren Veranstaltungen aufmerksam gemacht. Da die Erstmeldung von einer zweiten Meldung eines komplett getrennten Veranstaltenden bestätigt wurde, war klar, dass ein Bedienungsfehler unwahrscheinlich ist und hier ein systemisches Problem vorliegt. Ein Blick in die Datenbank hat dann bestätigt, dass das Problem hier nicht an einem Darstellungsproblem oder Datenleseproblem von Pretix lag, sondern die Daten tatsächlich weg waren.

Nach der Feststellung und Bestätigung des Problems, war unser nächster Schritt dann den möglichen Zeitraum für das Auftreten des Problems und somit eine mögliche Ursache zu ermitteln. Ein Blick in ein Datenbankbackup von vor unserem letzten Wartungsfenster, also von vor dem Vormittag des Sonntags 17.08.2025, hat bestätigt, dass die Daten zu dem Zeitpunkt noch vorhanden waren. Zwischen dem 17.08.2025 und dem 22.08.2025 wurden an pretix.fachschaften.org zwei Arbeiten vorgenommen: Das Deployment wurde von einem “manuellen” Deployment (genauer mit Ansible) zu einem Deployment mit Docker umgestellt, und es fand ein Update von Version 2025.6.0 auf 2025.7.0 statt.

Weitere Analysen haben gezeigt, dass der Datenverlust mit dem Update auf Pretix 2025.7.0 stattgefunden hat. Wir haben nach ähnlichen Berichten im Pretix Issue-Tracker und Diskussions-Forum gesucht, dort hatte es bisher nur einen Bericht eines ähnlichen Problems gegeben, dem wir uns dann gegen 13:30 Uhr angehängt haben. Gegen 16:00 Uhr hatten wir dann die genaue Migration, die zu diesem Verlust geführt hat, ermittelt.

Unser erste Vermutung war, dass die Migration mit unserem Setup (die Verbindung von unserem Pretix zu unserer zentralen PostgreSQL Datenbank geht über einen PgBouncer, was etwas Vorsicht und extra Einstellungen benötigt) nicht kompatibel war und den Datenverlust verursacht hat. Wir konnten hier aber weder eine Fehlkonfiguration unsererseits, selbst bei dem neuen Docker Deployment, noch eine Erklärung im Code dafür feststellen.

Parallel zu dieser fortlaufenden Fehlersuche hat ein anderer Teil der Fachschaften.org Admins in unseren Datenbankbackups nach dem letzten Backup gesucht, das noch die fehlenden Daten enthalten hat. Mit einem alten Datenstand haben wir das Problem auf einer Test-Installation reproduzieren können und konnten den Fehler dann auf ein Bug in der neuen Pretix-Version, bzw. in der Migration auf Version 2025.7.0 von Pretix, zurückführen.

Kurz vor 1:00 Uhr am Samstag 23.08.2025 konnten wir diese Erkenntnis dem Pretix-Team mitteilen. In diesem Zuge wurde dann Pretix Version 2025.7.0 zurückgezogen, um Datenverlust in weiteren Pretix-Installationen zu vermeiden. Eine neue korrigierte Pretix-Version sowie eine Wiederherstellungsanleitung im Falle eines Datenverlustes hat das Pretix-Team dann am Samstagvormittag bereitgestellt.

Unsere Bemühungen, die Daten unserer Nutzenden wiederherzustellen, haben wir allerdings in der Nacht von Freitag auf Samstag weitergeführt und konnten diese gegen 3:00 Uhr Samstagnacht 23.08.2025 dann soweit möglich abschließen.

Was ist der aktuelle Stand der Wiederherstellung?

Wir mussten entscheiden, was mit Einstellungen passieren sollte, die sowohl im Backup vorhanden waren, als auch abweichend seit dem Datenverlust neu erstellt worden waren. Bei Veranstalter-Einstellungen hat es keine Kollision gegeben, bei Veranstaltungs-Einstellungen allerdings schon. Im Falle einer Kollision haben wir hier bevorzugt die neuesten Einstellungen behalten, also solche, die nach dem Update und somit nach dem Datenverlust getätigt wurden. Das heißt allerdings, dass einige eurer alten Einstellungen noch fehlen könnten.

Wir werden in Kürze mit den Veranstaltern von betroffenen Veranstaltungen in Kontakt treten, um, falls anfallend, gezielt restliche Einstellungen aus dem Backup wiederherzustellen.

Was könnt ihr tun?

Wenn ihr Veranstaltungen auf pretix.fachschaften.org verwaltet: Bitte prüft nach, ob eure Einstellungen noch korrekt gesetzt sind. Betroffen können alle Veranstaltungen sein, die Ihr in der letzten Woche, also seit dem 17.08.2025 inklusive, bearbeitet habt.

Falls ihr Unstimmigkeiten feststellt oder Einstellungen fehlen, kontaktiert uns gerne unter root@fachschaften.org, dann können wir die fehlenden Einstellungen gezielt aus dem Backup wiederherstellen.