Mailserver Problems
Incident Report for Clever Elements
Postmortem

Jede einzelne ausgehende E-Mail wird bei uns zusammen mit der angeschriebenen E-Mail Adresse in einer Datenbank protokolliert. So wird sichergestellt, dass ein Empfänger nicht doppelt angeschrieben wird. Vor einigen Jahren gab es den ersten Eintrag in diese Tabelle. Der Eintrag hatte die ID Nummer 1. Die höchstmögliche ID, die der verwendete Feldtyp dieser Datenbank zulässt ist 2.147.483.647 und genau diese ID wurde gestern Mittag erreicht.

Dies hat dazu geführt, dass kein neuer Eintrag in die Datanbank hinzugefügt werden konnte. In der Folge kam es zu ein paar Doppelversendungen und wir mussten den Versandprozess pausieren. Zusammen mit unseren Datenbank- und Serverspezialisten haben wir die Situation eruiert. Um höhere IDs für die Datenbanktabelle zuzulassen, musste der Feldtyp der Datenbank von INTEGER zu BIGINT geändert werden.

Dazu war es notwenig, jeden einzelnen Datensatz zu ändern. Bei 2.147.483.647 Datensätzen und einer Größe von knapp 200 Gigabyte hat diese Umstellung rund 16 Stunden gedauert.

Nach erfolgter Umstellung konnten weitere Einträge in die Datenbank hinzugefügt werden. Der Versandprozess wurde wieder aktiviert und alle in der Zwischenzeit aufgelaufenen Versendungen wurden schnell abgerbeitet.

Posted Feb 11, 2017 - 12:10 CET

Resolved
We are fully operational again.
Posted Feb 11, 2017 - 07:44 CET
Update
Database maintenance will take until early Saturday morning. We'll stay here all night and keep you posted.
Posted Feb 10, 2017 - 21:20 CET
Update
We're still waiting for the update process to finish.
Posted Feb 10, 2017 - 17:14 CET
Update
Unfortunately the database maintainance will take some more hours. We are doing our best to resolve this issue ASAP. No mails will be lost. They will start sending automatically once everything is up and running again.
Posted Feb 10, 2017 - 15:23 CET
Update
We're still updating our database. We'll keep you posted.
Posted Feb 10, 2017 - 14:54 CET
Update
We are currently reconfigurating a database table.
Posted Feb 10, 2017 - 13:56 CET
Identified
We have identified the issue and are working to resolve this. Currently all email sending is paused.
Posted Feb 10, 2017 - 12:56 CET
Investigating
We are currently experiencing mailserver problems.
Posted Feb 10, 2017 - 12:46 CET