Vi har haft rigtigt travlt idag på grund af nattens driftsforstyrrelser på mailserverne, der startede kl. 22.00 torsdag aften. Problemet blev løst kl. 10:00 idag, men eftervirkningerne har givet forsinkelse på leveringen af emails.

Problemet opstod som følge af en opdatering af mailsystemet torsdag formiddag – en opdatering der muliggjorde at brugernes individuelle indstillinger fra kontrolpanelet kunne benyttes til at fjerne spam. Selvom denne nye funktionalitet var testet herfra inden den blev sat i produktion, havde vi uheldigtvis ikke opdaget at AMaViS, der er den del der håndterer virus- og spamscanning, fik problemer hvis en kundens white- eller blacklists rummede ca. 6000 eller flere adresser. Dette skyldes at white- og blacklists håndteres af en PostreSQL database, der ikke kan håndtere så store regulære udtryk uden at fejle. Dette betød at de databaseservere der er tilknyttet spamscanningen blev overbelastede.

Databaseserverne bruges også af vores såkaldte “loop detect”, hvilket er en funktion der håndterer MX loops. Dette fungerede ikke korrekt da databaseserverne var overbelastede. “Loop detect” er forbundet med Postfix, og holder styr på at en mail ikke blot bouncer i systemet – det sørger for at en mail med slutdestination hos os men som benytter en MX der ikke er hos os, kan blive leveret til en mailserver her.

Da “loop detect” og dermed Postfix ikke kunne forbinde til databasen, resulterede det i at en ufuldstændig email (tom email) blev leveret til emailadressen hos os, samtidigt med at den fulde mail blev sat i kø til levering senere. Det vil sige at en modtager her kan have oplevet at modtage flere tomme emails inden den rigtige email blev leveret.

For at forhindre noget tilsvarende igen, er der nu en ny version af “loop detect” lagt på serverne. Endvidere er PostgreSQL og PGPool-II optimerede yderligere, for at sikre en bedre adgang for databaseopslag.

Til slut skal det nævnes at ingen emails, hverken afsendte eller modtagne, er gået tabt i forbindelse med disse problemer. De emails sendt i perioden med problemer kan være modtaget som tomme dubletter og der var forsinkelse på leveringen.

Dette indlæg er skrevet af en af vores Linux-teknikere, Joakim Bomelin. Han er blandt andet ansvarlig for at mailserverne kører stabilt og tilfredstillende – og dermed en af vores syndebukke når tingene ikke virker …