På vej ud af vandmasserne

Ikke helt den introduktion jeg havde ønsket:

Hej, jeg er netop tiltrådt som kommunikations- og marketingchef på Surftown. Intentionen er at jeg skal arbejde med produktudvikling og vi planlægger lige nu en række spændende tiltag i Surftown … og så kom regnen til København!

Lørdag kl 22 ringede alarmklokkerne på vores primære datacenter, placeret ved havnen i København. København fik på én time regnmængder svarende til to måneder – og det er ingen systemer bygget til at klare. Jerndøre designet til at modstå vand er smadrede, al strøm i bygningerne er gået og forventes ikke tilbage før tirsdag. Kælderen blev rekordhurtigt fyldt med vand – i nabokælderen holder en Maserati under 2 meter vand (surt! Men ikke noget særligt i fht den oprydningsopgave der står foran mange af os).

Uanset alt dette virkede vores sikkerhedssystemer – så kl. 02 i nat kørte nødstrømsgeneratoren og producerede strøm til … ingenting. Kortslutninger i ledninger, eltavler og hvad ved jeg, der ellers burde være totaltsikret, lukkede effektivt ned for vores datacenter. Siden kl 6 søndag morgen har Beredskabsstyrelsen pumpet op til 30.000 liter vand ud af kælderen (per minut!) inden vi fra kl. 14 har kunnet få adgang til serverrummet og begynde at bringe vores servere tørskoede i sikkerhed. Den sidste del af tømningen er firmabilerne, der her kl 22 er blevet tømt for vand :-/

“Heldigvis” er vi i gang med at udbygge vores seneste datacenter på Amager, så vi har en meget stor kapacitet af serverskabe, strøm osv, så vi enestående hurtigt kunne rykke udstyr fra det ene datacenter til det andet. Fra kl 14 til 22 har vi flyttet 300+ servere og retableringen kører for fuld tryk imens dette skrives. Hermed status på hvor langt vi er efter de første 24 timer og forventer at komme indenfor de næste 24 timer:

  • DNS-servere: 100% Online
  • Webservere: 100% Online

Disse servere har ikke været afbrudt. En 10 Gbit forbindelse har midlertidigt natten til søndag været nede på én Gbit, så svartider kan have været påvirkede. Desværre er en webserver ikke meget værd uden underliggende fil- og database-servere på plads. Og her er der forstyrrelser. Status pr søndag aften kl 23.30:

  • Storageservere: 77% online. Resterende restores fra backup til anden hardware. Restore er tidskrævende, da det er millioner af små enkeltfiler og forventes afsluttet mandag morgen.
    Antal berørte: op til 23.000 af vore kunder
    Normal drift: forventet mandag 09.00
  • Mailservere: 3 servere er desværre stået af og skal restores fra backup til ny hardware. Ny Hardware leveres mandag morgen og alle mailkonti vil fungere igen fra omkring frokost mandag umiddelbart efter installation. Mailarkiver restores efterfølgende og vil således bliver tilgængelige igen løbende over de efterfølgende timer.
    Antal berørte: Desværre ukendt, da alle mailservere er cloud-forbundne. Kort sagt: nogle virker, nogle virker ikke før mandag.
    Normal drift: forventet mandag kl 12.00
  • Databaseservere: 80% retableret i dag søndag. Resterende restores fra Backup i løbet af mandag.
    Antal berørte: op til 20.000 af vore kunder
    Normal drift: forventet mandag sent
  • Supportsystem (ticketsystem): Surftown supportsystemet er brudt ned. Det gør det svært at modtage eller sende supportmails ud – men systemet vil være klar igen mandag morgen kl 8. Systemet er under restore fra backup imens dette skrives.
    Antal berørte: Alle – beklager.
    Normal drift: forventet mandag kl 8.00

Vi vil fortsat holde alle informeret via blog og twitter i de kommende timer og dage. Jeg hjåber vi senest tirsdag er tilbage til helt normal drift, når nødvendige anskaffelser og nødhandlinger er gennemført mandag. Vi håber på jeres forståelse og giver vores uforbeholdne undskyldning for de gener disse forstyrrelser medfører for mange af vores kunder. Vi er rigtigt kede af det.

Som sagt hedder jeg Kresten – og det her er (næsten) min første dag på jobbet. Jeg ser frem til at vende tilbage med en anden type nyheder fremover … og overvejer om vi burde skifte navn og flytte til et meget tørt sted!

Bedste hilsner

Kresten Bach Søndergaard
Kommunikationschef
Surftown

6 Comments

  1. Joakim Kock
    03/07/11 @ 23:25

    För informations skull så är “frokost” på danska lika med “lunch” på svenska. Dvs runt 12:00 snåret. Frukost äter vi i Sverige ca: 08:30

  2. Anonym
    03/07/11 @ 23:27

    med tanke på hur illa ni blev drabbade, har ni löst det mesta otroligt fort ….

    …kunde varit värre. Man kunde varit ägaren av en Masarati  🙂

  3. David Lerche
    03/07/11 @ 23:31

    lige nu hjælpe min gode svenske kollega mig med at sikre der står “lunch” på den svenske blog-opdatering 🙂
    Jeg skal have et skriv-svensk-kursus i en fart. Tak for tippet.
    vh Kresten
    (yes, jeg skriver undercover som David her til aften… lang historie om et manglende log-in til mig. Jeg er jo ny)

  4. David Lerche
    04/07/11 @ 01:29

    lige præcis – godt man har en rusten MItzubishi

  5. Trine Louise
    04/07/11 @ 08:30

    Kan I sige noget om hvad der sker med de mails der er blevet sendt til ens konto fra mail’en gik ned og indtil den kommer op igen? Risikerer vi at miste mails?

  6. Trine Louise
    04/07/11 @ 08:30

    Kan I sige noget om hvad der sker med de mails der er blevet sendt til ens konto fra mail’en gik ned og indtil den kommer op igen? Risikerer vi at miste mails?