Når katastrofe rammer!

i flammer

De sidste 48 timer har ikke været sjovt. Teknologi er en fantastisk ting, men den er aldrig perfekt. Når det mislykkes, er jeg ikke sikker på, at der virkelig er så meget forberedelse, du kan have ... men du er nødt til at reagere.

Du har måske bemærket, at vores websted blev hårdt langsomt de sidste par uger. Det var underligt i betragtning af det faktum, at vi har det på en fantastisk hostingpakke kombineret med en databaseserver og indholdsleveringsnetværk. Da vi havde meget plads, var vi også vært for andre steder der ... og det var vores fejl!

Et af vores projekter er en værktøj til overvågning af sociale medier der opretter forbindelse til Twitter og Facebook og indsamler data om tusinder af hold på sportsmarkedet. En gang om dagen samler den fan- og tilhængeroplysninger og indsamler den i databasen. Vi har udviklet meget på projektet og har for nylig bemærket, at nogle af statistikkerne var forkerte. Vores klient, Pat Coyle, har været tålmodig med os, da vi har foretaget fejlfinding af problemet.

Så brød alt h ** l løs! Det ser ud til, at processen til indsamling af info startede inden for få minutter i stedet for en gang om dagen. Vores database voksede til over 1G inden for få dage, hvilket bremsede vores server og tog masser af plads på den. Den anden nat så jeg faktisk, da hvert websted, vi havde på kontoen, begyndte at gå ned en efter en. Ugh.

Vi lagde allerede planer om at flytte Martech til WPEngine at sætte det i et dedikeret miljø med sikkerhedskopier, integreret indholdslevering og et lynhurtigt sæt servere. Vi har et par andre klienter på det og har været meget tilfredse med både servicen og deres utrolige support. Det er ikke, at Mediatemple var dårligt, det er simpelthen, at dette miljø blev bygget til publikationsblogs som vores, der får masser af trafik. Midt om natten skrev jeg fyrene på WPEngine, og de havde mig op om morgenen! Tak gutter!

Derefter begyndte vi at se på, hvordan vi fikser databasen. Det stoppede faktisk databaseserveren og ødelagde den største tabel (den med ALLE de centrale data!). Da serveren var fuld, kunne vi ikke reparere ... vi kunne ikke få adgang til filerne, kunne ikke sikkerhedskopiere den ... vi sad fast. Folkene på MediaTemple sprang ind og reparerede bordet. Vi var derefter i stand til at lave en fuld sikkerhedskopi og begynde at bringe de andre websteder op igen.

Flytningen til WPEngine var ikke uden smerte. Da vi ikke kunne få adgang til vores database, var vi nødt til at tage et nylig øjebliksbillede af databasen ... som af en eller anden grund mistede al vores kategorijustering i processen. Vi har off-site WordPress-sikkerhedskopierogså, men vores database er så stor, at det at tage alt backup-segmenterne skulle tage alt for lang tid.

Så vi gendannede dataene og rodede gennem 2,500+ indlæg og omklassificerede dem omhyggeligt. Jeg er sikker på, at vi vil få et lidt hit på SEO, fordi det ændrede URL-stier ... så vi tog et endnu større hit og ændrede vores permalink-struktur (uden kategorien). Det er noget, jeg har brug for at gøre i et stykke tid, så nu var det en bedre tid end senere.

Vi skrottede vores gamle tema. Det var grafiktungt (uden CSS-sprites) og var ikke så venligt til at ændre størrelsen. Vi har besluttet bare for meget at ændre Tyve elleve tema det er standard med WordPress for nu. Det er HTML5-klar og har masser af responsive designfunktioner, der var gode at drage fordel af.

I mellemtiden holdt Jenn fortet nede DK New Media - jonglere med et par projekter og slå dem ud i stor tid. Stephen trak en heldags (han arbejder allerede nætter!), God ven Adam Small sparkede ind og hjalp, MediaTemple bankede det ud af parken, og WPEngine hjalp også. Tak til alle ... vi er tilbage til at blogge igen!

Nu er det tid for mig at sove lidt :). Så retter vi vores iPad- og mobiltemaer!

4 Kommentarer

  1. 1

    Doug,

    Jeg er meget ked af at høre, at du har haft disse problemer. Det er her, en IT-professionel som mig selv kunne have og BØR have overvåget dine systemer for at forhindre en sådan situation. Jeg er sikker på, at du får mange sådanne kommentarer og indlæg, men situationen er enkel. Korrekt vedligeholdelse, vækstplanlægning og prognoser burde have forberedt dine websteder og din database til dette trafikniveau. Jeg ville være interesseret i at tale med dig angående denne situation og skridt, der kan tages for at forhindre i fremtiden. Vi har talt tidligere, du kender mig på din twitter-stream som @indyscompugeek.

    Daniel, HeadGeek for Indy's Computer Geek

  2. 3

    Doug - UGH! det rigtigt. Jeg var på dette sted for omkring en uge siden og læste en blog, og jeg bemærkede, hvor langsom det var. Jeg overvejede seriøst at sende dig en e-mail og sige det, men jeg tænkte, hvem jeg er, for at fortælle 'Manden', at hans side var "træg." Nu ved jeg hvorfor! Så glad for, at du (og din posse) var i stand til at få det op igen og funktionelt. Har du nogensinde overvejet at integrere StudioPress Genesis Framework - http://www.studiopress.com - Jeg bruger hvis til mit websted og alle mine klientsider. Meget solidt stykke software - Elsk det!

    • 4

      Hej Greg! Jeg har hørt gode ting om Genesis-rammen. Vi har ikke brugt det endnu, men jeg tror, ​​jeg kan komme ud af WordPress-guruen, Stephen, for at opbygge et tema med det. Dette tema startede med Twenty Eleven, men det er blevet totalt tilpasset og optimeret. Indtil videre ser det ud til at holde godt op!

Hvad mener du?

Dette websted bruger Akismet til at reducere spam. Lær, hvordan dine kommentardata behandles.