Övervaka Linux-servern: vad du följer, när du larmar
De flesta serverproblem uppstår inte plötsligt. Disken fylls under flera veckor, minnesanvändningen växer dag för dag och certifikatet går ut på ett bestämt datum. Problemet är att ingen tittar. Det första tecknet blir då ett samtal från en kund: ”er sida öppnas inte”.
Övervakning betyder att servern själv säger till innan något går sönder. Bra övervakning skickar inte hundratals meddelanden om dagen, bara dem som kräver att någon gör något.
Vad du ska följa
Tillgänglighet utifrån
Den viktigaste frågan är enkel: öppnas sidan? Det måste kontrolleras utanför servern, för om servern är nere kan den inte själv säga till. Kontrollen hämtar sidan med några minuters mellanrum och larmar om svaret uteblir eller kommer med en felkod.
Kontrollera inte bara startsidan utan också det som är viktigt för verksamheten: e-butikens kassa, inloggningen, att ett formulär går att skicka. Startsidan kan komma från cachen även när databasen är nere.
Diskutrymme
En full disk är en av de vanligaste orsakerna till att en server plötsligt slutar fungera. Databasen kan inte skriva, loggarna får inte plats, säkerhetskopian blir halvfärdig. Disken fylls oftast inte över en natt, utan gradvis av loggar, säkerhetskopior och uppladdade filer.
En bra gräns är en varning vid 80 % och ett larm vid 90 %. Ännu bättre är att följa hur snabbt det växer: fylls disken om två veckor i nuvarande takt är det en varning redan i dag.
Minne och processor
En kortvarig topp i processorn är normalt. Oroa dig när belastningen ligger högt under en längre tid eller när minnesanvändningen växer hela tiden och aldrig sjunker. Det senare tyder ofta på en minnesläcka i applikationen, som till slut leder till att systemet börjar stänga processer.
Tjänster
Webbservern (Nginx eller Apache), databasen (PostgreSQL, MySQL, MariaDB), applikationsservern, Docker-containrar. Fungerar alla nödvändiga tjänster, och har de startat av sig själva efter en omstart?
Certifikat och domän
Ett utgånget SSL-certifikat gör sidan oanvändbar i webbläsaren även om servern fungerar. Den automatiska förnyelsen kan gå sönder i tysthet. Följ utgångsdatumet och larma minst två veckor innan. Detsamma gäller domänen.
Säkerhetskopior
Övervakningen ska inte bara säga att en säkerhetskopia togs, utan också att den har rimlig storlek och kom fram. En säkerhetskopia som de senaste tre månaderna har varit en tom fil är värre än ingen säkerhetskopia alls, eftersom den ger en falsk trygghet. Varför en säkerhetskopia också måste provåterställas skriver jag mer om i artikeln säkerhetskopiering av server och återställningstest.
Säkerhet
Antalet misslyckade inloggningar, säkerhetsuppdateringar som inte installerats, portar som oväntat öppnats. De kräver oftast ingen omedelbar åtgärd mitt i natten, men de ska finnas med i den dagliga översikten.
Larm eller varning?
Det vanligaste misstaget med övervakning är för många meddelanden. Plingar telefonen tjugo gånger om dagen slutar man läsa dem och missar också det enda viktiga.
Dela därför in meddelandena i tre grupper:
- Larm: en tjänst är nere eller går ner inom de närmaste timmarna. Kräver omedelbar åtgärd.
- Varning: något rör sig åt fel håll (disken på 80 %, certifikatet går ut om 14 dagar). Hanteras under arbetstid.
- Översikt: trender och statistik. Titta en gång i veckan.
Varje larm ska ha en tydlig åtgärd. Behöver ett larm aldrig leda till någon åtgärd ska det tas bort eller göras om till en varning.
Automatisk övervakning är inte samma sak som jourtelefon
En viktig skillnad att fråga om när du köper tjänsten: automatisk övervakning fungerar dygnet runt, men det betyder inte att någon reagerar dygnet runt. Övervakningen upptäcker problemet klockan 3 på natten, men om någon rättar det klockan 3 är en fråga om vad man kommit överens om.
I mitt driftpaket ingår automatisk övervakning och larm dygnet runt. Felavhjälpningen sker på vardagar och responstiden står i avtalet. Behöver företaget jour dygnet runt kommer vi överens om det separat. Då vet båda parter vad de kan förvänta sig. Vad ett driftavtal mer innehåller har jag skrivit om i artikeln Linux-serverunderhåll.
Sammanfattning
Bra övervakning följer tillgängligheten utifrån, diskutrymmet, tjänsterna, certifikaten och säkerhetskopiorna, och larmar bara när någon måste agera. Resten blir en varning eller hamnar i översikten.
Har din server ingen övervakning, eller gör larmen dig galen, se drift av Linux-servrar eller beskriv din server. Jag ordnar övervakning och säkerhetskopior och dokumenterar vad som följs.
