Tillbaka igen?

18 november 2023

För ungefär en vecka sedan så började sajten att fungera dåligt. En av kopiorna (shard 2) av databasens index fungerade inte och det gick inte att lägga till nya dokument. Det såg ut som om den försökte återställa sig på egen hand, men det gick mycket långsamt. Sedan började allt annat gå långsamt också. Då startade jag om servern, men den startade aldrig upp igen. Det är en dator som jag hyrt hos Hetzner i Tyskland, och den har fungerat väldigt bra i nästan sju år (59244 timmar). Mailade supporten och de meddelade att de två diskar som jag kört i mjukvaru-RAID båda visade status "failing now".

Dear Client,

after checking the server, we noticed both drives being broken:

---------------------------------------
/dev/sda (ata1)  240 GB  BTDA328105RC2403GN     33°C    59344 hours
   Sector size                    512n (512 log+phys)
   Available_Reservd_Space        0       FAILING_NOW
   End-to-End_Error               0
   Reallocated_Sector_Ct          8
---------------------------------------
/dev/sdb (ata2)  240 GB  BTDA3281066P2403GN     35°C    59413 hours
   Sector size                    512n (512 log+phys)
   Available_Reservd_Space        0       FAILING_NOW
   End-to-End_Error               0
   Reallocated_Sector_Ct          6
---------------------------------------

Jag laddade hem den backup som jag också haft hos Hetzner i hopp om att kunna återställa allt på en annan server smidigt. Det gick inte supersmidigt. Det visade sig vara svårare att återställa MySQL-tabeller med bara databas-filer än jag hade hoppats. Flera av de definitionerna för tabellerna hade jag tydligen ändrat utan att spara. Några av tabellerna gick dock bra att återställa. Det visade sig också att många skript tappat ägar- och kör-attribut i samband med backup:en vilket gjorde att många delar av Solr inte var smidigt att försöka återställa. Valde att ladda en ny version av Solr (9.4) istället. Uppdateringen från Ubuntu 16 till Ubuntu 22 gjorde att Java och Python fick nyare versioner, vilket var smidigt. Att OpenAI uppdaterat sitt API och jag behövde justera en hel del där var dock inte så smidigt. Även den nya servern kör hos Hetzner, men denna gång valde jag en i Finland istället för Tyskland.

Men nu tror jag att det mesta ska fungera igen. Kan ta ett tag innan alla feeds fungerar igen, men förhoppningsvis inte.

Denna bloggpost har skrivits av Clas, 18 november 2023. Permalänk.