Slött och långsamt rsync med stora filer

Om du har en hyffsat stor bunt med filer (i detta fall drygt 800 GB) i en katalogstruktur, varav några filer är rätt så stora, 20-25 Gb, så får man problem. Problemet artar sig i att överföringen går oacceptabelt långsamt. 1-2 mb/s på ett nät som normalt klarar 30-40 mb/s.

Klart obra. Så vad gör man åt det då?

Inte helt självklart men efter en hel del googlande och efterforskning så kommer jag fram till att man genom att köra med -W (disable delta-xfer algorithm) så får man en väldigt fin fart helt plötsligt. Det som händer är att rsync överför hela filerna, alltid. Istället för att ( utan -W) endast skicka den ändrade delen av filen. Varför det just beror på detta ver jag inte, kan väl kanske ha o göra med CPU-behov när rsync ska försöka hitta vad som är ändrat i en 20GB stor fil, men det fungerar iaf bättre med -W än utan.

Leave a Reply