Optimisation backups Le sujet est résolu

[lol]

Salut,

Depuis des années j'utilise un script de backup.
Je dump les bases de données et je "tar zcfP" les répertoires.

Mais la partie TAR devient beaucoup trop gourmande à cause de la taille de mes sites (Plus de 100Go parfois).
Trop gourmand en CPU et en temps (Les machines ne sont pas forcément super puissantes).
Les backups peuvent prendre plus de 6h à s'éxécuter, ça devient débile...

Auriez-vous une astuce pour faire des archives rapidement (Même si la compression n'est pas extraordinaire) et sans mettre à plat mes machines ?

SI je souhaite des archives plutôt qu'une ribambelle de petits fichiers c'est parce qu'ensuite je fais des backups croisés avec sshfs et qu'un multitude de petits fichiers est BEAUCOUP plus lent que quelques gros... ;-)

Merci pour vos pistes.

[vv222]

LZ4 est réputé être un outil de compression très rapide.
Par contre, je ne sais pas à quel point il est ou non gourmand en ressources.

[PengouinPdt]

Et, pourquoi tu n'utilises pas un outil tel que borgbackup ?

[lol]

LZ4 est réputé être un outil de compression très rapide.
Par contre, je ne sais pas à quel point il est ou non gourmand en ressources.

Effectivement lz4 est bien plus rapide, merci.

Code : Tout sélectionner

# time tar zcfP web1.tar.gz /var/www/clients/client0/web1/
real    8m22,540s

# time tar cf - /var/www/clients/client0/web1 | lz4 -v > web1.tar.lz4
real    4m52,131s

# time tar cf - /var/www/clients/client0/web1 > web1.tar
real    1m38,649s

# vdir -h web1*
-rw-r--r-- 1 root root 2,3G mars 20 15:31 web1.tar
-rw-r--r-- 1 root root 1,7G mars 20 14:12 web1.tar.gz
-rw-r--r-- 1 root root 1,9G mars 20 14:18 web1.tar.lz4

Je pense m'orienter vers l'archive non compressée
Mon problème n'est pas la place mais la vitesse.

Et, pourquoi tu n'utilises pas un outil tel que borgbackup ?

Parce que j'ai mes procédure de restauration (Et avec l'incendie OVH je suis content d'avoir eu mon plan prêt et opérationnel) et je n'ai pas de temps à consacrer à travailler sur une nouvelle procédure en ce moment.
Mais tu as raison un backup différentiel est ce qu'il y a de mieux en terme d'efficacité.

[piratebab]

Perso je fais des backup différentiels hebdo, et des complets mensuels.

[PengouinPdt]

@lol, je comprends et me doute que tu as ta procédure de sauvegarde et de restauration… néanmoins, à moment donné, vu la taille, celle-ci peut ne plus correspondre aux besoins réels ;)
(je ne fais qu'émettre une hypothèse qui me semble probable et intéressante à "étudier")

Ensuite, il est sûr et vrai que la compression de données prend de la ressource matérielle et donc plus de temps, que la "simple" génération d'une archive :p

[lol]

@PengouinPdt

Je vais changer d'hébergeur. Place de CPU ne seront plus un problème.
Mais ... Je garde à l'esprit le backup intelligent qui est quand même plus efficace (Temps et ressources).
Merci.