réduire la taille d'un fichier .tif pesant 500Mo dans un système muni de 4go de mémoire

debianjam · 18 mars 2020, 19:35

bonsoir, je serais content de trouver une solution pour réduire la taille d'un fichier .tif pesant 500Mo
apparemment cela dépasse la capacité de tous les programmes que j'ai essayés ou cela dépasse la capacité de la mémoire disponible sur mon ordinateur seulement 4Go

ImageMagick en ligne de commande et sa fonction "convert" capacité débordée, en mode graphique rien de mieux

Paint ne charge pas l'image

Gimp ne charge pas l'image et crash tout

Visionneur de document apps/evince de debian 10 gnôme ouvre le document dans des temps raisonnables, document qui est donc bien fonctionnel, mais il ne dispose pas de fonction d'exportation donc ne peut pas servir à grand chose https://wiki.gnome.org/Apps/Evince

okular ne supporte pas .tif c'est dommage il exporte

La ligne de commande oui mais quelle ligne de commande peut elle solutionner mon problème svp ? Je trouverais anormal qu'un système muni de 4go de mémoire ne puisse pas s'occuper d'un document de 500Mo.

19 mars 2020, 13:58

salut,
c'est curieux ton histoire.
imageMagick devrait fonctionner.
quel est précisement le message d'erreur ?
Regarde si il n'y a pas des options à passer pour qu'il soit plus économe en ressouce.
Quelle ligne de commande as tu fait ?

19 mars 2020, 14:00

ImageMagick utilizes multiple computational threads to increase performance and can read, process, or write mega-, giga-, or tera-pixel image sizes

debianjam · 19 mars 2020, 15:01

Code : Tout sélectionner

utilisateur1@debian:~$ cd Documents
utilisateur1@debian:~/Documents$ magick convert ecole.tif ecole.png
bash: magick : commande introuvable
utilisateur1@debian:~/Documents$ convert ecole.tif ecole.png
convert-im6.q16: Unknown field with tag 50218 (0xc42a) encountered. `TIFFReadDirectory' @ warning/tiff.c/TIFFWarnings/949.
convert-im6.q16: Unknown field with tag 50219 (0xc42b) encountered. `TIFFReadDirectory' @ warning/tiff.c/TIFFWarnings/949.
convert-im6.q16: Unknown field with tag 50221 (0xc42d) encountered. `TIFFReadDirectory' @ warning/tiff.c/TIFFWarnings/949.
convert-im6.q16: width or height exceeds limit `ecole.tif' @ error/cache.c/OpenPixelCache/3912.
convert-im6.q16: no images defined `ecole.png' @ error/convert.c/ConvertImageCommand/3258.
utilisateur1@debian:~/Documents$ mogrify -format png ecole.tif
mogrify-im6.q16: Unknown field with tag 50218 (0xc42a) encountered. `TIFFReadDirectory' @ warning/tiff.c/TIFFWarnings/949.
mogrify-im6.q16: Unknown field with tag 50219 (0xc42b) encountered. `TIFFReadDirectory' @ warning/tiff.c/TIFFWarnings/949.
mogrify-im6.q16: Unknown field with tag 50221 (0xc42d) encountered. `TIFFReadDirectory' @ warning/tiff.c/TIFFWarnings/949.
mogrify-im6.q16: width or height exceeds limit `ecole.tif' @ error/cache.c/OpenPixelCache/3912.

il doit y avoir la solution dans ce post http://www.imagemagick.org/discourse-se ... hp?t=34044

Code : Tout sélectionner

utilisateur1@debian:~/Documents$ convert -list resource
Resource limits:
  Width: 16KP
  Height: 16KP
  List length: 18.446744EP
  Area: 128MP
  Memory: 256MiB
  Map: 512MiB
  Disk: 1GiB
  File: 768
  Thread: 4
  Throttle: 0
  Time: unlimited

les propriétés du fichier tiff

Capture d’écran du 2020-03-19 16-04-32.png

je trouve dans l'ordinateur
etc/ImageMagick/policy.xml

Code : Tout sélectionner

This XML file does not appear to have any style information associated with it. The document tree is shown below.
<!--

  Configure ImageMagick policies.

  Domains include system, delegate, coder, filter, path, or resource.

  Rights include none, read, write, execute and all.  Use | to combine them,
  for example: "read | write" to permit read from, or write to, a path.

  Use a glob expression as a pattern.

  Suppose we do not want users to process MPEG video images:

    <policy domain="delegate" rights="none" pattern="mpeg:decode" />

  Here we do not want users reading images from HTTP:

    <policy domain="coder" rights="none" pattern="HTTP" />

  The /repository file system is restricted to read only.  We use a glob
  expression to match all paths that start with /repository:

    <policy domain="path" rights="read" pattern="/repository/*" />

  Lets prevent users from executing any image filters:

    <policy domain="filter" rights="none" pattern="*" />

  Any large image is cached to disk rather than memory:

    <policy domain="resource" name="area" value="1GP"/>

  Define arguments for the memory, map, area, width, height and disk resources
  with SI prefixes (.e.g 100MB).  In addition, resource policies are maximums
  for each instance of ImageMagick (e.g. policy memory limit 1GB, -limit 2GB
  exceeds policy maximum so memory limit is 1GB).

  Rules are processed in order.  Here we want to restrict ImageMagick to only
  read or write a small subset of proven web-safe image types:

    <policy domain="delegate" rights="none" pattern="*" />
    <policy domain="filter" rights="none" pattern="*" />
    <policy domain="coder" rights="none" pattern="*" />
    <policy domain="coder" rights="read|write" pattern="{GIF,JPEG,PNG,WEBP}" />
-->
<policymap xmlns="">
<!--  <policy domain="system" name="shred" value="2"/>  -->
<!--
 <policy domain="system" name="precision" value="6"/> 
-->
<!--
 <policy domain="system" name="memory-map" value="anonymous"/> 
-->
<!--
 <policy domain="system" name="max-memory-request" value="256MiB"/> 
-->
<!--
 <policy domain="resource" name="temporary-path" value="/tmp"/> 
-->
<policy xmlns="" domain="resource" name="memory" value="256MiB"/>
<policy xmlns="" domain="resource" name="map" value="512MiB"/>
<policy xmlns="" domain="resource" name="width" value="16KP"/>
<policy xmlns="" domain="resource" name="height" value="16KP"/>
<!--
 <policy domain="resource" name="list-length" value="128"/> 
-->
<policy xmlns="" domain="resource" name="area" value="128MB"/>
<policy xmlns="" domain="resource" name="disk" value="1GiB"/>
<!--
 <policy domain="resource" name="file" value="768"/> 
-->
<!--
 <policy domain="resource" name="thread" value="4"/> 
-->
<!--
 <policy domain="resource" name="throttle" value="0"/> 
-->
<!--
 <policy domain="resource" name="time" value="3600"/> 
-->
<!--
 <policy domain="coder" rights="none" pattern="MVG" /> 
-->
<!--
 <policy domain="module" rights="none" pattern="{PS,PDF,XPS}" /> 
-->
<!--
 <policy domain="delegate" rights="none" pattern="HTTPS" /> 
-->
<!--
 <policy domain="path" rights="none" pattern="@*" /> 
-->
<!--
 <policy domain="cache" name="memory-map" value="anonymous"/> 
-->
<!--
 <policy domain="cache" name="synchronize" value="True"/> 
-->
<!--
 <policy domain="cache" name="shared-secret" value="passphrase" stealth="true"/> 
-->
<!--
 <policy domain="system" name="pixel-cache-memory" value="anonymous"/> 
-->
<!--  <policy domain="system" name="shred" value="2"/>  -->
<!--
 <policy domain="system" name="precision" value="6"/> 
-->
<!--
 not needed due to the need to use explicitly by mvg: 
-->
<!--
 <policy domain="delegate" rights="none" pattern="MVG" /> 
-->
<!--  use curl  -->
<policy xmlns="" domain="delegate" rights="none" pattern="URL"/>
<policy xmlns="" domain="delegate" rights="none" pattern="HTTPS"/>
<policy xmlns="" domain="delegate" rights="none" pattern="HTTP"/>
<!--  in order to avoid to get image with password text  -->
<policy xmlns="" domain="path" rights="none" pattern="@*"/>
</policymap>

dans un premier temps j'augmenté la taille admissible de 16kp à 26kp en utilisant gedit sous root
lors de la conversion j'ai le retour suivant :

Code : Tout sélectionner

root@debian:/home/utilisateur1/Documents# convert ecole.tif ecole.jpg
convert-im6.q16: Unknown field with tag 50218 (0xc42a) encountered. `TIFFReadDirectory' @ warning/tiff.c/TIFFWarnings/949.
convert-im6.q16: Unknown field with tag 50219 (0xc42b) encountered. `TIFFReadDirectory' @ warning/tiff.c/TIFFWarnings/949.
convert-im6.q16: Unknown field with tag 50221 (0xc42d) encountered. `TIFFReadDirectory' @ warning/tiff.c/TIFFWarnings/949.
convert-im6.q16: cache resources exhausted `ecole.tif' @ error/cache.c/OpenPixelCache/4083.
convert-im6.q16: no images defined `ecole.jpg' @ error/convert.c/ConvertImageCommand/3258.

je passe "disk" value="1GiB" à 10GiB
et dans ce cas je n'ai plus de message d'erreur lors de la conversion mais l'ordinateur plante au bout de 3 minutes et il n'y a pas de fichier ecole.jpg
je devrais augmenter la valeur de la raam utilisable ?

19 mars 2020, 17:43

J'ai oubié de te demander si tu avais une partition de swap activée

debianjam · 19 mars 2020, 18:02

non pas de swap je crois, j'ignore l'intérêt d'avoir une partition swap active

19 mars 2020, 18:10

Tu as 2 facons de repousser les limites définies par défaut
1) de façon occasionelle, en passant des options dans le ligne de commande
exemple

convert -limit memory 512mb -limit disk 4gb -resize 100x100! pencil.png p2.png

2) de façon permanente dans le fichier policy.xml
Tu peux augmenter les ressources mémoire et disque
<policy domain="resource" name="disk" value="4GiB"/>
<policy xmlns="" domain="resource" name="memory" value="2GiB"/>
<policy xmlns="" domain="resource" name="map" value="2GiB"/>
<policy xmlns="" domain="resource" name="width" value="32KP"/>
<policy xmlns="" domain="resource" name="height" value="32KP"/>

J'y ai été un peu fort, à toi d'y aller progressivement.

19 mars 2020, 18:12

Le SWAP est bien utile! Il sert lorsque la mémoire vive est entièrement utilisée, elle déborde alors dans le swap. C'est certes plus lent une fois que ça déborde, mais ça évite de planter le systeme par manque de mémoire.

debianjam · 19 mars 2020, 18:42

une méthode conseillée parce que c'est vrai ça plante assez souvent tant que c'est pas au point et avec un hdd sata on passe son temps en redémarrages

debianjam · 19 mars 2020, 18:48

comme j'ai dû un peu déranger les bon protocoles dans ce fichier j'ai supprimé tous ces programmes imagemagick et les ai réinstallés de suite
le problème que je commençais à rencontrer dans l'édition du fichier est maintenant général et se présente comme ceci, j'ignore ce que ça signifie :

Code : Tout sélectionner

utilisateur1@debian:~$ su
Mot de passe : 
root@debian:/home/utilisateur1# gedit etc/ImageMagick/policy.xml

(gedit:2801): dconf-WARNING **: 18:11:25.339: failed to commit changes to dconf: La connexion est fermée

(gedit:2801): dconf-WARNING **: 18:11:25.343: failed to commit changes to dconf: La connexion est fermée
Error creating proxy: La connexion est fermée (g-io-error-quark, 18)
Error creating proxy: La connexion est fermée (g-io-error-quark, 18)
Error creating proxy: La connexion est fermée (g-io-error-quark, 18)
Error creating proxy: La connexion est fermée (g-io-error-quark, 18)
Error creating proxy: La connexion est fermée (g-io-error-quark, 18)

(gedit:2801): dconf-WARNING **: 18:11:25.698: failed to commit changes to dconf: La connexion est fermée

(gedit:2801): dconf-WARNING **: 18:11:25.705: failed to commit changes to dconf: La connexion est fermée

(gedit:2801): dconf-WARNING **: 18:11:25.706: failed to commit changes to dconf: La connexion est fermée

(gedit:2801): dconf-WARNING **: 18:11:25.980: failed to commit changes to dconf: La connexion est fermée

** (gedit:2801): WARNING **: 18:15:23.475: Set document metadata failed: La définition de l’attribut metadata::gedit-spell-language n’est pas prise en charge

** (gedit:2801): WARNING **: 18:15:23.476: Set document metadata failed: La définition de l’attribut metadata::gedit-encoding n’est pas prise en charge

** (gedit:2801): WARNING **: 18:15:37.503: Set document metadata failed: La définition de l’attribut metadata::gedit-position n’est pas prise en charge

** (gedit:2801): WARNING **: 18:15:37.531: Set document metadata failed: La définition de l’attribut metadata::gedit-position n’est pas prise en charge

(gedit:2801): dconf-WARNING **: 18:15:37.552: failed to commit changes to dconf: La connexion est fermée
root@debian:/home/utilisateur1# gedit etc/ImageMagick/policy.xml

(gedit:2940): dconf-WARNING **: 18:16:31.948: failed to commit changes to dconf: La connexion est fermée

(gedit:2940): dconf-WARNING **: 18:16:31.952: failed to commit changes to dconf: La connexion est fermée
Error creating proxy: La connexion est fermée (g-io-error-quark, 18)
Error creating proxy: La connexion est fermée (g-io-error-quark, 18)
Error creating proxy: La connexion est fermée (g-io-error-quark, 18)
Error creating proxy: La connexion est fermée (g-io-error-quark, 18)
Error creating proxy: La connexion est fermée (g-io-error-quark, 18)

(gedit:2940): dconf-WARNING **: 18:16:32.050: failed to commit changes to dconf: La connexion est fermée

(gedit:2940): dconf-WARNING **: 18:16:32.051: failed to commit changes to dconf: La connexion est fermée

(gedit:2940): dconf-WARNING **: 18:16:32.051: failed to commit changes to dconf: La connexion est fermée

(gedit:2940): dconf-WARNING **: 18:16:32.137: failed to commit changes to dconf: La connexion est fermée

** (gedit:2940): WARNING **: 18:18:07.067: Set document metadata failed: La définition de l’attribut metadata::gedit-spell-language n’est pas prise en charge

** (gedit:2940): WARNING **: 18:18:07.067: Set document metadata failed: La définition de l’attribut metadata::gedit-encoding n’est pas prise en charge

** (gedit:2940): WARNING **: 18:18:13.888: Set document metadata failed: La définition de l’attribut metadata::gedit-position n’est pas prise en charge

** (gedit:2940): WARNING **: 18:18:18.423: Set document metadata failed: La définition de l’attribut metadata::gedit-position n’est pas prise en charge

(gedit:2940): dconf-WARNING **: 18:18:18.448: failed to commit changes to dconf: La connexion est fermée
root@debian:/home/utilisateur1# gedit etc/ImageMagick/policy.xml

(gedit:6851): dconf-WARNING **: 18:45:13.594: failed to commit changes to dconf: La connexion est fermée

(gedit:6851): dconf-WARNING **: 18:45:13.599: failed to commit changes to dconf: La connexion est fermée
Error creating proxy: La connexion est fermée (g-io-error-quark, 18)
Error creating proxy: La connexion est fermée (g-io-error-quark, 18)
Error creating proxy: La connexion est fermée (g-io-error-quark, 18)
Error creating proxy: La connexion est fermée (g-io-error-quark, 18)
Error creating proxy: La connexion est fermée (g-io-error-quark, 18)

(gedit:6851): dconf-WARNING **: 18:45:13.697: failed to commit changes to dconf: La connexion est fermée

(gedit:6851): dconf-WARNING **: 18:45:13.697: failed to commit changes to dconf: La connexion est fermée

(gedit:6851): dconf-WARNING **: 18:45:13.697: failed to commit changes to dconf: La connexion est fermée

(gedit:6851): dconf-WARNING **: 18:45:13.781: failed to commit changes to dconf: La connexion est fermée

** (gedit:6851): WARNING **: 18:45:25.977: Set document metadata failed: La définition de l’attribut metadata::gedit-position n’est pas prise en charge

(gedit:6851): dconf-WARNING **: 18:45:26.000: failed to commit changes to dconf: La connexion est fermée

19 mars 2020, 19:22

Il ne faut pas simplement les désinstaller, mais les purger

debianjam · 19 mars 2020, 19:50

j'ai fait une "suppression complète" dans synaptic, il faut encore purger ?

19 mars 2020, 19:51

tente un apt purge au cas ou il reste un résidu de config

debianjam · 20 mars 2020, 16:31

j'ai compris le problème qui venait du mauvais emplacement de fichier simplement

Code : Tout sélectionner

root@debian:/# nano etc/ImageMagick-6/policy.xml

j'ai utilisé l'éditeur nano plutôt que gedit pour corriger tous les paramètres que m'indique +piratebab
je lance ensuite dans le terminal : convert ecole.tif ecole.jpg

Code : Tout sélectionner

root@debian:/home/utilisateur1/Documents# convert ecole.tif ecole.jpg
convert-im6.q16: Unknown field with tag 50218 (0xc42a) encountered. `TIFFReadDirectory' @ warning/tiff.c/TIFFWarnings/949.
convert-im6.q16: Unknown field with tag 50219 (0xc42b) encountered. `TIFFReadDirectory' @ warning/tiff.c/TIFFWarnings/949.
convert-im6.q16: Unknown field with tag 50221 (0xc42d) encountered. `TIFFReadDirectory' @ warning/tiff.c/TIFFWarnings/949.

le processus dure largement plus d'une minute pendant laquelle j'entends les petits sons du disque hdd s'occupant des écritures
le fichier ecole.jpg apparait dans les documents mais avec 0 ko pendant encore 20 secondes puis le poids final s'affiche 84 Mo en partant du ecole.tif pesant 419,9 Mo, (le propriétaire est root)
merci beaucoup pour ton assistance +piratebab pour pouvoir effectuer ces réglages
j'espère que ce post servira à ceux qui cherchent à réduire des documents plus importants que ceux prévus dans les réglages de base de ImageMagick

attention encore le fichier de 84 Mo fait crasher quand on l'ouvre avec le programme par défaut visionneur d'image, peut être faut il aussi un réglage de capacité à ce programme ou bien utiliser la fameuse partition swap ou bien réduire la taille du fichier quand on connaît les limites.

je vais réduire la taille du fichier jpg et c'est maintenant un problème de dimension de cache à résoudre :

Code : Tout sélectionner

utilisateur1@debian:~$ cd Documents
utilisateur1@debian:~/Documents$ convert ecole.jpg -resize 50% ecoleresize50.jpg
convert-im6.q16: cache resources exhausted `ecole.jpg' @ error/cache.c/OpenPixelCache/4083.
convert-im6.q16: no images defined `ecoleresize50.jpg' @ error/convert.c/ConvertImageCommand/3258.

n'ayant pas de solution pour ce resize dans imagemagick je tente de le faire avec gimp
qui prend très bien les 84 Mo et après un passage de 16700x25142 pixels à 8000x12044 pixels construit un fichier d'exportation jpg de 18,3 Mo avec un taux de qualité de 92%
voilà je peux enfin utiliser cette image comme plan dans blender

20 mars 2020, 18:20

Si c'est réolu, n'oublie pas la coche verte

debianjam · 20 mars 2020, 19:01

Doucement, le problème sera complètement résolu lorsque imagemagick pourra redimensionner le fichier de 84 Mo. On a vu que convert réussi le changement de format, je nai pas vu qu'il réussissait le resize à 50%, c'est gimp en secours qui a pu effectuer la besogne.

debianjam · 22 mars 2020, 12:30

Capture d’écran du 2020-03-22 12-25-58.png

+piratebab je t'ai répondu que je n'avais pas de swap, en cherchant à en ajouter un, gparted m'indique qu'il y a déjà un swap installé voir pièce jointe
en conséquence, il est curieux que tous les problèmes censés résoudre ce swap se soient quand même produits, blocage etc.
cette partition serait elle trop petite, ou quelle autre raison voyez vous ?

23 mars 2020, 16:42

4Go de swap, c'est déja bien.
Il ne suffit pas d'avoir une partition sur le disque, encore faut il que le systeme soit configuré pour l'utiliser
Sauf que là, j'ai un trou de mémoire, je ne me rapelle plus quelle est la commande pour lister les partitions utilisées. Au pire, tu regardes ton fichier /etc/fstab
Dans ton cas, c'est concert qui était bridé, donc même avec un swap actif, il ne l'aurait pas utilisé. Avec les nouveaux paramétres, il risque d'en avoir besoin.

27 avr. 2020, 10:40

Salut,
swapon pour vérifier l'état de la Swap.

Code : Tout sélectionner

root@old:~# swapon -s
Filename				Type		Size	Used	Priority
/dev/sda3                              	partition	523260	0	-2
/var/swapfile                          	file    	8388604	0	-3

root@old:~# swapon --show
NAME          TYPE      SIZE USED PRIO
/dev/sda3     partition 511M   0B   -2
/var/swapfile file        8G   0B   -3

Et vérification de la swap déclarée dans fstab

Code : Tout sélectionner

root@old:~# grep 'swap' /etc/fstab | grep -v '#'
UUID="d091f658-0c7e-446e-b0fa-2bda4bc5ce3b" swap swap defaults 0 0
/var/swapfile   none    swap    defaults        0       0