Weboob et mises à jours Le sujet est résolu

[LuX]

Bonjour !

Toujours dans ma phase de découverte de Debian, j'ai installé weboob. Pour ceux qui ne connaissent pas c'est un programme ultra-modulaire qui sert à extraire des infos de sites web (évite de perdre du temps à lancer un navigateur classique, afficher des tonnes d'images et de décorations inutiles, etc). Il a en gros une variante par type de contenu (cookboob pour les fiches cuisines, wetboobs pour la météo, etc) et chaque variante utilise un "backends" par site visité. Par exemple pour wetboobs il y a 5 backends :

Code : Tout sélectionner

$ wetboobs backends list-modules
Modules list:
[ ] ilmatieteenlaitos   Get forecasts from the Ilmatieteenlaitos.fi website
[ ] lameteoagricole   lameteoagricole website
[X] meteofrance       Get forecasts from the MeteoFrance website
[ ] weather           Get forecasts from weather.com
[ ] yahoo             Yahoo! Weather.

Le truc c'est que les sites visités évoluant souvent, les backends doivent suivre. Et comme il y a souvent un décalage, dans l'intervalle le programme ne marche plus sauf en changeant de backends.

Aujourd'hui, sur ma Debian 9 totalement à jour, cookbook ne marche qu'à moitié avec le backend marmiton (il peut extraire une liste de recettes mais pas afficher celle qu'on choisit), wetboobs marche avec lameteoagricole mais pas avec meteofrance, etc. Sur la rolling distro que j'utilisais avant (Arch) ce genre de problèmes disparaissaient tout seuls au rythme des mises à jour. Sur Debian, je ne sais pas.

Ma question générale est donc : comment un système aussi volatile peut-il s'intégrer dans une distribution à cycle long comme Debian ?

En détails (mais vous voyez l'idée) :
- Est-ce qu'il y a quand même des mises à jour régulières pour ces paquets ?
- Est-ce qu'il vaut mieux faire une croix sur ce type de logiciels avec Debian stable ?
- Est-ce qu'il est plus raisonnable de passer à testing, voire sid ?
- Est-ce qu'on peut ne le faire que sur certains paquets et comment ?...
J'ai vu des réponses à droite et à gauche sur ces questions, mais pas toujours les mêmes et je n'arrive pas à me faire une idée précise.

Cordialement,

[piratebab]

J'utilise quelque chose de semblable pour les programmes TV. Mais le principe de base n'est pas bon. A la moindre modification de mise en page, ça ne fonctionne plus. Les mainteneurs de backend ont forcément un temps de retard.
Il faudrait que les sites mettent à dispo un flux, ou une API, avec les données brutes (certains sites de programmes TV le font, mais restent discrets sur le sujet)
Pour revenir à ta question
La solution , c'est que le front end fasse les mises à jour de backend à chaque lancement (en allant chercher sur le serveur des mainteneurs de backend).
Ainsi le paquet deb n'a pas de raison de changer souvent.

[Mimoza]

Vu que weboob se met a jour tout seul il n'y a aucun soucis pour l'utiliser sur une Debian stable. Sinon les backport devrait aider pour rester à jour.
Après c'est sur que si la mise en page du site change ça peux tout casser et il faut attendre un peu avant de pouvoir en profiter. Mais ça arrive de moins en moins, les champs ayant de plus en plus des «id» il est plus facile de les repérer et les traiter.
Il est vrai qu'avoir des API serait le top pour ne pas tout casser, mais même ça ça change de temps a autre ;)

[LuX]

Merci pour vos réponses.

Vu que weboob se met a jour tout seul il n'y a aucun soucis pour l'utiliser sur une Debian stable.

Ah oui, il se met à jour tout seul ? Je n'avais pas compris ça. Mais effectivement la commande 'weboob-config update' met à jour les backends, même si weboob lui-même reste en v1.2, ça répond à la question.

[lol]

Salut,
C'est comme l'Anti virus CLAMAV.
Le programme est parfaitement stable, pas de problème avec ça. Mais si tu ne met pas à jour les définitions de virus, il n'est plus du tout efficace.

[Mimoza]

@Lux : Un petit article qui devrait t'intéresser … https://linuxfr.org/news/weboob-sort-un ... ter-chance

[LuX]

Le programme est parfaitement stable, pas de problème avec ça.

Ben en fait, si !
La version actuellement disponible sur Debian est la 1.2, qui obsolète. Les backends ne sont plus mis à jour que pour la version suivante, la 1.3 (dont parle l'article pointé par Mimoza). Du coup ceux dont on dispose sur Debian pour la 1.2 deviennent obsolètes les uns après les autres et le programme fonctionne de moins en moins.

J'espère qu'il y aura un jour un backport de la 1.3.

[lol]

Salut,
Stable ne veut pas dire up-to-date. La stable est verouillee pour 3 ans.
Mes serveurs sont en stable (certains en old stable même.. ), mais mes machines de travail sont en Sid car j'ai besoin de versions récentes pour bosser (avec les risques que cela comporte. J'accepte ces risques).
Debian est orienté serveur, on ne peu pas lui reprocher de ne pas embarquer les dernieres versions de tous les softs.
Si tu souhaite des versions récentes de soft qui ne sont pas disponible en stable (stable pour 3 ans comme dit plus haut) passe en testing
Mais c'est plus sport...

[piratebab]

Je confirme, testing sur mes desktop. Pas de soucis majeur, sauf après un changement de version stable. Tous les paquets bloqués pendant la période de freeze déboulent en testing, et ç'est un peu acrobatique.
Mais moins que de sauter d'une stable à la suivante!

[LuX]

Pour l'instant, vu que je débute avec Debian, je préfère rester en stable. J'imagine que je pourrai passer en testing plus tard si trop de choses me manquent.

Cela dit, la question des backports reste posée. Quels sont les critères qui font qu'un paquet bénéficie de backports ?

Pour un paquet comme weboob ce serait bien utile car tel quel il est en grande partie HS. Mais évidemment ce n'est pas un paquet vital, de sécurité, etc. Est-ce que ce sont les seules raisons qui motivent la mise en place d'un backport ?

Et accessoirement, où est-ce qu'on peut voir la liste des paquets qui en bénéficient ?

[lol]

Et accessoirement, où est-ce qu'on peut voir la liste des paquets qui en bénéficient ?

https://packages.debian.org/stretch-backports/


Pour les autres questions, je ne sais pas. Je suppose qu'il faut la bonne volonté de quelqu'un pour un portage backports...

[LuX]

@lol : Merci pour le lien. Pas de backports à attendre avant un moment : même dans unstable, weboob en est à la version 1.2.

Pour ceux que ça intéresserait, j'ai trouvé une autre solution pour avoir une version de weboob à jour.
Ce n'est peut-être pas très propre (je n'avais jamais fait ça), mais ça me semble raisonnable.

Après avoir désinstallé weboob (ce qui bizarrement ne supprime pas /usr/bin/weboob, il faut encore faire un coup de 'apt-get autoremove' pour en venir à bout) j'ai installé les paquets 'git', 'python-virtualenv' et suivi la procédure expliquée sur la page d'installation de weboob. Je la reproduis ici au cas où :

Code : Tout sélectionner

$ mkdir -p ~/.local/venvs
$ virtualenv ~/.local/venvs/weboob
$ source ~/.local/venvs/weboob/bin/activate
(weboob) $ pip install git+https://git.weboob.org/weboob/devel.git
(weboob) $ pip install pdfminer # add other optional dependencies if you want
(weboob) $ weboob-config update
(weboob) $ deactivate
$

Ceci permet avec virtualenv d'installer localement (dans un sous-répertoire de mon $HOME) la dernière version de weboob et de ses backends, sans toucher au reste du système. Comme expliqué sur leur site il suffit ensuite quand on tape le nom de la commande (par exemple cookboob, wetboob, etc) de le faire précéder de ~/.local/venvs/weboob/bin/ (on peut aussi ajouter ce chemin à $PATH pour ne plus avoir à le préciser).

Je pensais galérer avec des dépendances manquantes etc, mais non : ça a marché du premier coup et j'ai maintenant la version 1.4 qui fonctionne. Il paraît même assez probable que ce weboob local puisse co-exister avec celui installé par apt-get, mais je ne me hasarderais pas à essayer.

[lol]

Bien joué et merci pour le retour!

[piratebab]

tu peux faire cohabiter autant de progrmmes identiques sur ton disque, du moment:
- qu'ils ai des noms différents
- si ils ont le même nom, des répertoires différents

Ensuite, à toi de donner le chemin complet pour lancer le bon (comme tu le fais actuellement)