Archives de catégorie : Logiciels libres

Logiciels libres

Sauvegarde de données

Un commentaire

Depuis maintenant 20 ans la numérisation touche tous les domaines, dans le domaine privé, cela concerne des données de bureautique, les échanges par mail mais également tous les fichiers multimédia photo, vidéo et images. Récemment je me pensais à l’abri de la perte de données, je suis équipé depuis des années d’un serveur Dell PowerEdge avec RAID matériel acheté d’occasion sur Ebay (PowerEdge 840 puis T310) et je fais des sauvegardes régulières sur disque dur externe USB grâce à un script lancé automatiquement avec l’utilitaire cron. Les données les plus précieuses se retrouvent sur un autre disque externe que je stocke au boulot. Mon RAID était basé sur 4 disques Seagate ST2000DM01 de 2To chacun de 2015, alors certes le RAID n’est pas assimilable à de la sauvegarde, c’est juste un système de redondance qui dispatche les données sur plusieurs disques pour éviter de tout perdre quand un disque crashe, la tolérance au panne est donc censée être meilleure qu’avec un seul disque.

Il se trouve cependant que j’ai eu au printemps dernier une panne de mon RAID bas bruit, le RAID est passé en mode dégradé avec la perte d’un disque. Puis un second disque du RAID a commandé à défaillir, c’est là que j’ai commencé à m’en rendre compte car j’ai eu un certain nombre d’erreurs système qui remontaient. Dans ce post je relate cet incident. Il était temps de changer 2 disques de mon RAID qui avaient 5 ans, après avoir fonctionné quasiment 24h/24 7j/7 dans la période. Cette durée de vie me paraît correcte pour des disques bas de gamme. Je les ai remplacés par des Seagate IronWolf de 3To. Mon RAID 5 est donc maintenant constitué de 2 disques Seagate ST2000DM01 de 2015 et de 2 disques Seagate IronWolf de 3To ce qui donne une capacité utile de 5,5To. D’ailleurs il faut sans doute que je songe à changer les deux disques les plus anciens.

Après avoir réinstallé mon RAID avec les nouveaux disques j’ai redescendu la sauvegarde , c’est là que je me suis rendu compte qu’il manquait un paquet de fichiers. Sur le coup je n’ai pas compris car les sauvegardes avaient été régulières, j’ai reconstitué alors le fil du drame. Il y a eu un crash bas bruit sur le RAID qui a dégradé des données, la sauvegarde s’est faite normalement mais a supprimé les fichiers qui avaient disparu du RAID car corrompus. Mais quel crétin ! Je n’avais pas mis en place un test d’état de santé des disques et du RAID avant de lancer la sauvegarde. Du coup j’ai essayé de récupérer les fichiers supprimés de la sauvegarde avec Photorec, ça m’a pris beaucoup de temps (des mois !) car il y en avait pour des To, mais comme il y a eu plusieurs sauvegardes dans l’intervalle je n’ai récupéré au final que peu de choses. Dans l’histoire, j’ai perdu dans les 400 films et une centaine de vidéos perso 🙁

J’ai dû revoir de fond en comble ma pratique de la sauvegarde, mes données principales sont toujours stockées sur le RAID 5 et il existe toujours une sauvegarde journalière sur disque de USB externe. Mais j’ai rajouté des sauvegardes croisées avec d’autres PC que je lance manuellement avec unison au moins une fois par semaine et j’ai rajouté également des tests d’état de santé des disques, dès dégradation des disques les sauvegardes ne sont pas lancées, j’ai mis en place un système de mail automatique journalier qui m’informe de l’état des disques.

L’architecture est maintenant celle-ci :

Architecture de sauvegarde
Continuer la lecture de Sauvegarde de données →
Logiciels libres, Vie de FUNIX

Installer un agenda kolab sur le webmail roundcubemail

Laisser un commentaire

Ma tendre et chère souhaitait pouvoir disposer d’un agenda qu’elle retrouverait sur le PC et sur son mobile pour se débarrasser de son agenda papier de moins en moins pratique. Comme je ne choisis pas la facilité et dans l’esprit que mes données ne se retrouvent pas quelque part aux US ou en Chine à la merci de hackeurs ou de revendeurs de données, j’ai choisi d’intégrer un plugin d’agenda au webmail Rouncube.

Pour mémoire je me repose sur mon serveur personnel Dell PowerEdge T310 qui tourne dans mon garage et qui fait office de cloud perso et sur lequel tourne Roundcube qui me permet d’accéder à mes mails de mon mobile comme expliqué par ici. J’ai choisi d’installer le plugin kolab, le détail de l’installation est donné par là. Voilà ce que ça donne sur l’ordinateur

et sur le mobile

le tout est évidemment complètement synchronisé.

Continuer la lecture de Installer un agenda kolab sur le webmail roundcubemail →
Logiciels libres

Piloter un caméscope MiniDV avec Mageia 7.1

Laisser un commentaire

J’ai récemment subi un crash disque où j’ai perdu malencontreusement des fichiers vidéo personels, dont certains issus d’enregistrement avec un caméscope MiniDV. Fort heureusement je n’avais pas bazardé mes bandes et mon vieux caméscope Canon MV530i miniDV que j’ai ressorti de la poussière.

Il dispose d’une connectique Firewire (norme IEEE1394) pour pouvoir faire la capture des K7 sur ordinateur. Je m’étais également débarrassé de mon PC qui disposait d’un port Firewire. Comme cette connectique est plutôt passée de mode, j’ai dû me rééquiper en achetant une carte Firewire pour une douzaine d’euros.


Voilà quelques étapes pour faire marcher tout ça sur une mageia 7.1, tout d’abord vérifier que la carte est bien installée avec lspci | grep 1394 on doit obtenir quelque chose comme cela :

04:00.0 FireWire (IEEE 1394): VIA Technologies, Inc. VT6306/7/8 [Fire II(M)] IEEE 1394 OHCI Controller (rev c0)

Ensuite j’ai branché mon caméscope et les modules Firewire se sont chargés automatiquement, un lsmod | grep firewire me donnera

firewire_ohci 49152 0
firewire_core 81920 1 firewire_ohci
crc_itu_t 16384 1 firewire_core

Dans le même temps les fichiers spéciaux sont bien créés sous /dev, en tapant ll /dev/fw* j’obtiens

crw——- 1 root root 243, 0 oct. 23 17:52 /dev/fw0
crw-rw—-+ 1 root video 243, 1 oct. 25 16:45 /dev/fw1

Mon caméscope utilise le fichier spécial /dev/fw1 et je n’ai changé aucun droit (mon utilisateur est quand même dans le groupe video), il faudra installer ensuite le package dvgrab. Puis en tant que simple utilisateur on tape dvgrab -i ça donne quelque chose comme cela

rom1394_0 warning: read failed: 0x0000fffff0000414
error reading config rom directory for node 0
Found AV/C device with GUID 0x0000850000543d2e
Going interactive. Press ‘?’ for help.
Winding Stoppedd » 01:01:31:16 «  » sec

En tapant ? on obtient la liste des commandes :

q=quit, p=play, c=capture, Esc=stop, h=reverse, j=backward scan, k=pause
l=forward scan, a=rewind, z=fast forward, 0-9=trickplay, <space>=play/pause

on peut donc lancer des commandes vers le caméscope, ça marche plus ou moins bien suivant les modèles. Pour chaque cassette je rembobine, je lance la lecture, puis je clique sur c (pour capture) et c’est parti, il va sauvegarder en coupant avec des fichiers de 1Go à l’endroit où la commande dvgrab a été lancée. Autre méthode, en tapant la commande :

dvgrab -rewind -timestamp -format dv2

Cela va rembobiner, lancer la lecture et la capture en inscrivant un repère temporel à chaque fichier et enregistrer au format DV2. Les fichiers vont ressembler à ça dvgrab-2002.07.18_21-46-48.avi, par défaut ils commencent par dvgrab puis on retrouve la date et l’heure de début d’enregistrement. Pour le format des fichiers, vous trouverez une page très complète sur le sujet ici.

Maintenant il arrive que la commande dvgrab mouline et reste bloquée sur Waiting for DV… Dans ce cas il faudra décharger les modules Firewire avec rmmod et les recharger avec modprobe, je n’ai pas trouvé de solution plus simple (mis à part le reboot).

Il ne reste plus qu’à importer vos vidéos dans votre logiciel de montage préféré, à noter que Kdenlive, comme OpenShot Video Editor ou Pitivi ne disposent pas de fonctionnalités de capture avec Firewire alors qu’elle a pu exister par le passé, preuve s’il en est que cette connectique est en désuétude.

Logiciels libres, Vie de FUNIX, Vie de mes sites

Mise à jour de FUNIX.org

Laisser un commentaire

J’ai opéré une mise à jour récente de funix.org pour prendre en compte quelques évolutions. Dans le détail il s’agit de :

pages divers
– page trucs et astuces, mise à jour des astuces liées aux logiciel libres qui sont issues de ce blog
– page piloter une montre GPS garmin, rajout du pilotage d’une garmin forerunner 735XT sous linux et rajout d’un paragraphe sur les applications de visualisation GPS en ligne comme GPS Visualizer pour n’en citer qu’un.
 
pages multimédia
– page outils de base pour la vidéo, passage à flac 1.3.3, faad 2.9.2, gpac 1.0.0, x265 3.4, OpenCV 4.4.0, et ffmpeg 4.3.1
– page mediacenter, passage à kodi 18.8 Leia qui est essentiellement une version avec des corrections de bogues et qui ne comprend pas de nouvelles fonctionnalités
– page outils audio divers passage au lecteur audio Audacious 4.0.5 dont l’évolution majeure est le passage à Qt5 sinon les évolutions sont assez peu sensibles, passage la version 1.4.0rc2 pour l’autre lecteur vidéo Clementine qui tourne maintenant sous Qt5 la version stable n’est plus très proche, passage au lecteur vidéo lollypop 1.3.6 et Music Brainz Picard 2.4.4 qui permet de taguer automatiquement les fichiers audio.
– page lecteurs vidéo, passage au lecteur vidéo vlc 3.0.11 qui apporte juste des correctifs

Audacious 4.0.5



pages montage vidéo
– page outils de montage vidéo, passage à mlt 6.22.1, kdenlive 20.08.1, Flowblade 2.6, Shotcut 20.07.11, SynfigStudio 1.3.16 et blender 2.90
– page tutoriel kdenlive, passage à la version 20.08.1 et rajout de fonctionnalités issues de cette nouvelle version, notamment les préconfigurations d’affichage en fonction des phases de travail (rushes, effets, colorimétrie, etc.).

kdenlive 20.08.1

pages gestion des mails
– page filtrer les mails, rajout de quelques subtilités dans la configuration de SpamAssassin pour gérer les whitelist et blacklist, et passage à l’antivirus Clamav 0.103.0. Malgré cela je continue à rencontrer encore des soucis avec les whitelist et les blacklist qui sont mal prises en compte.

Dans la page de téléchargement
Mise à jour du tutoriel kdenlive pour prendre en compte la nouvelle version

Logiciels libres, Ma vie

Montre GPS Garmin Forerunner 735XT et son sdk Connect IQ

Laisser un commentaire

J’utilise depuis des années une montre GPS, elle me sert en planche à voile (voir par ici) ou en randonnée (voir par là), j’ai fait le choix de Garmin avec des montres spécialisées pour le triathlon qui sont relativement robustes et surtout bien étanches. J’ai commencé avec le modèle Forerunner 205, que j’ai perdu lors d’une session de planche à voile avec le bracelet qui s’est cassé en navigation, puis je suis passé à la Garmin Forerunner 310XT, ses deux montres se pilotent très bien sous linux (voir cette page). Malheureusement ma dernière montre a pris l’eau lors d’une session récente en planche à voile. Au fil du temps dans l’action l’écran s’est ébréché dans un angle et je pense que l’eau est rentrée par là. Après 7 ans d’utilisation intensive, je considère qu’elle est quand même largement amortie. Du coup j’ai cherché sa remplaçante, en restant fidèle à Garmin et aux montres spécialisées dans le triathlon, je viens d’acheter une Garmin Forerunner 735XT dont on peut trouver un test par là.

Par rapport aux précédents modèles, je suis très réservé sur la robustesse et l’aspect solidité, elle est franchement beaucoup plus light, ça ressemble davantage à une montre à mettre tous les jours qu’à une montre sportive. En planche à voile, je pense que je serai obligé de la mettre sous la manche de ma combinaison histoire de la protéger contre les chocs inhérents à toute pratique sportive. En revanche elle présente le gros avantage de disposer d’un SDK qui permet de personnaliser l’affichage, de créer ses widgets et ses champs de données. Une présentation de ce SDK est visible ici (en anglais).

Continuer la lecture de Montre GPS Garmin Forerunner 735XT et son sdk Connect IQ →
Logiciels libres

Normaliser le son sous linux

Laisser un commentaire

J’écoute régulièrement de la musique avec différents lecteurs audio présentés dans cette page, mais ils présentent tous l’inconvénient de ne pas normaliser le son. La normalisation du son consiste à abaisser le volume de certaines musiques et d’augmenter le volume pour d’autres de manière à ce qu’à l’oreille le volume du son soit identique. Cela dépend donc beaucoup du niveau sonore d’enregistrement du fichier audio d’origine, alors certes il existe des commandes qui permettent une fois intégrées dans un script bash de normaliser par lot des mp3. On peut citer par exemple mp3gain. Mais je préfèrerais autant ne pas toucher à mes fichiers audio pour ne pas risquer de les dégrader et que ça se fasse au niveau de la sortie audio pilotée par pulseaudio.

J’ai vainement essayé de configurer pulseaudio pour normaliser en temps réel. Pour cela, sur ma Mageia 7.1 j’ai installé le package ladspa-plugins-swh et rajouté les lignes suivantes dans le fichier /etc/pulse/default.pa

load-module module-ladspa-sink  sink_name=ladspa_sink  master=combined plugin=dyson_compress_1403  label=dysonCompress  control=0,1,0.5,0.99

# Create normalized sink that outputs to the compressed sink
load-module module-ladspa-sink  sink_name=ladspa_normalized  master=ladspa_sink  plugin=fast_lookahead_limiter_1913  label=fastLookaheadLimiter  control=10,0,0.8

# Comment out the line below to disable setting the normalized output by default:
set-default-sink ladspa_normalized

Mais rien n’y fait, il n’arrive pas à charger le module et je bute sur cette erreur

pulseaudio[5186]: Failed to load module "module-ladspa-sink" (argument: ""): initialization failed.

Sur internet on trouve bien comme astuce qu’il faut que la variable LADSPA_PATH pointe vers les bibliothèques LADSPA qui se trouve dans la pratique sous /usr/lib64/ladpsa. Mais ce n’est pas suffisant, je soupçonne que ça ne fonctionne pas car pulseaudio est lancée en mode system et que c’est pulse le propriétaire du processus.

Du coup j’ai changé mon fusil d’épaule et j’ai installé PulseEffects. C’est un logiciel qui s’interface entre les lecteurs vidéo et le serveur de son pulseaudio et qui permet d’appliquer des traitements et des effets en temps réel au son qui est envoyé vers la sortie audio de pulseaudio. Il permet notamment de normaliser le son.

Dans le screenshot ci-dessous, j’ai appliqué les effets Maximiser et Auto Gain qui me permettent d’avoir un volume à peu près constant entre les différents titres audio. La configuration est très simple, on lance son lecteur multimédia puis PulseEffects et par défaut le son du lecteur multimédia est filtré par les effets de PulsefEffects avant d’être renvoyé vers la sortie audio de pulseaudio. Plus besoin d’avoir à jouer manuellement sans cesse sur le niveau du volume.

Logiciels libres, Ma vie

Traiter ses photos en mode raw avec darktable

Laisser un commentaire

Je pratique la photo en grand amateur depuis des années, un aperçu est visible dans la galerie de ce site. Après avoir débuté avec un appareil photo argentique Konika, dont j’ai oublié aujourd’hui le nom du modèle et même le type, je suis passé au début des années 2000 à l’appareil photo numérique. Le premier était un Olympus C220Z, un modèle assez basique mais aux performances relativement standards à l’époque. C’est notamment avec cet appareil photo que j’ai pris mes photos lors de mon séjour en Polynésie. Vu le paysage et la lumière c’était quand même difficile de rater ses photos. Plus tard j’ai évolué vers un Sony Cyber-shot DSC-P73 et j’ai continué à monter en gamme graduellement en passant au bridge avec le FujiFilm finepix S2000HD et enfin le Nikon Coolpix p510. Côté traitement photo, sous GIMP je me contentais de retailler et de jouer avec la luminosité et le contraste, voire avec la balance des blancs et c’est à peu près tout. Mine de rien j’arrivais quand même à prendre des photos que j’estime plutôt sympas :

Rio de Janeiro vu du Corcovado

J’ai franchi un gap en passant au reflex, venant du monde Nikon, j’ai choisi naturellement un boîtier Nikon de moyenne gamme D5300. Les photos de mon compte Instagram dont un assortiment est visible ci contre sont principalement prises avec cet appareil. C’est clair que je me complique pas trop la vie avec les réglages, le mode sport est mon ami, car je fais principalement de l’animalier et de l’action. Côté traitement photo je suis resté aux bases sous GIMP.

Continuer la lecture de Traiter ses photos en mode raw avec darktable →
Logiciels libres, Vie de FUNIX, Vie de mes sites

Montage vidéo

Un commentaire

Pas mal de nouveautés sur le front des logiciels de montage vidéo sous linux, jusqu’à présent j’utilisais Kdenlive mais ces derniers temps j’ai pu faire mes derniers montages avec OpenShot Video Editor qui est maintenant enfin pleinement opérationnel. Dans cet élan, j’ai testé Flowblade Movie Editor et Pitivi Video Editor qui sont deux autres logiciels de montage vidéo, le premier est grossièrement équivalent à Kdenlive alors que le dernier se destine plutôt aux débutants.

Flowblade Movie Editor

Devant cette pléthore de logiciel j’ai rédigé un comparatif de Kdenlive, Flowblade, OpenShot et Pitivi sur la base de plusieurs critères les plus objectifs possibles et après avoir passé quelques heures pour réaliser des vrais montages et pas seulement pour survoler les fonctions des uns et des autres. On pourrait résumer ce test avec ce tableau synthétique :

Continuer la lecture de Montage vidéo →
Logiciels libres, Vie de FUNIX, Vie de mes sites

Mise à jour de mes pages LAMP

Laisser un commentaire

J’ai profité de cette période de confinement pour profondément toiletter mes pages LAMP, en d’autres termes c’est l’ensemble Linux+Apache+MySQL+PHP qui sert à faire tourner les pages web. Avoir un serveur web perso présente plusieurs intérêts, ça permet déjà de pouvoir tester ses pages web avant de les envoyer sur internet sur un autre serveur web hébergé sur internet, cela permet également de monter un serveur web qui pourra être accessible d’internet pour diverses applications. Une illustration de ces applications est donnée en fin de ce post.

Tout d’abord dans la page principale LAMP je présente l’installation d’Apache 2.4.41, de PHP 7.4.4 et, grande nouveauté, de MariaDB à la place de MySQL. Cela fait des années que je tournais avec un serveur MySQL, mais il est passé de mode après un changement de licence et de philosophie, remplacé par son fork MariaDB qui reste totalement libre. J’ai eu un peu de mal à l’installer à partir des sources, mais la migration de mes bases MySQL n’a pas posé de soucis, il faut dire que MariaDB assure une compatibilité avec MySQL. Cerise sur le gâteau, j’ai configuré une connexion chiffrée entre le client et le serveur MariaDB, même si la configuration de la connexion à partir de phpMyAdmin n’a pas été simple.

J’ai également mis à jour la page présentant l’installation d’un moteur de recherche, cela fait 15 ans que je ne l’avais pas mise à jour ! Jusqu’à présent je me basais sur Ht://Dig qui n’est plus maintenu depuis des lustres, je présente maintenant Hl://Dig qui n’est d’autre qu’un fork de Ht://Dig mais qui est toujours maintenu.

Pour terminer j’ai mis à jour la page qui présente les outils webalizer et awstats pour analyser les fichiers logs d’Apache, avec la nouvelle version de mon script qui me sert à récupérer les logs de mon serveur funix hébergé chez online.net et à les analyser et à les rendre accessible sur mon serveur web perso.

Et pour vous donner une illustration de ce qu’on peut faire avec un serveur web, voici une liste non exhaustive des applications de mon serveur web perso:

  • consultation des mails sur mon mobile à distance via le webmail Roundcube Mail, comme présenté ici,
  • synchronisation de mes contacts, de mon agenda et de mes fichiers via NextCloud, comme présenté là,
  • consultation à distance des images et vidéos d’une webcam configurée comme une caméra à détection de mouvement, comme présenté ici,
  • consultation de l’état de l’onduleur qui soutient électriquement mon serveur, présenté là.

Logiciels libres

Installation d’un cloud personnel avec NextCloud

2 commentaires

Jusqu’à présent j’utilisais OwnCloud pour synchroniser et stocker les informations (contacts téléphoniques notamment) de mon téléphone mobile. Le serveur n’est pas accessible d’internet et je synchronise en WIFI seulement à la maison, ce qui suffit à mon utilisation. A ce sujet j’avais rédigé ce post. Cela permet de ne pas dépendre d’un tiers qui est rarement de confiance comme Google (entre autres) pour stocker ses informations personnelles. Il se trouve qu’OwnCloud a dérivé petit à petit vers un produit commercial ce qui conduit à la création d’un fork appelé NextCloud. Aujourd’hui certaines fonctions ne sont présentes que dans la version payante d’OwnCloud alors qu’elle reste disponible dans NextCloud. De fait NextCloud semble s’imposer comme outil de Cloud et j’ai donc fait le choix de migrer d’OwnCloud à NextCloud.

A vrai dire je ne suis pas parti d’une migration de données même s’il existe des outils pour le faire. J’ai considéré que j’avais peu de données à migrer et que cela ne valait pas le coup d’autant qu’elles restaient stockées sur le téléphone et que je pouvais toujours peupler facilement la base à l’installation de NextCloud. Pour l’installation de NextCloud, rappelons qu’il faut disposer d’un serveur httpd avec PHP et un serveur de bases de donnée (autrement dit un serveur LAMP (Linux, Apache, MySQL/MariaDB et PHP)). Ensuite l’installation est assez simple, on peut se baser sur cette page. J’ai installé le package, qu’on récupèrera par là, sous /var/www/nextcloud. On donnera la propriété du répertoire à l’utilisateur du process httpd tel que défini dans le fichier httpd.conf avec la commande chown.

chown -R daemon:daemon /var/www/nextcloud
Continuer la lecture de Installation d’un cloud personnel avec NextCloud →