Archives de catégorie : Vie de mes sites

Mise en place d’une solution d’archivage avec rclone

Jusqu’à présent je me suis beaucoup focalisé sur les solutions de sauvegarde de mes données sans m’attarder sur leur archivage. Ce post résume un peu toutes mes cogitations sur la sauvegarde. Mais au fait quelle est la différence entre sauvegarde et archivage ? En deux mots la sauvegarde est une copie identique des données à un moment donné qui permet une restitution en cas de pertes des données d’origine. Alors que l’archivage est une copie des données avec une notion de gestion de version, c’est à dire qu’on dispose de plusieurs enregistrements effectués à des dates différentes. Cet article explique assez bien la nuance entre les deux.

J’ai donc mis assez simplement un archivage chiffré basé sur rclone sur Google Drive en mode synchronisation. Le script est assez simple et ressemble à ça

#!/bin/bash

LOG_FILE="/home/olivier/tmp/sync-rclone.log"
REP_FILTRE="/home/olivier/Documents/rep-filtre.txt"
DESTINATION="google-secret:Sauvegarde"
DESTINATION_ARCHIVE="google-secret:Sauvegarde-archive"
ladate=`date +"%Y-%m-%d--%T"`
SUFFIX_DATE=.$ladate

/usr/local/bin/rclone -v --skip-links \
    --backup-dir $DESTINATION_ARCHIVE --suffix $SUFFIX_DATE\
        sync / $DESTINATION --filter-from $REP_FILTRE --log-file $LOG_FILE

Les anciennes versions des fichiers seront sauvegardées avec le suffixe date et heure sous cette forme .2021-12-04–07:55:25. En cas de synchronisation et d’archivage on a ce message.

2021/12/04 16:35:09 INFO  : mana/data/bureautique/Finance/les comptes.ods: Moved (server-side) to: mana/data/bureautique/Finance/les comptes.ods.2021-12-04--16:34:59
2021/12/04 16:35:35 INFO  : mana/data/bureautique/Finance/les comptes.ods: Copied (new)
2021/12/04 16:35:35 INFO  :
Transferred:           2.608 MiB / 2.608 MiB, 100%, 87.635 KiB/s, ETA 0s
Checks:              1817 / 1817, 100%
Renamed:                1
Transferred:            1 / 1, 100%
Elapsed time:        36.5s

Il ne reste plus qu’à lancer le script de manière régulière avec cron pour mettre en place un archivage régulier. Vous trouverez plus de détails sur la configuration de rclone pour une synchronisation sur le cloud avec en exemple Google Drive avec chiffrement des données sur cette page de funix.org.

Sauvegarde chiffrée dans le cloud

J’ai considérablement étoffé mon dispositif de sauvegarde de mes données. J’évoquais dans ce post un premier dispositif basé sur un script bash lui même basé sur rsync qui permettait une sauvegarde incrémentale. Malheureusement j’ai rencontré un crash disque « bas bruit » qui a entraîne une corruption des données et de la sauvegarde sans que je m’en rende compte immédiatement. Suite à cet incident j’avais amélioré mon dispositif de sauvegarde et des tests d’intégrité des disques qui est décrit dans cet autre post. J’avais fait part de mes déboires sur le site linuxfr dans ce journal. Les commentaires m’ont conduit à revoir complètement mon dispositif qui repose maintenant sur les outils borg, btrfs et unison.

Tout cela est présenté et détaillé sur cette page de funix.org. et à fait l’objet de cet autre journal sur linuxfr. Les commentaires m’ont poussé à aller encore plus loin en rendant mon dispositif de sauvegarde encore plus robuste. Je l’ai donc complété par :

– une solution de sauvegarde et de partage des données base sur un cloud payant kdrive d’infomaniak avec un dispositif de synchronisation automatique et des sauvegardes manuelles. Cette sauvegarde à distance vient compléter le dispositif local et permet de le rendre encore plus robuste à un sinistre qui détruirait à la fois le serveur et les sauvegardes locales. Un troisième journal sur linuxfr détaille ce point précis, je vous invite à découvrir les commentaires qui ont été faits sur ces trois journaux qui sont assez instructifs sur les éventuelles autres solutions de sauvegarde.

– une pure solution de sauvegarde avec des données stockées chiffrées en utilisant rclone et Google Drive. Ce dernier offre une solution gratuite jusqu’à 15Go, ce qui est généralement largement suffisant pour stocker des données sensibles (hors fichiers multimédia). Si on peut s’inquiéter de la protection des données et de l’utilisation que Google peut en faire, le problème ne se pose pas car elles sont envoyées chiffrées et stockées en l’état sur le drive. C’est donc bien de la pure sauvegarde plutôt que du partage de données. A noter que ce ne sera possible avec infomaniak qu’après souscription à l’offre supplémentaire Swiss Backup.

Ces solutions basées sur le cloud sont développées dans cette autre page de funix.org.

Mise à jour de FUNIX.org

J’ai mis à jour mon site funix.org consacré à Linux, les évolutions sont les suivantes :

pages divers
– page trucs et astuces, j’ai rajouté les liens vers les posts de ce blog sur la présentation de digikam (gestion photo) et de viking (trace GPS)

pages installation d’un serveur LAMP (Linux+Apache+MySQL+PHP)
– page Apache+PHP+MariaDB (avec les sources), passage à apache 2.4.51 et  PHP 7.4.25

pages gestion des mails
– page réception des courriers et mise à disposition, passage à la version 1.5.0 du webmail roundcubemail
– page filtrer les mails, passage à l’antivirus ClamAV 0.104.1
– page analyser les logs d’apache, le projet webalizer a l’air mort, j’ai rajouté des liens pour récupérer la dernière version connue, je le supprimerai à terme.

pages multimédia
– page outils de base pour la vidéo, passage aux bibliothèques vidéo libogg 1.3.5, rubberband 2.0.0, OpenCV 4.5.4, version du 30/10/21 de x264 et ffmpeg 4.4.1
– page lecteurs vidéo, passage à VLC 3.0.16
– page mediacenter, passage à kodi 19.3 Matrix
– page transcodage, passage à avidemux 2.7.8 et HandBrake 1.4.2
– page outils multimédia divers, passage à lollypop 1.4.23, OSD lyrics 0.5.10 et Music Brainz Picard 2.6.4. OSD lyrics permet de faire du karaoké, le projet est longtemps resté inactif et est à nouveau maintenu pour le plus grand bonheur des amateurs de karaoké

OSD Lyrics


– page conteneur vidéo, passage à vorbis tools 1.4.2, libmatroska 1.6.3 et mkvtoolnix 62.0.0
– page piloter un caméscope mini DV, là aussi dvgrab semble un projet mort, j’ai rajouté une URL pour télécharger les sources de la dernière version connue

pages montage vidéo
– page montage vidéo, passage à mlt 7.0.1, kdenlive 21.08.2, cinelerra 7.4, OpenShot 2.6.1, Synfig Studio 1.5.1 et blender 2.93.5. J’ai galéré pour installer blender car il requière maintenant python 3.9 or la Mageia 8 fournit la 3.8, il faut donc faire cohabiter les deux versions, j’ai également eu des soucis avec l’installation de OpenImageIO, blender n’a pas voulu reconnaître la version que j’avais compilée et j’ai dû installer le package sans les dépendances pour ne pas écraser les différentes bibliothèques que j’ai installées manuellement en les compilant.

Blender 2.93.5

J’ai toujours un soucis avec cinelerra 7.4, qui compile plus facilement maintenant, mais qui plante au lancement.
– page tutoriel montage vidéo kdenlive, rajout de deux fonctionnalités suite au passage à la version 21.08.2, il s’agit de la fonction time remap qui permet une gestion plus fine du réglage de la vitesse d’un clip, je n’ai toujours pas bien compris comment ça fonctionnait. J’évoque également la fonction qui permet de déplacer le projet entier sur la timeline tout en gardant les guides.

La fonction time remap de kdenlive

Page téléchargement mise à jour des documents

– Installation d’un serveur LAMP
– Envoyer et recevoir du courrier pour un réseau multi utilisateurs
– Tutorial sur le montage vidéo avec kdenlive

Passage à MAGEIA 8 terminé

Je viens de terminer avec mon serveur Dell Poweredge T310 le passage à Mageia 8 de tous les postes de mon réseau local. Contrairement à ce que l’image ci-dessous peut indiquer, j’ai procédé une mise à jour en partant de la 7.1 sans passer par une réinstallation complète.

Dell PowerEdge T310

Ça m’aura pris un peu plus de six mois, ayant commencé en février dernier peu après la sortie de la Mageia 8 en échelonnant petit à petit dans le temps.

Continuer la lecture de Passage à MAGEIA 8 terminé

Filtrer les adresses IP menaçantes

Dans le but de sécuriser encore plus mon serveur j’ai mis en place un filtrage d’adresses IP potentiellement menaçantes. En fait certains sites comme abuseipbd ou spamhaus collectent et maintiennent de telles listes, il suffit de les récupérer et de les faire prendre en compte par son firewall favori. Pour ma part j’utilise shorewall comme firewall et je me suis basé sur cette page du wiki de Mageia (en anglais).

Il faudra utiliser l’outil IPset qui permet de gérer des listes d’adresse IP (entre autres). Tout le reste et le détail de cette installation se retrouve sur cette page de funix.org.

Dans le même genre il existe également fail2ban qui marche de manière un peu différente. Il va analyser les logs des services lancés sur votre serveur comme SSH, Apache ou bien encore OpenVPN, identifier les tentatives de connexion infructueuse et procéder au bannissement de l’adresse IP de l’indélicat via le firewall. En revanche je rencontre quelques soucis de configuration et ça n’a pas l’air de fonctionner pleinement, je continue à chercher.

Installer un réseau vpn avec openVPN

Je dispose d’un réseau local centré autour d’un serveur Dell PowerEdge T310 qui fait office de serveurs d’authentification avec OpenLDAP, de mail et de fichiers (entre autres) comme je l’ai déjà signalé à multiples reprises sur ce blog. Je suis régulièrement en déplacement et j’avais mis en place un service de webmail sur le serveur me permettant de consulter mes mails d’un mobile ou d’un portable connecté à mon mobile où que je sois. J’avais fait un post il y a quelques temps à ce sujet qu’on trouvera ici.
En revanche pour consulter les fichiers sur mon serveur, j’utilise OpenSSH en ligne de commande, ce n’est pas franchement convivial et intuitif, mais je m’en contentais jusqu’à présent.

Il se trouve que ma petite dernière entame des études à l’étranger et j’aimerais lui faciliter les choses pour qu’elle puisse accéder aux ressources du réseau local en toute transparence et simplicité. J’ai donc pensé à créer un tunnel VPN entre son Thinkpad sous Linux/Mageia et le réseau local familial.

On trouve beaucoup de tutoriels sur internet sur le sujet, mais quasiment tous présentent une configuration où tout le flux internet du client VPN se trouve redirigé vers le serveur via le tunnel VPN. L’accès internet se fait donc via le serveur avec la technique de l’IP Masquerade. C’est sûrement intéressant dans beaucoup de cas, notamment pour une utilisation professionnelle où on souhaite filtrer l’accès à internet (voire l’interdire), ou bien encore pour surfer plus ou moins masqué, mais dans mon cas ça n’apporte rien du tout, car ça ralentit considérablement l’accès à internet sur le client. Je souhaite juste que le client accède aux ressources du réseau local privé et continue à accéder à internet via sa connexion habituelle.

Du coup j’ai travaillé sur cette configuration particulière que j’expose dans cette page où sont présentées les principales étapes pour configurer le serveur et le client VPN basé sur OpenVPN. De mon poste client je peux maintenant simplement lancer la connexion VPN où que je sois connecté et accéder du terminal ou d’un gestionnaire de fichiers aux fichiers du serveur.

Accessoirement j’ai vu également que je pouvais maintenant accéder à mon VPN via mon mobile Android. Je n’en ai pas franchement l’utilité aujourd’hui, mais pourquoi pas, pour le fun je pourrais essayer, ça fera certainement l’objet d’un nouveau post.

Sauvegarde le retour

J’ai connu en début d’année des déboires suite à un crash disque inopiné comme je l’évoque dans ce post. En fait un problème disque bas bruit, non détecté, a conduit à la corruption de données, données qui ont été sauvegardées en écrasant la sauvegarde saine. J’ai été surpris par le crash disk qui est arrivé sans crier gare, et c’est seulement en remontant ma sauvegarde que je me suis rendu compte de sa corruption. Malgré des heures passées à tenter de récupérer les données manquantes avec photorec entre autres, j’ai perdu dans l’affaire pas mal de données essentiellement des fichiers multimédia patiemment emmagasinés depuis des années.

Suite à cet incident, j’avais revu de fond en comble ma stratégie de sauvegarde qu’on peut retrouver dans cet autre post. J’avais évoqué mes déboires et présenté fièrement cette nouvelle stratégie dans ce journal sur linuxfr. Bien m’en a pris, les commentaires qui m’ont été faits m’ont ouvert les yeux et j’ai revue de fond en comble ma stratégie de sauvegarde qui ressemble maintenant à quelque chose comme cela :

Continuer la lecture de Sauvegarde le retour

Installer un agenda kolab sur le webmail roundcubemail

Ma tendre et chère souhaitait pouvoir disposer d’un agenda qu’elle retrouverait sur le PC et sur son mobile pour se débarrasser de son agenda papier de moins en moins pratique. Comme je ne choisis pas la facilité et dans l’esprit que mes données ne se retrouvent pas quelque part aux US ou en Chine à la merci de hackeurs ou de revendeurs de données, j’ai choisi d’intégrer un plugin d’agenda au webmail Rouncube.

Pour mémoire je me repose sur mon serveur personnel Dell PowerEdge T310 qui tourne dans mon garage et qui fait office de cloud perso et sur lequel tourne Roundcube qui me permet d’accéder à mes mails de mon mobile comme expliqué par ici. J’ai choisi d’installer le plugin kolab, le détail de l’installation est donné par . Voilà ce que ça donne sur l’ordinateur

et sur le mobile

le tout est évidemment complètement synchronisé.

Continuer la lecture de Installer un agenda kolab sur le webmail roundcubemail

Mise à jour de FUNIX.org

J’ai opéré une mise à jour récente de funix.org pour prendre en compte quelques évolutions. Dans le détail il s’agit de :

pages divers
– page trucs et astuces, mise à jour des astuces liées aux logiciel libres qui sont issues de ce blog
– page piloter une montre GPS garmin, rajout du pilotage d’une garmin forerunner 735XT sous linux et rajout d’un paragraphe sur les applications de visualisation GPS en ligne comme GPS Visualizer pour n’en citer qu’un.
 
pages multimédia
– page outils de base pour la vidéo, passage à flac 1.3.3, faad 2.9.2, gpac 1.0.0, x265 3.4, OpenCV 4.4.0, et ffmpeg 4.3.1
– page mediacenter, passage à kodi 18.8 Leia qui est essentiellement une version avec des corrections de bogues et qui ne comprend pas de nouvelles fonctionnalités
– page outils audio divers passage au lecteur audio Audacious 4.0.5 dont l’évolution majeure est le passage à Qt5 sinon les évolutions sont assez peu sensibles, passage la version 1.4.0rc2 pour l’autre lecteur vidéo Clementine qui tourne maintenant sous Qt5 la version stable n’est plus très proche, passage au lecteur vidéo lollypop 1.3.6 et Music Brainz Picard 2.4.4 qui permet de taguer automatiquement les fichiers audio.
– page lecteurs vidéo, passage au lecteur vidéo vlc 3.0.11 qui apporte juste des correctifs

Audacious 4.0.5



pages montage vidéo
– page outils de montage vidéo, passage à mlt 6.22.1, kdenlive 20.08.1, Flowblade 2.6, Shotcut 20.07.11, SynfigStudio 1.3.16 et blender 2.90
– page tutoriel kdenlive, passage à la version 20.08.1 et rajout de fonctionnalités issues de cette nouvelle version, notamment les préconfigurations d’affichage en fonction des phases de travail (rushes, effets, colorimétrie, etc.).

kdenlive 20.08.1

pages gestion des mails
– page filtrer les mails, rajout de quelques subtilités dans la configuration de SpamAssassin pour gérer les whitelist et blacklist, et passage à l’antivirus Clamav 0.103.0. Malgré cela je continue à rencontrer encore des soucis avec les whitelist et les blacklist qui sont mal prises en compte.

Dans la page de téléchargement
Mise à jour du tutoriel kdenlive pour prendre en compte la nouvelle version

Montage vidéo

Pas mal de nouveautés sur le front des logiciels de montage vidéo sous linux, jusqu’à présent j’utilisais Kdenlive mais ces derniers temps j’ai pu faire mes derniers montages avec OpenShot Video Editor qui est maintenant enfin pleinement opérationnel. Dans cet élan, j’ai testé Flowblade Movie Editor et Pitivi Video Editor qui sont deux autres logiciels de montage vidéo, le premier est grossièrement équivalent à Kdenlive alors que le dernier se destine plutôt aux débutants.

Flowblade Movie Editor

Devant cette pléthore de logiciel j’ai rédigé un comparatif de Kdenlive, Flowblade, OpenShot et Pitivi sur la base de plusieurs critères les plus objectifs possibles et après avoir passé quelques heures pour réaliser des vrais montages et pas seulement pour survoler les fonctions des uns et des autres. On pourrait résumer ce test avec ce tableau synthétique :

Continuer la lecture de Montage vidéo