Geekographie Maïeulesque

Récupérer les pages d'un livre numérisé en plusieurs images

Maïeul — 2014-05-09T07:34:05Z

Certains sites proposent des versions numérisées d'anciens livres. Lorsque ce livre m'est nécessaire pour mon travail, j'ai pris l'habitude de le récupérer en local, pour en avoir une copie. En effet, on n'est jamais certain de la pérennité d'une ressource internet. En outre je peux avoir besoin de revenir sur le livre dans un endroit où je n'ai qu'un accès difficile à internet.

Cependant ces sites ne permettent pas toujours de télécharger l'ensemble des pages du livre en un fichier, mais offrent simplement de visualiser chaque page une par une. Ce qui implique donc de les télécharger une par une, une opération fastidieuse et pénible. J'ai donc écrit un script permettant d'automatiser la chose.

Pré-requis

Vous devez disposer d'une version de python3 installée sur votre ordinateur. Certains systèmes d'exploitation sont livrés avec, mais la plupart du temps ou Python n'est pas installé par défaut, ou il est installé dans une version 2.x. Si vous ne savez pas si python 3 est installé, vous pouvez vous rendre sur la page de documentation de Python.

Trouver le modèle d'URL

Imaginons que l'on souhaite récupérer les images des folios 1r à 382v du manuscrit latin 1 de la Dombibliothek, à Cologne. Une fois la première image affichée dans le navigateur, il faut cliquer droit dessus et choisir « Copier l'adresse de l'image », « Copier l'Url de l'Image » ou une formule similaire (cela dépend de votre navigateur).

Retrouver l'URL d'une image

Vous venez d'ajouter l'adresse de l'image dans votre presse-papier. Il vous faut désormais la coller dans un éditeur de texte.

Dans le cas présent, l'URL est :

http://www.ceec.uni-koeln.de/projekte/CEEC/manuscripts/fit/kn28-0001/kn28-0001_001.jpg

Parfois affichée sous la forme plus obscure :

http://www.ceec.uni-koeln.de/projekte/CEEC/manuscripts/fit/kn28%2d0001/kn28%2d0001%5f001%2ejpg

On constate que le %2 équivaut à - et que %5f équivaut à _.

Il faut procéder de la même manière pour la dernière image. Dans le cas présent, on obtient l'url :

http://www.ceec.uni-koeln.de/projekte/CEEC/manuscripts/fit/kn28-0001/kn28-0001_764.jpg

Parfois affichée sous la forme plus obscure :

http://www.ceec.uni-koeln.de/projekte/CEEC/manuscripts/fit/kn28%2d0001/kn28%2d0001%5f764%2ejpg

Déterminer les paramètres

Dans ce genre de publication en ligne, on constate que les URLs possèdent des éléments invariants et un élément variant, à savoir un nombre. Dans le cas présence, il s'agit du nombre qui suit kn28-0001_ :

il est égal à 001 pour la première image.
il est égal à 1764 pour la dernière image.

Notez ces deux numéros : le script va parcours l'ensemble des numéros compris entre eux, inclus.

Nous modifions l'URL, pour fabriquer une URL générique. Nous mettons à la place du numéro le code suivant {nombre}. Ce qui donne dans le cas présent :

http://www.ceec.uni-koeln.de/projekte/CEEC/manuscripts/fit/kn28-0001/kn28-0001_{nombre}.jpg

Configuration du script

Ayant noté l'ensemble des paramètres, il faut désormais configurer le script, après l'avoir téléchargé [1] :

Script de récupération d'image

Dernière version stable

Après avoir dézippé, ouvrir le fichier config.py. Il doit normalement s'ouvrir avec un éditeur python, installé en même temps que Python sur votre machine. Actuellement, il contient les lignes suivantes :

#les paramètres
## les + importants
base="http://babel.hathitrust.org/cgi/imgsrv/image?id=mdp.39015012425404;seq={nombre}"
extension = ".jpg"
min = 1
max = 2
dossier="Schlumberger1884" ## les secondaires
romain = False
complete = 0

Nous n'allons modifier, pour le moment, que les lignes 3 à 7, ainsi que la ligne 11 Chaque paramètre peut être :

Un chaîne de caractères, entre guillemets.
Un nombre entier, sans guilllement

Il faut modifier :

le paramètre base, en mettant l'url générique que nous avons construit.
le paramètre min, qui doit contenir le nombre correspondant à notre première image.
le paramètre max correspondant à notre dernière image.
le paramètre dossier contenant le nom du dossier dans lequel nous enregistrons les fichiers.
le paramètre extension contenant l'extension des fichiers enregistrés.
le paramètre complete contenant le nombre total de caractère pour l'affichage des nombres dans l'url. Dans le cas présent, on voit que la première image a le nombre affiché sous la forme 001 : il y a donc trois nombres.

Notre fichier va donc contenir les lignes suivantes :

#les paramètres
## les + importants
base="http://www.ceec.uni-koeln.de/projekte/CEEC/manuscripts/fit/kn28-0001/kn28-0001_{nombre}.jpg"
extension = ".jpg"
min = 1
max = 764
dossier="Cologne" ## les secondaires
romain = False
complete = 3

Exécution du script

Il nous reste à exécuter le script recuperation-images-livre.py. Pour ce faire, deux solutions s'offrent à nous :

en ligne de commande, avec le Terminal/l'invite de commande. Une fois dans le dossier du script, frapper :
```
python3 recuperation-images-livre.py
```
avec le logiciel IDLE, livré avec les installations python, ouvrir le fichier recuperation-images-livre.py, puis dans le menu « Run », choisir « Run module ».

Exécuter un script Python avec IDLE

Dans les deux cas, on doit voir défiler à l'écran les URLs de chaque image téléchargée, précédés du nom du fichier enregistré sur votre ordinateur.

Détail de la récupération des images

Il ne reste plus qu'à récupérer le dossier.

Paramètre supplémentaire

Il peut arriver que certains sites proposent des pages numérotés en nombres romains minuscules. Dans ce cas, il faut changer la l. 10 du script, en :

romain = True

Toutes propositions d'amélioration est la bienvenue. Merci dans ce cas d'ouvrir un ticket sur la page github.

[1] Le script est sous licence GPL3. Il est disponible sur Github.

Automatiser la sauvegarde de son site en local

Maïeul — 2013-12-05T23:45:33Z

En théorie, un bon hébergeur est censé avoir une copie des données dans un autre local, en cas d'accident. Mais par précaution, avoir soi-même une copie des données de son site sur son ordinateur peut toujours être utile, comme le prouve une mésaventure arrivée à Teddy Payet.

Comme c'est une opération régulière, autant avoir un script qui permette d'automatiser la tâche. J'en ai créé un pour moi, que je vous propose ici.

Objectifs

Pouvoir récupérer les documents aussi bien via FTP que via SSH + clefs publique/privée.
Ne récupérer que les documents modifiés depuis la dernière récupération.
Inutile de garder en local un état du site à chaque sauvegarde : on s'appuie sur notre outil de sauvegarde locale.
Pouvoir ajouter facilement un nouveau site à sauvegarder en précisant quels sont les fichiers à sauvegarder.
Pouvoir utiliser le trousseau d'accès du système pour stocker les mots de passe FTP.
Pouvoir récupérer une dump .sql de la base de données MySql.
Outils

Pour remplir les deux premiers objectifs, je me sers de rsync et de lftp. Le premier est installé sous Mac OS X et a priori sous Linux [1]. Le second en revanche n'est pas installé sous Mac Os X par défaut. Mais son installation est très simple, pour peu que l'on n'ait pas peur d'ouvrir une fenêtre de terminal [2].

D'abord installer brew si on ne l'a pas déjà fait. Brew est un programme en ligne de commande qui permet d'installer facilement d'autres programmes en ligne de commande. Dans son terminal, mettre :

ruby -e "$(curl -fsSL https://raw.github.com/mxcl/homebrew/go/install)"

Valider par un retour à la ligne : le script s'installe. Reste à installer lftp:

brew install lftp

Il me restait à gérer les autres conditions. J'ai décidé d'écrire cela en python, parce que je le connais mieux que bash [3] et que c'est un langage simple mais puissant.

Python est installé sous Linux et Os X par défaut, donc pas de souci. En revanche il faut installer un module complémentaire keyring, qui permettra de sauvegarder les mots de passe dans le trousseau.

sudo easy_install keyring

Bref, les pré-requis sont là, il ne reste plus qu'à passer au script.

Enfin, pour récupérer le dump de la base de données, j'utilise le plugin spip saveauto, en configurant pour que les sauvegardes soient faites tous les jours dans le dossier tmp/dump.

Installation et configuration du script

Télécharger le zip [4], le décompresser, installer le dossier à l'emplacement de son choix.

Script de sauvegarde

Dernière version stable

Passons maintenant à la configuration du script. Dans son dossier, à côté de sauvegarde-site.py, créer un fichier config.py, qui contiendra les paramètres du fichier.

La première ligne contient le chemin absolu vers le dossier où sera stocké toutes les sauvegardes des sites. Par exemple chez moi :

dossier = "/Users/maieul/Sites/sauvegarde"

Les lignes suivantes vont contenir les descriptions des sites à sauvegarder, sous la forme :

sites=[ { parametre pour un site }, { parametres pour un autre site }, etc ]

Un paramètre est une « clef » mise entre guillemets, suivi de « : » puis suivi de sa valeur. Soit généralement une chaîne entre guillemets, ou à défaut une liste de chaîne entre crochets. Chaque paramètre est séparé du suivant par une virgule.

Ainsi donc :

{ "param1" : "valeur 1", "param2" : "valeur 2", "param3" : ["valeur3a","valeur3b"] }

Le script fonctionne avec sept paramètres :

"mode" qui indique comment on récupère les fichiers. Deux valeurs sont possibles "SSH" ou "FTP".
"login" qui indique le login du serveur où l'on récupère les fichiers. Par exemple : "toto"
"serveur" qui indique l'adresse du serveur où l'on récupère les fichiers, par exemple : "ftp.toto.net"
"base" qui indique le chemin sur le serveur du dossier où se trouve le site, par exemple : "www/sites/toto"
"recuperation" qui indique les chemins, depuis la base du site, des dossiers à récuperer. Typiquement avec SPIP : ['IMG','tmp/dump'].
"exclure" qui indique les dossiers à ne pas récupérer. Typiquement avec SPIP : 'exclure':['article_PDF','distant','.svn','.ok']
"dossier" qui indique dans quel sous-dossier vont être rangés les fichiers récupérés. Par exemple "toto".

Ainsi un fichier config.py minimum pourra être le suivant :

dossier = "/Users/maieul/Sites/sauvegarde" sites=[ { 'mode':'FTP', 'login':'toto', 'serveur':'ftp.toto.org', 'base':'www/sites/toto', 'recuperation':['IMG','tmp/dump'], 'exclure':['article_PDF','distant','.svn','.ok'], 'dossier':'toto' } ]

Lancer le script

Il ne reste plus qu'à lancer le script via :

python chemin-du-fichier-sauvegarde-sites.py

Le script récupère l'ensemble des sites en les mettant chacun dans le dossier correspondant :

la première fois qu'il rencontre un site à récupérer par ftp, il s'interrompt et vous demande le mot de passe.
les fois suivantes, il ne récupère que les fichiers modifiés, et, le cas échéant, supprime de la version locale les fichiers supprimés de la version distante [5].
à la fin, ils vous indique les sites dont la sauvegarde a échoué. Ils ne vous indique pas plus en détails les causes de l'échec, mais les informations sont indiqués plus haut, dans les messages affichés au cour de l'exécution.

Pour ma part, je lance le script tous les matins en arrivant au travail, et je me suis créé un alias bash.

Limites

Script non conçu pour Windows. En particulier je me base sur l'hypothèse que les chemins de fichiers sont indiqués avec des / et non des \.
Si vous demandez à récupérer par FTP un dossier qui n'existe pas, vous récupérez l'ensemble du site.
Si votre mdp FTP a changé, il vous faut le supprimer dans le trousseau d'accès. Il est enregistré avec un titre sous la forme : sauvegarde login@serveur.

Ce script est beaucoup plus simple et puissant que mon précédent, que je n'avais osé publier, même si j'en avais donné des prémisses.

[1] Pour Windows, je n'en sais fichtre rien.

[2] De toute façon il faudra le faire pour lancer mon script.

[3] Auquel je ne comprend rien.

[4] Ou cloner le projet depuis Github.

[5] Encore une fois, mon script est simple : pour avoir un historique du site, on s'appuiera sur le système de sauvegarde local.

Du Thesaurus Linguae Graecae à LaTeX

Maïeul — 2013-04-29T14:00:48Z

Mon script permettant d'adapter des textes extraits du Thesaurus Linguae Graecae à LaTeX a été amélioré avec l'aide de Annette von STOCKHAUSEN.

Outre des nouvelles fonctionnalités, il est désormais configurable. Le présent article a pour vocation à devenir la documentation « officielle » du script à partir de sa version 2.0 [1].

Exemple

J'ai extrait du site TLG le texte suivant [2] :

 Ἔκαμεν ὁ λόγος, τοῦτον τὸν θεσπέσιον καὶ τριπόθητον
Βαρνάβαν τὸν ἀπόστολον ἐπᾶραι τοῖς ἐγκωμίοις ποθῶν,
καὶ οὔπω ἥψατο τοῦ προοιμίου· τοῖς γὰρ ἐπαίνοις ἀπρό-
σιτος τυγχάνει ὁ θαυμάσιος. Διὸ ἀφέντες ὡς ἀνέφικτον (135)
τὸν περὶ τῶν ἐγκωμίων λόγον, ὀλίγα τῶν εἰς ἡμᾶς
ἰόντων περὶ τῆς τούτου βιώσεως καὶ τελειώσεως ἔκ τε
τοῦ Στρωματέως καὶ ἐξ ἑτέρων ἀρχαίων συγγραμμάτων
παραθήσομαι τῇ ὑμετέρᾳ ὁσιότητι, καὶ οὕτω τὸ πέρας
ἐπιθήσομεν τῷ διηγήματι, παραχωρήσαντες τῇ θεοπνεύστῳ (140)
Γραφῇ τοῦ ἀοιδίμου τὴν κεφαλὴν μεγαλοπρεπῶς στε-
φανῶσαι· φησὶ γάρ· “Ἦν δὲ Βαρνάβας ἀνὴρ ἀγαθὸς καὶ
πλήρης Πνεύματος ἁγίου καὶ πίστεως.” Οὗ τί ἂν γένοιτο
ἴσον ἢ παραπλήσιον πώποτε;

Je souhaiterais :

faire disparaître les numéros de ligne
transformer les guillemets en utilisant la commande \csquotes à la place.
supprimer les césures, puisque LaTeX se charge tout seul d'en mettre.

Voici le résultat souhaité :

Ἔκαμεν ὁ λόγος, τοῦτον τὸν θεσπέσιον καὶ τριπόθητον
Βαρνάβαν τὸν ἀπόστολον ἐπᾶραι τοῖς ἐγκωμίοις ποθῶν,
καὶ οὔπω ἥψατο τοῦ προοιμίου· τοῖς γὰρ ἐπαίνοις ἀπρό%
σιτος τυγχάνει ὁ θαυμάσιος. Διὸ ἀφέντες ὡς ἀνέφικτον τὸν περὶ τῶν ἐγκωμίων λόγον, ὀλίγα τῶν εἰς ἡμᾶς
ἰόντων περὶ τῆς τούτου βιώσεως καὶ τελειώσεως ἔκ τε
τοῦ Στρωματέως καὶ ἐξ ἑτέρων ἀρχαίων συγγραμμάτων
παραθήσομαι τῇ ὑμετέρᾳ ὁσιότητι, καὶ οὕτω τὸ πέρας
ἐπιθήσομεν τῷ διηγήματι, παραχωρήσαντες τῇ θεοπνεύστῳ Γραφῇ τοῦ ἀοιδίμου τὴν κεφαλὴν μεγαλοπρεπῶς στε%
φανῶσαι· φησὶ γάρ· \enquote{Ἦν δὲ Βαρνάβας ἀνὴρ ἀγαθὸς καὶ
πλήρης Πνεύματος ἁγίου καὶ πίστεως.} Οὗ τί ἂν γένοιτο
ἴσον ἢ παραπλήσιον πώποτε;

Je me sert pour cela du script Python joint.

Dernière version stable du script TLG2LaTeX

Utilisation (tutoriel)

Dans le TLG, afficher le texte sans les « Beta Escape » (dans la colonne de gauche, le menu déroulant « Beta Escape » mis à « None »).
Le copier dans un fichier nom.txt.
Avoir Python 3 ou plus installé sur sa machine.
Récupérer le zip joint, le décompresser, et mettre les deux fichiers .py à côté du fichier nom.txt
Avec son terminal, se rendre dans le dossier du fichier et frapper python3 tlg2latex.py nom.txt.
Un fichier normalise_nom.txt apparaît à côté : il contient le code utilisable dans LaTeX.

Nouvelles fonctionnalité de la version 2.0 [3]

Possibilité de configurer le script.
Possibilité de normaliser un fichier situé dans un autre dossier.
Gestion des élisions, pour éviter de confondre les signes d'élisions avec les guillemets ouvrants.
Prototype de gestion des numéros de chapitres et de paragraphes.
Possibilité de normaliser l'encodage unicode.
Ajout de jeu de test.
Standardisation du code.

Options de configuration

Le fichier de configuration config.py est à placer à côté du script.

Il se compose de ligne sous la forme :

option = valeur

L'ensemble des options sont listées dans default.py. Les valeurs peuvent être :

Des chaînes, mise entre guillemet anglais "chaîne".
Des tuples, ou listes, selon la syntaxe : ("chaîne1","chaîne2","chaîne...","chaînen").
Des chaînes pour remplacement d'expressions régulières [4], sous la forme : r« chaînes ».
Une valeur booléenne : False ou True

Les options se divisent en deux catégories :

Celles pour interpréter le fichier en entrée.
Celles pour régler le fichier en sortie.

Liste des options pour le fichier en entrée
Option	Explication	Valeur par défaut	Introduit dans la version
`hyphen`	Traits de césure	`("‑","-")`	2.0
`line_number_r`	Expression régulière pour décoder les numéros de lignes	`"\([0-9]*\)"`	2.3. Entre 2.0 et 2.3 était `line_number`.
`ellipsis`	Expression régulière pour repérer les ellisions	`"(([γδ(δι)θλμπρτφ(ἵν)])"`	2.0. Modifié en 2.6.
`begin_quote_r`	Expression régulière pour repérer les guillemets ouvrants	`"[‘“«]"`	2.0
`end_quote_r`	Expression régulière pour repérer les guillemets fermants	`"['”»]"`	2.0
`paragraph_r`	Expression régulière pour repérer les numéros de paragraphe	`"\((\w+?)\.\) "`	2.0
`chapter_r`	Expression régulière pour repérer les numéros de chapitre	`"(\d+?\.)"`	2.0
`ndash_r`	Expression régulière pour repérer les tirets demi-cadratins	`"—"`	2.1
`begin_insert_r`	Expression régulière pour repérer le début des insertions.	`"<"`	2.2
`end_insert_r`	Expression régulière pour repérer la fin des insertions.	`">"`	2.2
`par_break_r`	Expression régulière pour repérer le début des nouveaux paragraphes.	`"^( )"`	2.2
`empty_line_r`	Lignes vides	`("","\r","\n")`	2.2
`before_stanza_r`	Ligne indiquant un début de poésie.	`" \n"`	2.5
`after_stanta_r`	Ligne indiquant une fin de poésie.	`" \n"`	2.5

Liste des options pour le fichier en sortie
Option	Explication	Valeur par défaut	Introduit dans la version
`begin_quote_w`	Guillemets ouvrants	`"\enquote{"`	2.0
`end_quote_w`	Guillemets fermants	`"}"`	2.0
`paragraph_w`	Chaîne pour remplacement d'expression régulière indiquant le numéro de paragraphe	`r"\\marginnote{\1}"`	2.0
`chapter_w`	Chaîne pour remplacement d'expression régulière indiquant le numéro de chapitre	`r"\n\\textbf{\1}"`	2.0
`unicode_normalize`	Indique le type de normalisation unicode à mettre en œuvre. Les valeurs possibles sont : `False` : pas de normalisation ; `"NFC"` : utilise les formes unitaires des caractères ; `"NFKC"` : utilise les formes unitaires des caractères et remplace les caractères « équivalents ». Par exemple le caractère unicode `U+216C` indiquant le chiffre romain `Ⅼ` (50) est remplacé par son « équivalent » `U+004C`, indiquant la lettre latine `L` ; `"NFD"` utilise les formes composées des caractères ; `"NFKD"` utilise les formes composées des caractères et remplace les caractères « équivalents »	`False`	2.0
`ellipsis_back`	Symbole d'élision	`"'"`	2.0
`ndash_w`	Tiret demi-cadratin	`"--"`	2.1
`begin_insert_w`	Début d'une insertion	`r"\\textins{"`	2.2
`end_insert_w`	Fin d'une insertion	`"}"`	2.2
`empty_line_w`	Ligne vide	`"\n"`	2.2
`line_number_w`	Chaîne pour remplacement d'expression régulière indiquant le numéro de ligne.	`""`	2.3
`last_regexp`	Série d'expression régulière et de chaîne de remplacement à appliquer au tout dernier moment. Par exemple j'utilise : `[ ("\s+(,\|·\|\.\|˙\|;)",r"\1"), ("·","˙"), (";",";") ]` l. 2 : évite les espaces avant les signes de ponctuations. l. 3 : remplace les points du milieu par des points en haut. l. 4 : remplace les points-virgules (`U+003B`) par des points d'interrogation grecs (`U+037E`).	`False`	2.4
`before_stanza_w`	Code de début de poésie.	`\stanza`	2.5
`after_stanza_w`	Code de fin de poésie.	`"\&"`	2.5
`between_stanza_w`	Code entre chaques vers.	`"&"`	2.5

Ce script est sous licence GPL 3. Ses auteurs sont :

Maïeul ROUQUETTE
Annette von STOCKHAUSEN

Il est disponible sur Github.

[1] On nous excusera par conséquent le caractère redondant de certaines parties de l'article.

[2] Il s'agit d'un extrait d'une louange à l'apôtre Barnabé.

[3] Comprend les nouveautés de la version 1.1.

[4] Pour comprendre les expression régulières, on pourra lire le tutoriel de la documentation de Python.

Normalisation des caractères unicode et typographie

Maïeul — 2013-04-29T09:19:22Z

La norme unicode permet d'encoder la quasi totalité des caractères existants sur Terre [1]. Elle possède certaines subtilités, qui peuvent être problématique avec certaines polices. Parmi ces subtilités, le fait qu'un même caractère puisse se noter de plusieurs manières... mais que les polices peuvent ne pas comprendre qu'il s'agit du même caractère.

Pour éviter ces problèmes, une solution est de normaliser les caractères. Voici un script permettant de le faire.

Explication et exemple

La norme Unicode, comme tous les jeux de caractères, affecte un numéro à chaque caractère. Cependant il existe des caractères dit « composés » qui peuvent soit avoir un numéro unique, soit s'encoder comme une suite de caractère.

Prenons par exemple le caractère grec « Alpha avec iota souscrit ». Il y a de manière de le noter en unicode :

avec le caractère « GREEK SMALL LETTER ALPHA WITH YPOGEGRAMMENI », dont le code unicode est U+1FB3, ce qui donne ᾳ.
avec le caractère « GREEK SMALL LETTER ALPHA », dont le code unicode est U+03B1, suivi du caractère « COMBINING GREEK YPOGEGRAMMENI », dont le code unicode est U+0345, ce qui donne ᾳ.

Typiquement, si avec votre clavier vous frappez le iota souscrit avant le alpha, vous utilisez la première solution, et si vous le frappez après le alpha, vous utilisez la seconde solution.

En théorie, les polices sont censées rendre la même chose... cependant cela ne fonctionne pas toujours très bien.

Ainsi prenons la police Linux Libertine.

Voici ce qu'elle affiche, pour le moment, selon les deux manières d'encoder.

Deux manières d'encoder un alpha avec iota souscrit ... deux affichages différents

Résolution du problème

La norme unicode prévoit des formes normalisées. Les plus courantes sont :

NFC, qui compose les caractères. Ainsi, si on applique cette normalisation, U+03B1 U+0345 devient U+1FB3.
NFD, qui décompose les caractères. Ainsi, si on applique cette normalisation, U+1FB3 devient U+03B1 U+0345.

En général, pour avoir le meilleur rendu typographique, il faut préférer la forme NFC [2].

On peut le faire à deux niveaux :

soit au niveau du fichier même, en appliquant un script qui normalise les formes, par exemple celui que j'ai déposé sur github. Cependant, cela implique de penser à exécuter le script avant la compilation, ce qui n'est guère pratique.
soit au niveau de XeTeX, en utilisant la commande \XeTeXinputnormalization, suivi d'un numéro :
- 1 pour appliquer NFC
- 2 pour appliquer NFD.

Si on met en place cette commande, le fichier n'est pas modifié, mais XeTeX fera dynamiquement les modifications.

Ainsi, dans le cas présent, nous pouvons mettre :

\documentclass{article} \usepackage{fontspec,polyglossia,xunicode} \setmainfont{Linux Libertine O} \usepackage[margin=0.1cm,a4paper]{geometry} % juste pour l'exemple, histoire de ne pas couper la ligne \XeTeXinputnormalization 1 \begin{document} ᾳ GREEK SMALL LETTER ALPHA (U+03B1) + COMBINING GREEK YPOGEGRAMMENI (U+0345) ᾳ GREEK SMALL LETTER ALPHA WITH YPOGEGRAMMENI (U+1FB3) \end{document}

Deux manières d'encoder un alpha avec iota souscrit ... deux affichages identiques

[1] Il reste même en théorie de la place pour les caractère extra-terrestres.

[2] En effet, les auteurs de polices de caractères commencent généralement par prévoir les formes unitaire plutôt que composés.

Du Thesaurus Linguae Graecae vers LaTeX

Maïeul — 2013-04-11T10:22:07Z

Le Thesaurus Linguae Graecae est un outils indispensable pour les hellénistes. L'un de ses avantages est de permettre de copier-coller facilement des textes grecs vers son travail, s'évitant ainsi la fastidieuse tâche de retranscription, avec toutes les erreurs que cela implique.

Cependant le texte tel qu'il est fourni n'est pas utilisable tel quel : il nécéessite quelques retouches. Voici un script permettant d'automatiser certaine d'entre elle, afin de pouvoir utiliser le texte avec LaTeX.

Exemple

J'ai extrait du site TLG le texte suivant [1] :

 Ἔκαμεν ὁ λόγος, τοῦτον τὸν θεσπέσιον καὶ τριπόθητον
Βαρνάβαν τὸν ἀπόστολον ἐπᾶραι τοῖς ἐγκωμίοις ποθῶν,
καὶ οὔπω ἥψατο τοῦ προοιμίου· τοῖς γὰρ ἐπαίνοις ἀπρό-
σιτος τυγχάνει ὁ θαυμάσιος. Διὸ ἀφέντες ὡς ἀνέφικτον (135)
τὸν περὶ τῶν ἐγκωμίων λόγον, ὀλίγα τῶν εἰς ἡμᾶς
ἰόντων περὶ τῆς τούτου βιώσεως καὶ τελειώσεως ἔκ τε
τοῦ Στρωματέως καὶ ἐξ ἑτέρων ἀρχαίων συγγραμμάτων
παραθήσομαι τῇ ὑμετέρᾳ ὁσιότητι, καὶ οὕτω τὸ πέρας
ἐπιθήσομεν τῷ διηγήματι, παραχωρήσαντες τῇ θεοπνεύστῳ (140)
Γραφῇ τοῦ ἀοιδίμου τὴν κεφαλὴν μεγαλοπρεπῶς στε-
φανῶσαι· φησὶ γάρ· “Ἦν δὲ Βαρνάβας ἀνὴρ ἀγαθὸς καὶ
πλήρης Πνεύματος ἁγίου καὶ πίστεως.” Οὗ τί ἂν γένοιτο
ἴσον ἢ παραπλήσιον πώποτε;

Je souhaiterais :

faire disparaître les numéros de ligne
transformer les guillemets en utilisant la commande \csquotes à la place.
supprimer les césures, puisque LaTeX se charge tout seul d'en mettre.

Voici le résultat souhaité :

Ἔκαμεν ὁ λόγος, τοῦτον τὸν θεσπέσιον καὶ τριπόθητον
Βαρνάβαν τὸν ἀπόστολον ἐπᾶραι τοῖς ἐγκωμίοις ποθῶν,
καὶ οὔπω ἥψατο τοῦ προοιμίου· τοῖς γὰρ ἐπαίνοις ἀπρό%
σιτος τυγχάνει ὁ θαυμάσιος. Διὸ ἀφέντες ὡς ἀνέφικτον τὸν περὶ τῶν ἐγκωμίων λόγον, ὀλίγα τῶν εἰς ἡμᾶς
ἰόντων περὶ τῆς τούτου βιώσεως καὶ τελειώσεως ἔκ τε
τοῦ Στρωματέως καὶ ἐξ ἑτέρων ἀρχαίων συγγραμμάτων
παραθήσομαι τῇ ὑμετέρᾳ ὁσιότητι, καὶ οὕτω τὸ πέρας
ἐπιθήσομεν τῷ διηγήματι, παραχωρήσαντες τῇ θεοπνεύστῳ Γραφῇ τοῦ ἀοιδίμου τὴν κεφαλὴν μεγαλοπρεπῶς στε%
φανῶσαι· φησὶ γάρ· \enquote{Ἦν δὲ Βαρνάβας ἀνὴρ ἀγαθὸς καὶ
πλήρης Πνεύματος ἁγίου καὶ πίστεως.} Οὗ τί ἂν γένοιτο
ἴσον ἢ παραπλήσιον πώποτε;

Je me sert pour cela du script Python joint.

Utilisation

Dans le TLG, afficher le texte sans les « Beta Escape » (dans la colonne de gauche, le menu déroulant « Beta Escape » mis à « None »).
Le copier dans un fichier nom.txt.
Avoir Python 3 ou plus installé sur sa machine.
Mettre le script joint à côté du fichier.
Avec son terminal, se rendre dans le dossier du fichier et frapper python3 tlg2latex.py nom.txt.
Un fichier normalise_nom.txt apparaît à côté : il contient le code utilisable dans LaTeX.

À faire

Tout les cas possibles ne sont sans doute pas encore pris en compte. J'attend vos avis, ou même vos améliorations directes.

Le code est disponible sur Github, sous Licence GPL3 : https://github.com/maieul/tlg2latex

[1] Il s'agit d'un extrait d'une louange à l'apôtre Barnabé.

Un index des sources primaires (3)

Maïeul — 2011-01-26T22:59:20Z

J'avais proposé il y a peu une méthode pour indexer les sources primaires en deux articles [1].

Je n'étais pas très satisfait de ce que j'avais fait, voici une meilleure méthode.

Limites de la précédente méthode

Pas d'indexation de l'endroit précis.
Un code Python qui analyse un fichier de BibTex avec un module externe :
- Complexe à maintenir.
- Complexe à personnaliser.
- Mal codé, et truffé de bugs potentiels liés à toutes les subtilités du format .bib que je ne maîtrise pas encore parfaitement.

Nouvelle méthode : le principe

Chaque fois qu'une source primaire est citée [2], on indexe dans un fichier d'indexation :

l'auteur, à partir du champ Namea, sinon du champ Author
le titre, à partir du champ indextitle, sinon à partir du champ title
éventuellement la page, à partir de la valeur du paramètre postnote quand on cite [3], sinon à partir du champ pages.
Une fausse entrée ---

Puis le script Python est exécuté pour lire le fichier d'indexation. Les fausses entrées vont lui permettre de délimiter les les blocs de références, et de les concaténer en un seul morceau.

Par exemple, LaTex + BibLaTex produit, grâce à mes commandes, dans mon fichier d'indexation :

\indexentry {Pseudo-Augustin}{1}
\indexentry {Sermon \incipit {Fratres carissimi, unum rei documentum} (Caillau \cRM {2}, 27)}{1}
\indexentry {4}{1}
\indexentry {---}{1}

Après passage du script Python, j'obtiens à la place :

\indexentry {Pseudo-Augustin@Pseudo-Augustin!Sermon \incipit {Fratres carissimi, unum rei documentum} (Caillau \cRM {2}, 27)@Sermon \incipit {Fratres carissimi, unum rei documentum} (Caillau \cRM {2}, 27)!4@4}{1}

qui sera automatiquement inteprété par MakeIndex.

Notez que le script s'occupe tout seul de supprimer les accents pour choisir l'entrée [4].

Les avantages

Pas besoin de relire le fichier de bibliographie avec Python.
La majeure partie du traitement est laissé à LaTex.
Pas besoin d'un module Python spécifique.
Concrètement

Il faut mettre ce code dans son fichier .tex [5].

\renewbibmacro{citeindex}{%
\iffieldequalstr{usera}{1}{ \ifciteindex{% %Index l'auteur \ifnameundef{namea}{% \indexnames[sources]{author}}% {\indexnames[sources]{namea}} \iffieldundef{indextitle}{% \indexfield[sources]{title}% }% {% \indexfield[sources]{indextitle}% }% \iffieldundef{postnote}{ \indexfield[sources]{pages}}% {\indexfield[sources]{postnote}}% }{}% \index[sources]{---} }{}
}
\DeclareIndexNameFormat{sources}{% \usebibmacro{index:name}{\index[sources]}{#1}{#3}{#5}{#7}%
}% \DeclareIndexFieldFormat{sources}{% \index[sources]{#1}%
}

J'ai choisi d'utiliser le champ usera pour signaler si on a affaire à une source.

Il faut également déclaré qu'on souhaite un index spécial :

\usepackage{index}
\makeindex
\newindex{sources}{sox}{sod}{Index des sources}

Ensuite, il suffit d'utiliser le script Python ci-joint.

Pour cela :

avoir Python installé (c'est le cas avec la plupart des distribs Linux et avec OsX)
placer le script à côté du fichier principal et du fichier d'indexation (qui normalement sont au même endroit).
se rendre avec l'invite de commande dans le dossier
exécuter la commande suivante : % python index2.py [6].

Et ce après avoir compilé une premier fois en LaTeX, puis en BibTeX, puis en LaTeX.

[1] Un index des sources primaires (1) et Un index des sources primaires (2)

[2] Je ne trouve pas utile d'indexer les sources secondaires.

[3] Du coup, on ne peut pas mettre autre chose que le numéro, mais je ne pense pas que cela soit limitatif pour les sources primaires.

[4] Oui, bon, ici il n'y a pas d'accent

[5] Et non pas dans le fichier .bbx, comme je viens de le découvrir.

[6] Le % indique l'invite de commande.

Un correcteur typographique pour la Library of Latin Texts

Maïeul — 2011-01-21T23:05:00Z

La Library of Latin Texts est un outils très utile pour les chercheurs en histoire latinophone antique et en histoire médievale occidentale. Elle met à disposition des éditions de texte sous forme informatique, avec possibilité de faire des recherches avec de nombreux jokers [1].

Surtout, elle permet d'éviter d'avoir à recopier les textes soit même sur son ordinateur, et évite ainsi les fautes de frappes. Pourtant elle souffre d'un soucis : la typographie suit les conventions anglo-saxonnes, et non pas françaises.

Voici un script Python qui corrige cela [2].

Ce que fait le script

Le script ouvre un texte et le modifier de tel sorte que :

Les espaces blancs soient supprimés en début et fin de ligne.
Les majuscules soit restaurées après les !?.
Les signes de ponctuations doubles !;;? aient un espace avant.

Ce que ne fais pas le script

Ni le café, ni la traduction ... ni surtout le remplacement des u par des v aux endroits nécessaires, pour la simple raison que je ne connais pas la règle générale.

Comment s'en servir

Avoir Python installé sur son ordinateur.
Mettre les fichiers à corriger à côté du script.
Se rendre avec la console / le terminal dans le script.
Faire python normalisetypoLLTA.py fichier1 fichier2 fichier... fichiern.

Attention : aucun fichier ne doit s'appeler test. En effet, faire python normalisetypoLLTA.py test sert pour faire les tests unitaires lors du développement du script.

Le script indique si des fichiers posent problème.

Le code est désormais sur Github.

[1] C'est pourquoi il est à regretter que la Patrologie Latine de Migne ne soit pas dessus, mais c'est une autre question.

[2] Il est sous la même licence que l'ensemble du site.

Un index des sources primaires (2)

Maïeul — 2011-01-14T11:04:44Z

Suite de mon précédent article sur la manière de faire un index des sources primaires en LaTex.

J'explique comment se servir du script Python que j'ai développé [1].

[Mise à jour : j'ai trouvé une solution bien meilleure. En conséquent, cette contribution est obsolète.]

Utilisation du script : installation des paquets Python

Il faut avoir Python installé sur son ordinateur. Il est livré en standard sous MacOs, et je pense dans la plupart des distributions Linux.

Pour Windows, c'est par là : http://www.python.org/download/windows/.

Il faut ensuite installer le paquet zbibtex.

Pour ce faire :

récupérer le fichier .gz, le décompresser.
avec la console de commande (le Terminal sous MacOs), se rendre dans le dossier correspondant.
taper python setup.py install, voire sudo python setup.py install pour avoir les droits d'administrateur.

Bien !

Utilisation du script : organisation du fichier `.bib`

Le script indexera avec comme entrée principale l'auteur, et comme entrée secondaire le titre.

Pour l'auteur, il prendra la valeur du champ userb et, à défaut, celle du champ author. Pour le titre, il prend le champ indextitle et, à défaut, le champ title.

Il faut installer le script .py à côté du fichier LaTex source. Ce script ne fonctionne, évidemment, que si vous avez mis en œuvre la première étape, l'étape LaTex, décrite dans mon article précédent.

Par ailleurs les clefs de référence bibliographique ne doivent contenir que des caractères alphanumériques : pas de signe de ponctuation, de tirer ou autre. Sinon cela fait planter le script ...

Enfin votre fichier doit être encodé en unicode, et utilisé les accents unicodes, et non pas les pseudo accents LaTex [2].

Utilisation du script : personnalisation des variables

Ouvrez le fichier avec un éditeur de texte. Vous trouverez les lignes suivantes.

#### definition des constante
modification = [('biblio.bib','principal.sox','principal.sod'),('biblio.bib','principal.sex','principal.sed')]

Chaque série entre parenthèses correspond à un index différent. La première valeur correspond au fichier .bib. La seconde au fichier produit par la première compilation de LaTex. La troisième à celui utilisé par la seconde compilation, et produit par la compilation avec MakeIndex.

Ainsi, si votre fichier père s'appelle main.tex, que votre fichier de bibliographie s'appelle bibliographie.bib, et que pour la déclaration des index vous avez mis dans votre en-tête latex :

\usepackage{index}
\makeindex
\newindex{sources}{pmx}{pmd}{Index des sources}
\newindex{secondaires}{bix}{bid}{Index des études}

Il faudra que vous mettiez

#### definition des constante
modification = [('bibliographie.bib','main.pmx','main.pmd'),('bibliographie.bib','mainbix','main.bid')]

Ensuite, avec votre invite de commande, après la première compilation LaTex du fichier principal, faite :python index.py

Cela va lire les fichiers d'index, les modifier pour insérer une indexation correcte, puis les compiler avec MakeIndex. Inutile donc de compiler ensuite avec MakeIndex.

L'insertion sera de la forme : \textsc{Nom}, Prénoms (particule), suffixe!titre Important : en revanche, il sera nécessaire de passer par cette étape après chaque compilation LaTex du fichier principal. En effet, chaque compilation remplace le fichier auxiliaire.

Il vous reste ensuite à recompiler avec LaTex le fichier principal. Et voilà, vous obtiendrez un index des sources, trié par auteur puis par titre.

J'ai longtemps hésité : fallait-il classer dans la rubrique LaTex ou dans la rubrique Python ? Comme cela concernait un besoin LaTexien, j'ai choisi de mettre cela dans la rubrique LaTex.

Ce script est soumis à la même licence que l'ensemble du site, à savoir Creative Common, pas d'utilisation commerciale, paternité, partage des conditions initiales à l'identique.

[1] Pour les Pythoniens, j'espère avoir mis assez de commentaires dans le fichier.

[2] Dans BibDesk c'est une option à cocher dans les préférences

Récupérer un répertoire par FTP

Maïeul — 2011-01-03T20:06:54Z

Pour sauvegarder régulièrement mes sites web, j'utilise un script Python personnel. Une des étapes consiste à récupérer des fichier sur un serveur FTP. Comme j'ai eu un peu de mal à comprendre comment fonctionne le module FTP de Python, je vous livre ici ma solution.

J'ai décidé de créer une nouvelle classe ftp_perso qui contiendra un ensemble de méthode. [1] Dérivée de la classe FTP elle devrait permettre :

de lister récursivement le contenu d'un répertoire.
de récupérer récursivement le contenu d'un répertoire.

Un problème qui s'est posé est que tous les serveurs FTP ne renvoient pas le même type de chemin : certains renvoient un chemin depuis la racine, d'autres se contentent d'indiquer le nom du répertoire courant.

Pour résoudre cela, à l'initialisation d'une instance de classe, un attribut d'objet est calculé. self.hierarchie : selon sa valeur, le parcours récursif ne sera pas effectué de la même manière, car il ne faudra pas envoyer les mêmes requêtes au serveur.

Par ailleurs certains listent les dossiers . et .. lorsqu'on envoie une commande ls. Comme il s'agit du répertoire courant et du répertoire parent, il ne faut pas les utiliser lorsqu'on parcourt récursivement, sinon on tourne. J'ai donc défini un attribut de d'objet, avec une valeur standard mais pouvant prendre de nouvelles valeurs à l'initialisation d'une instance : self.faux_reps, qui contient la liste des dossiers à ne pas parcourir.

Enfin, il n'est pas toujours évident de savoir si un fichier est un répertoire (dossier) ou nom : j'ai donc défini une méthode is_dir(self, file) que j'appelle sur chaque fichier avant de tenter d'y entrer comme un répertoire.

Au final j'ai donc :

une méthode is_dir() à usage interne.
une méthode lister_repertoire(self,rep='',niveau=0) qui permet de lister récursivement un répertoire. Cette méthode s'appelle elle même, d'où l'argument niveau.
une méthode rapatrier_repertoire(self,chemin_local='.',rep='',niveau=0) qui permet de récupérer un répertoire distant en local.

class ftp_perso(FTP): ''' Reprend la class FTP de ftplib en rajoutant le listage récursive d'un répertoire et la récupération de l'ensemble du contenur d'un répertoire''' def __init__(self,host,user,mdp,faux_dossiers=()): FTP.__init__(self,host,user,mdp) self.mkd('pyftptest') self.mkd('pyftptest/pyftptest') self.hierarchie=self.nlst('pyftptest') self.rmd('pyftptest/pyftptest') self.rmd('pyftptest') self.faux_reps = ('..','.','.ok','article_PDF') + faux_dossiers if len(self.hierarchie) > 1: from string import find if find(self.hierarchie[2],'/') > -1: self.hierarchie = '/' else: self.hierarchie = '' else: self.hierarchie = '/' def lister_repertoire(self,rep='',niveau=0): from string import rfind contenu = self.nlst(rep) if self.hierarchie != '/': for i in contenu: if not i in self.faux_reps: print rep+'/'+i if not self.is_dir(rep+'/'+i): print "%sFichier «%s»" % (niveau * "\t", i ) else: print "%s Dossier «%s»" % (niveau * "\t", i ) self.lister_repertoire(rep+'/'+i,niveau=niveau+1) else: for i in contenu: if not i[rfind(i,'/')+1:] in self.faux_reps: if not self.is_dir(i): print "%sFichier «%s»" % (niveau * "\t", i[rfind(i,'/')+1:] ) else: print "%s Dossier «%s»" % (niveau * "\t", i[rfind(i,'/')+1:] ) self.lister_repertoire(i,niveau=niveau+1) def is_dir(self,file): try: courant = self.pwd() self.cwd(file) self.cwd(courant) return True except: return False def rapatrier_repertoire(self,chemin_local='.',rep='',niveau=0): from string import rfind contenu = self.nlst(rep) if self.hierarchie != '/': for i in contenu: if not i in self.faux_reps: print rep + '/' + i if not self.is_dir(rep+'/'+i): if rep!='' and rep[0]!='/': self.retrbinary('RETR '+rep+'/'+i,open(chemin_local+'/'+rep+'/'+i,'wb').write) else: self.retrbinary('RETR '+rep+'/'+i,open(chemin_local+rep+'/'+i,'wb').write) else: if rep!='' and rep[0]!='/': makedirs(chemin_local+'/'+rep+'/'+i) else: makedirs(chemin_local+rep+'/'+i) self.rapatrier_repertoire(chemin_local,rep+'/'+i,niveau=niveau+1) else: for i in contenu: if not i[rfind(i,'/')+1:] in self.faux_reps: print i if not self.is_dir(i): self.retrbinary('RETR '+i,open(chemin_local+'/'+i,'wb').write) else: makedirs(chemin_local+'/'+i) self.rapatrier_repertoire(chemin_local,i,niveau=niveau+1)

Si vous voulez récuperer le code, attention à bien prendre celui dans le lien de téléchargement, sinon vous perdez les indentations.

[1] Si vous trouvez un nom mieux je suis preneur.

Geekographie Maïeulesque

Récupérer les pages d'un livre numérisé en plusieurs images

Pré-requis

Trouver le modèle d'URL

Déterminer les paramètres

Configuration du script

Exécution du script

Paramètre supplémentaire

Automatiser la sauvegarde de son site en local

Objectifs

Outils

Installation et configuration du script

Lancer le script

Limites

Du Thesaurus Linguae Graecae à LaTeX

Exemple

Utilisation (tutoriel)

Nouvelles fonctionnalité de la version 2.0 [3]

Options de configuration

Normalisation des caractères unicode et typographie

Explication et exemple

Résolution du problème

Du Thesaurus Linguae Graecae vers LaTeX

Exemple

Utilisation

À faire

Un index des sources primaires (3)

Limites de la précédente méthode

Nouvelle méthode : le principe

Les avantages

Concrètement

Un correcteur typographique pour la Library of Latin Texts

Ce que fait le script

Ce que ne fais pas le script

Comment s'en servir

Un index des sources primaires (2)

Utilisation du script : installation des paquets Python

Utilisation du script : organisation du fichier .bib

Utilisation du script : personnalisation des variables

Récupérer un répertoire par FTP

Utilisation du script : organisation du fichier `.bib`