Accueil > Python > FTP > Récupérer un répertoire par FTP

Récupérer un répertoire par FTP

lundi 3 janvier 2011, par Maïeul

Pour sauvegarder régulièrement mes sites web, j’utilise un script Python personnel. Une des étapes consiste à récupérer des fichier sur un serveur FTP. Comme j’ai eu un peu de mal à comprendre comment fonctionne le module FTP de Python, je vous livre ici ma solution.

J’ai décidé de créer une nouvelle classe ftp_perso qui contiendra un ensemble de méthode. [1] Dérivée de la classe FTP elle devrait permettre :
– de lister récursivement le contenu d’un répertoire.
– de récupérer récursivement le contenu d’un répertoire.

Un problème qui s’est posé est que tous les serveurs FTP ne renvoient pas le même type de chemin : certains renvoient un chemin depuis la racine, d’autres se contentent d’indiquer le nom du répertoire courant.

Pour résoudre cela, à l’initialisation d’une instance de classe, un attribut d’objet est calculé. self.hierarchie : selon sa valeur, le parcours récursif ne sera pas effectué de la même manière, car il ne faudra pas envoyer les mêmes requêtes au serveur.

Par ailleurs certains listent les dossiers . et .. lorsqu’on envoie une commande ls. Comme il s’agit du répertoire courant et du répertoire parent, il ne faut pas les utiliser lorsqu’on parcourt récursivement, sinon on tourne. J’ai donc défini un attribut de d’objet, avec une valeur standard mais pouvant prendre de nouvelles valeurs à l’initialisation d’une instance : self.faux_reps, qui contient la liste des dossiers à ne pas parcourir.

Enfin, il n’est pas toujours évident de savoir si un fichier est un répertoire (dossier) ou nom : j’ai donc défini une méthode is_dir(self, file) que j’appelle sur chaque fichier avant de tenter d’y entrer comme un répertoire.

Au final j’ai donc :
– une méthode is_dir() à usage interne.
– une méthode lister_repertoire(self,rep='',niveau=0) qui permet de lister récursivement un répertoire. Cette méthode s’appelle elle même, d’où l’argument niveau.
– une méthode rapatrier_repertoire(self,chemin_local='.',rep='',niveau=0) qui permet de récupérer un répertoire distant en local.

class ftp_perso(FTP):
	''' Reprend la class FTP de ftplib en rajoutant le listage récursive d'un répertoire et la récupération de l'ensemble du contenur d'un répertoire'''
	def __init__(self,host,user,mdp,faux_dossiers=()):
		FTP.__init__(self,host,user,mdp)
		self.mkd('pyftptest')
		self.mkd('pyftptest/pyftptest')
		self.hierarchie=self.nlst('pyftptest')
		self.rmd('pyftptest/pyftptest')
		self.rmd('pyftptest')
		self.faux_reps = ('..','.','.ok','article_PDF') + faux_dossiers
		if len(self.hierarchie) > 1:
			
			from string import find
			if find(self.hierarchie[2],'/') > -1:
				self.hierarchie = '/'
			else:
				self.hierarchie = ''
		else:
			self.hierarchie = '/'
	def lister_repertoire(self,rep='',niveau=0):
		from string import rfind
		contenu = 	self.nlst(rep)
		
		if self.hierarchie != '/':
			for i in contenu:
				if not i in self.faux_reps:
					print rep+'/'+i
					if not self.is_dir(rep+'/'+i):
						print "%sFichier «%s»" %  (niveau * "\t", i )
					else:
						print "%s Dossier «%s»" %  (niveau * "\t", i )
						self.lister_repertoire(rep+'/'+i,niveau=niveau+1)
		else:
			for i in contenu:
				if not i[rfind(i,'/')+1:] in self.faux_reps:
					if not self.is_dir(i):
						print "%sFichier «%s»" %  (niveau * "\t", i[rfind(i,'/')+1:] )
					else:
						print "%s Dossier «%s»" %  (niveau * "\t", i[rfind(i,'/')+1:] )
						self.lister_repertoire(i,niveau=niveau+1)
	
	def is_dir(self,file):
		try:
			courant = self.pwd()
			self.cwd(file)
			self.cwd(courant)
			return True
		except:
			return False
	
	def rapatrier_repertoire(self,chemin_local='.',rep='',niveau=0):
		from string import rfind
		contenu = self.nlst(rep)
		if self.hierarchie != '/':
			for i in contenu:
				if not i in self.faux_reps:
					print rep + '/' + i
					if not self.is_dir(rep+'/'+i):
						if rep!='' and rep[0]!='/':
							self.retrbinary('RETR '+rep+'/'+i,open(chemin_local+'/'+rep+'/'+i,'wb').write)
						else:
							self.retrbinary('RETR '+rep+'/'+i,open(chemin_local+rep+'/'+i,'wb').write)
					else:
						
						if rep!='' and rep[0]!='/': 
							makedirs(chemin_local+'/'+rep+'/'+i)
						else:
							makedirs(chemin_local+rep+'/'+i)
						
						self.rapatrier_repertoire(chemin_local,rep+'/'+i,niveau=niveau+1)
		else:
			for i in contenu:
				if not i[rfind(i,'/')+1:] in self.faux_reps:
					print i
					if not self.is_dir(i):
						self.retrbinary('RETR '+i,open(chemin_local+'/'+i,'wb').write)
					else:
						makedirs(chemin_local+'/'+i)
						self.rapatrier_repertoire(chemin_local,i,niveau=niveau+1)

Si vous voulez récuperer le code, attention à bien prendre celui dans le lien de téléchargement, sinon vous perdez les indentations.

[1] Si vous trouvez un nom mieux je suis preneur.

Récupérer un répertoire par FTP

Un message, un commentaire ?