This shows you the differences between two versions of the page.
sde:laboratoare:03 [2020/03/03 19:12] diana.ghindaoanu |
— (current) | ||
---|---|---|---|
Line 1: | Line 1: | ||
- | ====== TP 3 - Fonctions d'entrée et sortie ====== | ||
- | ===== Documents d'aide ===== | ||
- | |||
- | * [[https://www.slideshare.net/alexandruradovici/sde-tp-3-fonctions-dentre-et-sortie | Diapositifs]] | ||
- | * [[http://elf.cs.pub.ro/so/res/laboratoare/lab02-refcard.pdf | lab02-refcard.pdf]] | ||
- | |||
- | ==== Agréable à lire ==== | ||
- | * TLPI - Chapter 4, ''File I/O: The Universal I/O model'' | ||
- | |||
- | ===== Fichiers. Systèmes de fichiers ===== | ||
- | |||
- | ** Le fichier ** est l’une des abstractions fondamentales dans le domaine des systèmes d’exploitation; L'autre abstraction est le processus. Si le processus résume l'exécution d'une tâche spécifique sur le processeur, le fichier résume les informations persistantes d'un système d'exploitation. Un fichier est utilisé pour stocker les informations nécessaires au fonctionnement du système d'exploitation et aux interactions de l'utilisateur. | ||
- | |||
- | Un ** système de fichiers ** est un moyen d'organiser les fichiers et de les présenter à l'utilisateur. Du point de vue de l'utilisateur, un système de fichiers a une structure hiérarchique de fichiers et de répertoires, commençant par un répertoire racine. L'emplacement d'une entrée (fichier ou répertoire) est défini par un chemin qui répertorie toutes les entrées jusque-là. Ainsi, pour le chemin ''/usr/local/file.txt '', le répertoire racine ''/'' contient un sous-répertoire ''usr'' qui comprend le sous-répertoire ''local'' contenant un fichier file.txt. | ||
- | |||
- | Chaque fichier est donc associé à un nom identifiant, à un ensemble de droits d'accès et à des zones contenant des informations utiles. | ||
- | |||
- | Les systèmes de fichiers pris en charge par les systèmes d'exploitation Unix et Windows sont hiérarchiques. Les systèmes Linux / Unix sont sensibles à la casse ("Données" est différent de "données") et les systèmes Windows ne font pas la distinction entre les casse. | ||
- | |||
- | La hiérarchie du système de fichiers Unix comporte un seul répertoire appelé "racine" et "" / "" dans lequel n’importe quel fichier est localisé (à ne pas confondre avec le répertoire "/ racine", qui est: patrie de privilegiat, root). La liste des chemins de fichiers Unix est une chaîne de noms de répertoires séparés par '' '/' '', suivis du nom du fichier. Il existe également des chemins relatifs au répertoire en cours '' '.' '' Ou au répertoire parent '''..'''. | ||
- | |||
- | {{ :sde:laboratoare:fs-tree.png?nolink&550 |}} | ||
- | Sous Unix, il n'y a pas de différence entre les fichiers du disque local, du CD ou du lecteur réseau. Tous ces fichiers feront partie de la hiérarchie unique du répertoire racine. Cela se fait par 'mount': les systèmes de fichiers seront montés dans l'un des répertoires du système de fichiers racine. | ||
- | |||
- | Il existe plusieurs hiérarchies dans Windows, une pour chaque partition et une pour chaque emplacement réseau. Contrairement à Unix, le délimiteur entre les noms de répertoire dans un chemin et pour les chemins absolus, la hiérarchie doit être spécifiée sous la forme '' C: \ '', '' E: \ '' ou ''<nowiki>\\FILESERVER\myFile</nowiki>'' (pour le réseau). Comme Unix, Windows utilise ''.'' Pour le répertoire actuel et '' '..' '' pour le répertoire parent. | ||
- | |||
- | ===== Opérations sur les fichiers ===== | ||
- | |||
- | Sous Unix, un ** descripteur de fichier ** est un ensemble qui indexe une table avec des pointeurs sur des structures décrivant les fichiers ouverts par un processus. Si un programme est exécuté dans un shell Unix, le processus parent (shell) ouvre pour le processus enfant (le programme) 3 fichiers standard avec des descripteurs de fichier de valeur spéciaux: | ||
- | |||
- | {{ so:laboratoare:standard_filedes.png?300|Descripteurs de fichiers standard}} | ||
- | * ** standard input** (0) - lecture à partir d'une entrée standard (clavier) | ||
- | * ** standard output** (1) - affichage sur la sortie standard (console) | ||
- | * ** standard error** (2) - affichage sur la sortie d'erreur standard (console) | ||
- | |||
- | Un fichier associe le pointeur de fichier qui indique la position actuelle dans le fichier. Le curseur de fichier est un entier représentant le déplacement (décalage) du début du fichier. | ||
- | |||
- | Opérations spécifiques pour travailler avec des fichiers: | ||
- | * ** ouverture / création d'un fichier ** - signifie associer un descripteur de fichier identifié par son nom (''fopen'' (ANSI C), ''open'', ''creat'' (POSIX), ''CreateFile'' (Win32 API))). ([[#Création, ouverture et fermeture de fichiers | Linux]]) | ||
- | * ** fermer un fichier ** - signifie libérer les structures de fichier associées au processus et au descripteur de ce fichier - uniquement s’il n’ya pas d’entrée dans la table des descripteurs fichier qui pointe vers cette structure (''fclose'' (ANSI C), ''close'' (POSIX), ''CloseHandle'' (Win32 API)). ([[#Création, ouverture et fermeture de fichiers | Linux]]) | ||
- | * ** lecture dans un fichier ** - signifie copier un bloc de données dans une mémoire tampon; après la lecture est mis à jour le curseur de fichier (''fread'' (ANSI C), ''read'' (POSIX), ''ReadFile'' (Win32 API)). ([[#Écrire et lire | Linux]]) | ||
- | * ** écriture dans un fichier ** - signifie copier un bloc de données d'un tampon dans un fichier; Ecrire signifie aussi mettre à jour le curseur de fichier (''fwrite'' (ISO C), ''write'' (POSIX), ''WriteFile'' (Win32 API)). ([[#Écrire et lire | Linux]]) | ||
- | * ** positionnement dans un fichier ** - signifie changer la valeur du curseur de fichier; les lectures ou écritures suivantes commenceront à l'emplacement indiqué par ce curseur de fichier (''fseek'' (ANSI C), ''lseek'' (POSIX), ''SetFilePointer'' (Win32 API)). ([[#Positionnement dans un fichier (lseek) | Linux]]) | ||
- | * ** changer les attributs d'un fichier ** - signifie définir les paramètres du fichier ('' fcntl '' (POSIX), SetFileAttributes (Win32 API)). ([[#Opérations spéciales | Linux]]) | ||
- | |||
- | ===== Opérations sur les fichiers sous Linux ===== | ||
- | Pour pouvoir utiliser des fonctions pour la gestion des fichiers en Python, on va importer la bibliotheque [[https://docs.python.org/3/library/os.html|os]]. | ||
- | |||
- | <code bash> | ||
- | import os | ||
- | </code> | ||
- | |||
- | ==== Création, ouverture, fermeture et suppression des fichiers ==== | ||
- | |||
- | === ouverture === | ||
- | |||
- | Pour ouvrir / créer un fichier, utilisez la fonction [[https://docs.python.org/3/library/os.html#os.open|open]]. | ||
- | |||
- | <code python> | ||
- | os.open(path, flags); # ouverture | ||
- | os.open(path, flags, mode); # creation | ||
- | </code> | ||
- | Les valeurs possibles pour //flags// sont: | ||
- | * os.O_RDONLY ouverture seulement pour la lecture | ||
- | * os.O_WRONLY ouverture uniquement pour l'écriture | ||
- | * os.O_RDWR ouverture pour la lecture et l'écriture | ||
- | * os.O_NONBLOCK ne bloque pas l'ouverture ni la disponibilité des données | ||
- | * os.O_APPEND ajouter à chaque écriture | ||
- | * os.O_CREAT crée un fichier s'il n'existe pas | ||
- | * Taille tronquée O_TRUNC à 0 | ||
- | * Erreur os.O_EXCL et * os.O_CREAT si le fichier existe | ||
- | * os.O_SHLOCK obtenir atomiquement un verrou partagé | ||
- | * os.O_EXLOCK obtient atomiquement un verrou exclusif | ||
- | * os.O_NOFOLLOW ne suit pas les liens symboliques | ||
- | * os.O_SYMLINK autorise l'ouverture de liens symboliques | ||
- | * Le descripteur os.O_EVTONLY est demandé pour les notifications d'événement uniquement | ||
- | * os.O_CLOEXEC marque comme proche-sur-exec | ||
- | |||
- | Les valeurs des indicateurs sont représentées par des bits, car elles peuvent être combinées par l'opérateur | (ou sur des bits). | ||
- | <code python> | ||
- | # open a file in write only and delete all its contents (truncate to 0) | ||
- | os. open(pathname, O_WRONLY | O_TRUNC, mode); | ||
- | </code> | ||
- | La valeur de //mode// est représentée par les droits du nouveau fichier créé (en bits). Généralement, un nombre de base de 8 est utilisé. | ||
- | Il a trois chiffres, chacun avec trois bits. | ||
- | ^ r w x ^ r - x ^ r - - ^ | ||
- | | 1 1 1 | 1 0 1 | 1 0 0 | | ||
- | | 7 | 5 | 4 | | ||
- | |||
- | * r - read | ||
- | * w - write | ||
- | * x - execute | ||
- | Chaque chiffre se réfère à: | ||
- | * premier chiffre - permissions de l'utilisateur qui détient le fichier | ||
- | * deuxième chiffre - permissions du groupe contenant le fichier | ||
- | * troisième chiffre - les autorisations des utilisateurs qui ne possèdent pas le fichier et ne font pas partie du groupe qui détient le fichier | ||
- | |||
- | |||
- | === fermeture === | ||
- | La fermeture des fichiers se fait avec [[https://docs.python.org/3/library/os.html#os.close|close]]: | ||
- | <code python> | ||
- | os.close(int fd) | ||
- | </code> | ||
- | |||
- | === unlink === | ||
- | La suppression effective d'un fichier du disque se fait avec [[https://docs.python.org/3/library/os.html#os.unlink|unlink]]: | ||
- | <code python> | ||
- | os.unlink(pathname); | ||
- | </code> | ||
- | |||
- | <note warning> | ||
- | Toutes les fonctions de la bibliothèque os lèvent une exception si l'opération de peuts pas etre effectuée avec succès. Pour traiter ces exceptions, on va utiliser la construction try - except. | ||
- | </note> | ||
- | |||
- | === Exemple === | ||
- | |||
- | Si, par exemple, nous voulons ouvrir le fichier '' in.txt '' pour la lecture et l'écriture, éventuellement le créer, et le fichier '' out.txt '' pour l'écriture, avec des troncatures, nous pouvons utiliser la séquence de code suivante: | ||
- | <code python> | ||
- | import os | ||
- | |||
- | try: | ||
- | fd1 = os.open("in.txt", O_RDWR | O_CREAT, 0644) | ||
- | |||
- | # will fail if out.txt does not exist | ||
- | fd2 = os,open("out.txt", O_WRONLY | O_TRUNC) | ||
- | |||
- | os.close(fd1) | ||
- | |||
- | os.close(fd2) | ||
- | | ||
- | except Exception as e: | ||
- | print ("Error: {}".format (e)) | ||
- | </code> | ||
- | ** Attention ** Une erreur courante est l'omission des droits de création de fichier (0644 dans l'exemple ci-dessus) lorsque l'indicateur O_CREAT ouvert est appelé. | ||
- | |||
- | ==== Lecture et écriture ==== | ||
- | === lecture === | ||
- | La fonction [[https://docs.python.org/3/library/os.html#os.read|read]] est utilisée pour lire maximum ''count'' octets du fichier: | ||
- | <code python> | ||
- | os.read(fd, count) | ||
- | </code> | ||
- | La fonction [[https://docs.python.org/3/library/os.html#os.read|read]] renvoie le nombre d'octets réellement lus, tout au plus "count". Quand elle atteint la fin du fichier, elle renvoieun bytestring vide. | ||
- | |||
- | === écriture === | ||
- | La fonction [[https://docs.python.org/3/library/os.html#os.write|write]] est utilisée pour écrire dans un ficher les données stockées en **str**: | ||
- | <code python> | ||
- | os.write(fd, count) | ||
- | </code> | ||
- | La valeur de retour est le nombre d'octets réellement écrits. Par défaut, il n'est pas garanti que le retour de [[https://docs.python.org/3/library/os.html#os.write|write]] soit terminé. Pour forcer la mise à jour, vous pouvez utiliser [[https://docs.python.org/3/library/os.html#os.fsync|fsync]] ou le fichier peut être ouvert à l'aide de l'indicateur '' O_FSYNC ''. Dans ce cas, il est garanti qu'après chaque écriture le fichier a été mis à jour. | ||
- | |||
- | ** Note **: | ||
- | Pour [[https://docs.python.org/3/library/os.html#os.read|read]], [[https://docs.python.org/3/library/os.html#os.write|write]], il y a les versions [[https://docs.python.org/3/library/os.html#os.pread|pread]], [[https://docs.python.org/3/library/os.html#os.pwrite|pwrite]], qui vous permettent de spécifier un décalage de fichier à partir duquel effectuer l'opération de lecture / écriture. | ||
- | |||
- | ==== Positionnement dans un fichier (lseek) ==== | ||
- | |||
- | === lseek === | ||
- | |||
- | La fonction [[https://docs.python.org/3/library/os.html#os.lseek|lseek]] permet le déplacement du curseur du fichier vers une position absolue ou relative. | ||
- | <code python> | ||
- | os.lseek(fd, offset, whence) | ||
- | </code> | ||
- | Le paramètre "wheece" représente la position relative à partir de laquelle le déplacement est effectué: | ||
- | * '' os.SEEK_SET '' - contre la position de départ | ||
- | * '' os.SEEK_CUR '' - à la position actuelle | ||
- | * '' os.SEEK_END '' - vers la position finale | ||
- | |||
- | ** Remarque ** [[https://docs.python.org/3/library/os.html#os.lseek|lseek]] permet également le positionnement à la fin du fichier. L'écriture dans de telles zones n'est pas perdue, ce qui est obtenu en étant un fichier // void //, une zone // ignorée // - n'est pas allouée au disque. | ||
- | |||
- | ==== Troncature des fichiers ==== | ||
- | Outre la troncature à 0, ce qui peut être fait en appelant '' open '' avec l'indicateur '' O_TRUNC '', vous pouvez spécifier de tronquer un fichier à une taille spécifiée par des appels système [[https://docs.python.org/3/library/os.html#os.ftruncate | ftruncate]] et [[https://docs.python.org/3/library/os.html#os.truncate | truncate]]: | ||
- | \\ | ||
- | <code python> | ||
- | os.ftruncate(fd, length) | ||
- | os.truncate(path, length) | ||
- | </code> | ||
- | Dans le cas de [[https://docs.python.org/3/library/os.html#os.ftruncate|ftrunched]], le paramètre '' fd '' est le fichier descripteur obtenu avec un appel ouvert fournissant l'autorisation d'écriture. Dans le cas de [[https://docs.python.org/3/library/os.html#os.truncate|truncate]], le fichier représenté par '' chemin '' doit avoir le droit d'écriture. | ||
- | |||
- | ==== Exemple d'utilisation des opérations d'E / S === | ||
- | <code python> | ||
- | |||
- | |||
- | import os | ||
- | |||
- | # Print the last 100 bytes from a file | ||
- | |||
- | try: | ||
- | # open file | ||
- | fd = os.open("file.txt", O_RDONLY) | ||
- | |||
- | # set file pointer at 100 characters _before_ the end of the file | ||
- | rc = os.lseek(fd, -100, SEEK_END) | ||
- | |||
- | # read the last 100 characthers | ||
- | msg = os.read(fd, 100) | ||
- | bytes_read = len(msg) | ||
- | |||
- | print ("the last " + bytes_read + " bytes") | ||
- | print (buf.decode("utf-8")) | ||
- | |||
- | # close file | ||
- | os.close(fd) | ||
- | except Exception as e: | ||
- | print ("Error: {}".format (e)) | ||
- | </code> | ||
- | ==== Redirections ==== | ||
- | |||
- | Sous Linux, les redirections sont effectuées à l'aide des fonctions de duplication des descripteurs de fichier [[https://docs.python.org/3/library/os.html#os.dup|dup]] et [[https://docs.python.org/3/library/os.html#os.dup2| dup2]] (notez la différence entre 2 dans les liens précédents): | ||
- | <code python> | ||
- | os.dup(oldfd); | ||
- | os.dup2(oldfd, newfd, inhertable=True) | ||
- | </code> | ||
- | |||
- | Par exemple, pour rediriger la sortie vers le fichier '' output.txt '', deux lignes de code sont requises: | ||
- | <code python> | ||
- | |||
- | try: | ||
- | fd = os.open("output.txt", O_RDWR|O_CREAT|O_TRUNC, 0600) | ||
- | os.dup2(fd, STDOUT_FILENO) | ||
- | except Exception as e: | ||
- | print ("Error: {}".format (e)) | ||
- | </code> | ||
- | |||
- | ===== Exercices ===== | ||
- | |||
- | Pour résoudre le laboratoire, utilisez des clones [[https://www.github.com/upb-fils/sde|repository]]. | ||
- | |||
- | ==== Exercice 1 - redirection (1p) ==== | ||
- | |||
- | Allez dans le répertoire '' 1-redirect '' et regardez le contenu du fichier '' redirect.py ''. | ||
- | |||
- | Exécutez le programme à l'aide de la commande 'python3 redirect.py'. | ||
- | |||
- | Ouvrez un autre terminal et lancez la commande: | ||
- | <code bash> watch -d lsof -p $(pidof redirect) </code> | ||
- | [[http://linux.die.net/man/8/lsof | lsof]] est un utilitaire qui affiche des informations sur les fichiers ouverts (fichiers ouverts dans le système, fichiers ouverts par un utilisateur particulier, etc.). Regardez dans le manuel ('' man 8 lsof '') pour identifier la signification de la colonne FD et de la colonne TYPE. | ||
- | |||
- | Utilisez la commande ENTER pour continuer le programme. En parallèle, observez l’évolution de la table des descripteurs. | ||
- | |||
- | Dans le code, notez les paramètres de redirection avec [[https://docs.python.org/3/library/os.html#os.dup2|dup2]] (après 2 (fd2, 2)). Remarquez ce qui se passe si les paramètres sont dans l'ordre inverse. | ||
- | * Section de révision de [[#redirect | redirections]] | ||
- | |||
- | ==== Exercice 2 - read-write (3p) ==== | ||
- | |||
- | Allez dans le répertoire ''2-read-write'' et regardez le contenu du fichier ''read-write.py''. | ||
- | |||
- | === 2a. Écrivez votre nom (1p) === | ||
- | Mettez votre nom dans la variable //name//. Écrivez la variable à l'écran en utilisant uniquement la fonction //write//. Suivez les lignes avec TODO 1. | ||
- | |||
- | === 2b. Lisez votre nom (1p) === | ||
- | Lisez votre nom depuis le clavier dans la variable //name// en utilisant uniquement la fonction //read//. | ||
- | |||
- | La fonction //read// lit des tampons binaires, elle n’ajoutera pas le caractère \0 à la fin de la chaîne. Ajoutez le caractère \0 à la fin. | ||
- | |||
- | Ecrivez le nouveau nom sur l'écran en utilisant uniquement les fonctions //write//. | ||
- | |||
- | Suivez les lignes avec TODO 2. | ||
- | |||
- | === 2c. Redirection de la sortie standard (1p) === | ||
- | |||
- | Ecrivez votre nom dans le fichier //output.txt// en utilisant la fonction //printf//. | ||
- | |||
- | <note> | ||
- | Dirigez la sortie standard. | ||
- | |||
- | Lors de la création d'un nouveau fichier, vous devez définir le mode du fichier (le troisième paramètre de la fonction // open //). Le mode le plus commun est 0644. | ||
- | </note> | ||
- | |||
- | Suivez les lignes avec TODO 3. | ||
- | |||
- | ==== Exercice 3 - lseek (1p) ==== | ||
- | |||
- | Allez dans le répertoire '' 3-lseek '' et regardez le code source dans '' lseek.py ''. | ||
- | Quelle valeur va retourner le deuxieme appel de "lseek"? Décommentez la ligne d'affichage, compilez et exécutez pour vérification. | ||
- | |||
- | La source ne ferme que le descripteur de fichier '' fd1 ''. Avez-vous besoin de fermer et de classer le descripteur '' fd2 ''? Pourquoi | ||
- | |||
- | ==== Exercice 4 - mcat (4p) ==== | ||
- | |||
- | Allez dans le répertoire '' 4-mcat ''. | ||
- | |||
- | === 4a. Similarité de chat (1p) === | ||
- | Remplissez le fichier pour que le programme '' mcat '' résultant ait une fonctionnalité similaire à celle de 'cat' (suivez les commentaires avec '' TODO 1 '') | ||
- | |||
- | Le programme 'mcat' recevra comme argument de ligne de commande le nom d'un fichier dont il affichera le contenu à la sortie standard. | ||
- | Vous ne pouvez pas lire le fichier entier en mémoire. Vous ne pouvez lire que des morceaux de taille maximale BUFSIZE. | ||
- | |||
- | ** Vérifiez le code d'erreur ** renvoyé par les appels système. | ||
- | Passez en revue les sections [[#Création, ouverture et fermeture de fichiers | Création, ouverture et fermeture de fichiers]] et [[#Écrire et lire | Écriture et lecture de fichiers]]. | ||
- | |||
- | Testez avec une commande comme: <code bash>python3 mcat.py Makefile </code> | ||
- | |||
- | === 4b. Similarité cp (1p) === | ||
- | Étendez la fonctionnalité de sorte que la sortie soit redirigée vers un fichier reçu en tant que deuxième argument - une fonctionnalité similaire à l'utilitaire '' cp ''. (suivez les commentaires avec '' TODO 2 '') | ||
- | |||
- | Consultez la section [[#Redirections | redirections]]. | ||
- | |||
- | Tester la fonctionnalité: <code bash>python3 mcat.py Makefile out ; python3 mcat.py out </code> | ||
- | |||
- | === 4c. / dev / nasty (2p) === | ||
- | Initialisez le fichier ''/dev/nasty'': <code bash> ./set_nasty.sh </code> | ||
- | |||
- | Essayez de copier les fonctionnalités sur ''/dev/nasty '': | ||
- | <code bash> | ||
- | ./mcat /dev/nasty | ||
- | ./mcat /dev/nasty out ; ./mcat out | ||
- | </code> | ||
- | |||
- | Si des différences se produisent, veillez à ce que les fonctions de lecture et d'écriture (affichent éventuellement ces valeurs) et résolvez le problème. | ||
- | |||
- | <code bash> | ||
- | python3 mcat.py Makefile /dev/nasty ; cat /dev/nasty | ||
- | </code> | ||
- | |||
- | Testez ** l'écriture ** avec: <code bash>./mcat Makefile /dev/nasty ; cat /dev/nasty</code> | ||
- | <note tip> | ||
- | Si la dernière commande ne produit pas le résultat attendu, vous n'avez probablement pas correctement géré les cas où ''read''/''write'' renvoie une valeur inférieure au troisième paramètre. | ||
- | </note> | ||
- | |||
- | |||
- | ==== EXTRA ==== | ||
- | * Opérations sur les fichiers en Python | ||
- | * Étudiez les exemples dans {{ so:laboratoare:pyfileoperations.zip | archive}}, lisez la documentation et notez les différences entre les API. | ||
- | |||
- | |||
- | ===== Solutions ===== | ||
- | |||
- | [[https://github.com/UPB-FILS/sde/tree/master/tp03/solutions | Solutions]] | ||
- | |||
- | |||
- | ===== Ressources utiles ===== | ||
- | |||
- | - [[http://www.gnu.org/software/libc/manual/html_node/Low_002dLevel-I_002fO.html|Low level I/O]] (info libc "Low-Level I/O") | ||
- | - [[http://www.gnu.org/software/libc/manual/html_node/Duplicating-Descriptors.html|Duplicating descriptors]] (info libc "Duplicating Descriptors") | ||
- | - [[http://www.advancedlinuxprogramming.com/alp-folder/alp-apB-low-level-io.pdf|Low level I/O]] (Advanced Linux Programming) | ||
- | |||