"Dans ce TD nous allons introduire les automates (en informatique), un modèle de calcul permettant de déterminer si une séquence d'information est valide ou non, selon une règle déterminée. Dans un premier temps nous allons définir des automates simples, et ensuite les implémenter en Python et résoudre des problèmes de complexité croissante."
"Dans ce TD nous allons introduire les automates, qui sont (en informatique) un modèle de calcul permettant de déterminer si une séquence d'information est valide ou non, selon une règle déterminée. Dans un premier temps nous allons définir des automates simples, et ensuite les implémenter en Python et résoudre des problèmes de complexité croissante."
]
},
{
...
...
@@ -41,7 +41,25 @@
"source": [
"## Qu'est-ce qu'un automate ?\n",
"\n",
"Un automate est un outil de calcul permettant la validation de séquences d'instructions, à base d'états et de transitions. Un exemple d'automate est un feu tricolore, où les états sont la couleur du feu (rouge, vert ou orange) et les transitions les changements possibles de couleurs (du rouge au vert, du vert au orange, et du orange au rouge). Les automates permettent donc de formaliser le fonctionnement d'un système et de détecter des erreurs éventuelles qui ne respectent pas les changements pré-définis (en reprenant l'exemple du feu tricolore, passer du vert au rouge directement est une erreur). Les applications des automates sont nombreuses et offrent souvent un code plus facile à écire et lire."
"Un automate est un outil de calcul permettant la validation de séquences d'instructions, à base d'états et de transitions. Un exemple d'automate est un feu tricolore, où :\n",
"\n",
"- les **états** sont la couleur du feu (rouge, vert ou orange)\n",
"- les **transitions** les changements possibles de couleurs (du rouge au vert, du vert au orange, et du orange au rouge). \n",
"\n",
"Les automates permettent donc de formaliser le fonctionnement d'un système et de détecter des erreurs éventuelles qui ne respectent pas les changements pré-définis (en reprenant l'exemple du feu tricolore, passer du vert au rouge directement est une erreur). Les applications des automates sont nombreuses et offrent souvent un code plus facile à écire et lire."
"Un automate possède une structure de données similaire à un graphe orienté, où **chaque nœud représente un état** et un **arc représente une transition possible d'un état à un autre**. Ce graphe est ensuite parcouru à partir de `mots` (par exemple : `aba`), qui sont une suite de symboles (comme les lettres `a` et `b`) permettant de passer d'un état à un autre. L'état initial (unique) est représenté visuellement par un cercle en gras, et le dernier état (il peut y en avoir plusieurs) par un double cercle. Les symboles `a` et `b` constituent l'alphabet de l'automate (il est possible d'utiliser tout type d'alphabet, comme les transitions d'un feu tricolore).\n",
"\n",
"Dans l'exemple ci-dessus, si le mot à lire est `ab`, l'automate commence à lire le mot depuis l'état `0` et réalise ensuite une transition vers un autre état à partir du premier symbole du mot, la lettre `a`. La transition vers l'état `1` est effectuée. L'automate se retrouve alors dans l'état `1` et lit le symbole suivant, la lettre `b`. L'automate reste sur l'état `1` (il s'agit d'une boucle).\n",
"\n",
"Les automates servent à valider un comportement appelé un *motif* (ou langage). Dans l'exemple ci-dessus, l'automate valide tous les mots contenant au moins un symbole **a** (souvent noté *a*, l'astérisque indiquant que tout symbole peut être utilisé).\n",
"Dans l'exemple ci-dessus, si le mot à lire est `a`, l'automate commence à lire le mot depuis l'état `0` et réalise ensuite une transition vers l'état `1` et s'arrête. Comme l'état `1` est un état final le mot `a` est validé. On parlera de motif pour indiquer les familles de mots validés par un automate, comme par exemple les mots qui commencent par `a` nous notons `a*` (l'astérisque indiquant que tout symbole peut être utilisé).\n",
"\n",
"De manière générale, un automate est défini comme $A = (\\Sigma, S, s_{0}, \\delta, F)$, avec :\n",
"\n",
...
...
@@ -96,7 +112,7 @@
"id": "07d1cd6d-1845-4707-b126-fbe219408a92",
"metadata": {},
"source": [
"**IMPORTANT :** vérifier que le code ci-dessus s'exécute bien (dans la cellule ci-dessous). Si cela n'est pas le cas alors suivez ces [instructions d'installation de la bibliothèque Graphviz](graphviz.ipynb)."
"**IMPORTANT :** vérifier que le code ci-dessus s'exécute bien (dans la cellule ci-dessous). Si cela n'est pas le cas alors suivez ces [instructions d'installation de la bibliothèque Graphviz](../graphviz.ipynb)."
]
},
{
...
...
@@ -128,7 +144,7 @@
"source": [
"## Exercice 1 : Automates simples\n",
"\n",
"Dans cette section, nous vous demandons de proposer un automate qui valide un motif donné. Pour les questions 1.1, 1.2 et 1.3, nous considérons un alphabet contenant les lettres `a` et `b` seulement. Vous pouvez répondre aux questions sur papier de préférence, ou utiliser le code ci-dessus du mondule `graphviz` pour dessiner l'automate.\n",
"Dans cette section, nous vous demandons de proposer un automate qui valide un motif donné. Pour les questions 1.1, 1.2 et 1.3, nous considérons un alphabet contenant les lettres `a` et `b` seulement. Vous pouvez répondre aux questions sur papier de préférence, ou utiliser le code ci-dessus du module `graphviz` pour dessiner l'automate.\n",
"\n",
"**Question 1.1 -** Proposer un automate qui contient un nombre paire de fois la lettre `a`."
]
...
...
@@ -251,9 +267,9 @@
"id": "b1c8a625-b2e5-4958-b49f-009c7bcdb038",
"metadata": {},
"source": [
"**Question 1.4 -** Proposer un automate qui valide le fait qu'une chaîne de caractères est une adresse email. Les adresses email peuvent être définies comme suit :\n",
"**Question 1.4 -** Proposer un automate qui valide la propriété suivante : une chaîne de caractères est une adresse email. Les adresses email peuvent être définies comme suit (de manière simplifiée) :\n",
"\n",
"- tout d'abord le premier caractère ne peut pas être un chiffre\n",
"- le premier caractère ne peut pas être un chiffre\n",
"- ensuite tous les caractères de `a` à `z` (majuscules et minuscules) et chiffres sont acceptés\n",
"- un `@` doit être présent\n",
"- ensuite un nom de domaine qui lui aussi ne peut commencer par un chiffre (et doit faire + de 1 caractère)\n",
...
...
@@ -310,9 +326,7 @@
" \n",
"4. Une méthode `recherche_etat` qui étant donné un état source et un symbole, renvoie l'état correspondant (via la transition correspondant au symbole donné).\n",
"\n",
"5. Une fonction `run` qui valide un mot donné, et renvoie `True` si l'état final est atteint et `False`.\n",
"\n",
"Voici l'initialisation et le test de l'automate qui implémente le motif `*a*` :\n"
"5. Une fonction `run` qui valide un mot donné, et renvoie `True` si l'état final est atteint et `False`.\n"
]
},
{
...
...
@@ -459,6 +473,14 @@
"assert a.run(\"b\") == False"
]
},
{
"cell_type": "markdown",
"id": "9b44355d-e2a6-4ef2-b427-d5c39cc72662",
"metadata": {},
"source": [
"Question 1.3 (solution) :"
]
},
{
"cell_type": "code",
"execution_count": null,
...
...
@@ -502,21 +524,32 @@
"assert a.run(''.join(\"a\" for i in range(100))) == False"
]
},
{
"cell_type": "markdown",
"id": "34eb2bb6-aba0-4263-9702-761694af7348",
"metadata": {},
"source": [
"**Question 2.3 (bonus) -** Implémentez une méthode `visualize(self)` afin d'afficher votre automate en utilisant le code `graphviz` fourni dans les questions précédentes. En voici les principales étapes (il s'agit de construire un graphe..) : \n",
"\n",
"1. Initialiser les sommes\n",
"2. Rajouter les arrêtes\n",
"3. Inclure les propriétés et labels"
]
},
{
"cell_type": "markdown",
"id": "954a7d30-9e8a-4269-aee4-e36924da2e86",
"metadata": {},
"source": [
"**Question 2.3 (bonus) -** Implémentez une méthode `__str__` afin que la commande `print(a)` affiche les états internes à l'automate comme ci-dessous :"
"**Question 2.4 (bonus) -** Implémentez une méthode `__str__` afin que la commande `print(a)` affiche les états internes à l'automate comme ci-dessous :"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "43b69f12",
"cell_type": "markdown",
"id": "0a4548cc-197f-4c70-a4f9-e3c5c706d378",
"metadata": {},
"outputs": [],
"source": [
"```\n",
"automate :\n",
" - alphabet : 'ab'\n",
" - init : 0\n",
...
...
@@ -532,15 +565,8 @@
" --(a)--> (1)\n",
" - (1):\n",
" --(a)--> (1)\n",
" --(b)--> (1)"
]
},
{
"cell_type": "markdown",
"id": "677eed03-4571-4751-bb71-07640eb54927",
"metadata": {},
"source": [
"**Question 2.4 (bonus) -** Implémentez une méthode `visualize(self)` afin d'afficher votre automate en utilisant le code `graphviz` fourni dans les questions précédentes."
" --(b)--> (1)\n",
"```"
]
},
{
...
...
@@ -558,7 +584,7 @@
"source": [
"Nous allons maintenant développer un programme qui utilise votre structure de données d'automate implémentée en Python dans la section précédente. L'objectif de ce programme sera le suivant : proposer de compléter un mot, à partir d'une séquence de lettres partielle donnée. Par exemple si votre programme prend en entrée la séquence `bon`, en retour vous devez proposer une séquence de lettres pertinentes afin de compléter ce mot comme `bonjour` ou `bonsoir`. \n",
"\n",
"Vous êtes libres de proposer la stratégie de recommandation de lettres que vous souhaitez. Nous vous proposons de vous baser sur es listes de mots les plus fréquents en Français [ce lien](http://www.pallier.org/extra/liste.de.mots.francais.frgut.txt) (fourni dans le fichier `code/mots.txt`). Ces mots permettent de réaliser des statistiques de co-occurences. Par exemple, étant donné les mots suivants :\n",
"Vous êtes libres de proposer la stratégie de recommandation de lettres que vous souhaitez. Nous vous proposons de vous baser sur es listes de mots les plus fréquents en Français [ce lien](http://www.pallier.org/extra/liste.de.mots.francais.frgut.txt) (fourni dans le fichier `mots.txt`). Ces mots permettent de réaliser des statistiques de co-occurences. Par exemple, étant donné les mots suivants :\n",
"\n",
"```\n",
" abaissa\n",
...
...
@@ -600,7 +626,7 @@
"deletable": false,
"nbgrader": {
"cell_type": "code",
"checksum": "871c056907d157a30a5173a7ab560b23",
"checksum": "fdc36bdc178db74da2a81619b545e867",
"grade": false,
"grade_id": "cell-d468616ce83d8d50",
"locked": false,
...
...
@@ -612,6 +638,17 @@
},
"outputs": [],
"source": [
"# lecture du fichier de mots\n",
"data = []\n",
"with open(\"mots-10.txt\") as f:\n",
" keys = None\n",
" for line in f:\n",
" l = [w.strip() for w in line.split(';')]\n",
" if keys is None:\n",
" keys = l\n",
" else:\n",
" data.append(l)\n",
"\n",
"# YOUR CODE HERE\n",
"raise NotImplementedError()"
]
...
...
@@ -625,8 +662,20 @@
"\n",
"- Vérifier si les automates sont [déterministes](https://fr.wikipedia.org/wiki/Automate_fini_d%C3%A9terministe)\n",
"\n",
"- Comparer vos résultats avec une implémentation [Python d'Automate](https://pypi.org/project/python-automaton/) :\n"
"- Comparer vos résultats avec une implémentation [Python d'Automate](https://pypi.org/project/python-automaton/) :\n",
"\n",
"- Enregistrer les automates en utilisant la commande\n",
Dans ce TD nous allons introduire les automates (en informatique), un modèle de calcul permettant de déterminer si une séquence d'information est valide ou non, selon une règle déterminée. Dans un premier temps nous allons définir des automates simples, et ensuite les implémenter en Python et résoudre des problèmes de complexité croissante.
Dans ce TD nous allons introduire les automates, qui sont (en informatique) un modèle de calcul permettant de déterminer si une séquence d'information est valide ou non, selon une règle déterminée. Dans un premier temps nous allons définir des automates simples, et ensuite les implémenter en Python et résoudre des problèmes de complexité croissante.
Un automate est un outil de calcul permettant la validation de séquences d'instructions, à base d'états et de transitions. Un exemple d'automate est un feu tricolore, où les états sont la couleur du feu (rouge, vert ou orange) et les transitions les changements possibles de couleurs (du rouge au vert, du vert au orange, et du orange au rouge). Les automates permettent donc de formaliser le fonctionnement d'un système et de détecter des erreurs éventuelles qui ne respectent pas les changements pré-définis (en reprenant l'exemple du feu tricolore, passer du vert au rouge directement est une erreur). Les applications des automates sont nombreuses et offrent souvent un code plus facile à écire et lire.
Un automate est un outil de calcul permettant la validation de séquences d'instructions, à base d'états et de transitions. Un exemple d'automate est un feu tricolore, où :
- les **états** sont la couleur du feu (rouge, vert ou orange)
- les **transitions** les changements possibles de couleurs (du rouge au vert, du vert au orange, et du orange au rouge).
Les automates permettent donc de formaliser le fonctionnement d'un système et de détecter des erreurs éventuelles qui ne respectent pas les changements pré-définis (en reprenant l'exemple du feu tricolore, passer du vert au rouge directement est une erreur). Les applications des automates sont nombreuses et offrent souvent un code plus facile à écire et lire.
Un automate possède une structure de données similaire à un graphe orienté, où **chaque nœud représente un état** et un **arc représente une transition possible d'un état à un autre**. Ce graphe est ensuite parcouru à partir de `mots` (par exemple : `aba`), qui sont une suite de symboles (comme les lettres `a` et `b`) permettant de passer d'un état à un autre. L'état initial (unique) est représenté visuellement par un cercle en gras, et le dernier état (il peut y en avoir plusieurs) par un double cercle. Les symboles `a` et `b` constituent l'alphabet de l'automate (il est possible d'utiliser tout type d'alphabet, comme les transitions d'un feu tricolore).
Dans l'exemple ci-dessus, si le mot à lire est `ab`, l'automate commence à lire le mot depuis l'état `0` et réalise ensuite une transition vers un autre état à partir du premier symbole du mot, la lettre `a`. La transition vers l'état `1` est effectuée. L'automate se retrouve alors dans l'état `1` et lit le symbole suivant, la lettre `b`. L'automate reste sur l'état `1` (il s'agit d'une boucle).
Les automates servent à valider un comportement appelé un *motif* (ou langage). Dans l'exemple ci-dessus, l'automate valide tous les mots contenant au moins un symbole **a** (souvent noté *a*, l'astérisque indiquant que tout symbole peut être utilisé).
Dans l'exemple ci-dessus, si le mot à lire est `a`, l'automate commence à lire le mot depuis l'état `0` et réalise ensuite une transition vers l'état `1` et s'arrête. Comme l'état `1` est un état final le mot `a` est validé. On parlera de motif pour indiquer les familles de mots validés par un automate, comme par exemple les mots qui commencent par `a` nous notons `a*` (l'astérisque indiquant que tout symbole peut être utilisé).
De manière générale, un automate est défini comme $A = (\Sigma, S, s_{0}, \delta, F)$, avec :
- $\Sigma$, un ensemble fini, non vide de symboles qui est l'alphabet d'entrée
- $S$, un ensemble fini, non vide d'états
- $s_{0}$, l'état initial, élément de $S$
- $\delta$, la fonction de transition d'états: $\delta : S \times \Sigma \rightarrow S$
- $F$ est l'ensemble des états terminaux, un sous-ensemble (éventuellement vide) de $S$
Pour dessiner des automates, nous utiliserons [Graphviz](https://graphviz.org/), un outil en ligne de commande qui permet de dessiner des graphes basé sur le langage [DOT](https://graphviz.org/doc/info/lang.html). Un exemple d'automate est donné ci-dessous :
**IMPORTANT :** vérifier que le code ci-dessus s'exécute bien (dans la cellule ci-dessous). Si cela n'est pas le cas alors suivez ces [instructions d'installation de la bibliothèque Graphviz](graphviz.ipynb).
**IMPORTANT :** vérifier que le code ci-dessus s'exécute bien (dans la cellule ci-dessous). Si cela n'est pas le cas alors suivez ces [instructions d'installation de la bibliothèque Graphviz](../graphviz.ipynb).
Dans cette section, nous vous demandons de proposer un automate qui valide un motif donné. Pour les questions 1.1, 1.2 et 1.3, nous considérons un alphabet contenant les lettres `a` et `b` seulement. Vous pouvez répondre aux questions sur papier de préférence, ou utiliser le code ci-dessus du mondule `graphviz` pour dessiner l'automate.
Dans cette section, nous vous demandons de proposer un automate qui valide un motif donné. Pour les questions 1.1, 1.2 et 1.3, nous considérons un alphabet contenant les lettres `a` et `b` seulement. Vous pouvez répondre aux questions sur papier de préférence, ou utiliser le code ci-dessus du module `graphviz` pour dessiner l'automate.
**Question 1.1 -** Proposer un automate qui contient un nombre paire de fois la lettre `a`.
**Question 1.4 -** Proposer un automate qui valide le fait qu'une chaîne de caractères est une adresse email. Les adresses email peuvent être définies comme suit :
**Question 1.4 -** Proposer un automate qui valide la propriété suivante : une chaîne de caractères est une adresse email. Les adresses email peuvent être définies comme suit (de manière simplifiée) :
- tout d'abord le premier caractère ne peut pas être un chiffre
- le premier caractère ne peut pas être un chiffre
- ensuite tous les caractères de `a` à `z` (majuscules et minuscules) et chiffres sont acceptés
- un `@` doit être présent
- ensuite un nom de domaine qui lui aussi ne peut commencer par un chiffre (et doit faire + de 1 caractère)
- un "."
- une extension parmis une liste autorisée (`fr`, `com`, etc)
Un exemple de chaîne qui n'est pas validée est `3toto@a.fr2` car la première partie commence par un chiffre, le nom de domaine est trop court et enfin l'extension n'est pas valide. Pour la partie de validation de l'extension (`.fr`, etc.), vous pouvez simplifier en proposant une reconnaissance de motifs pré-définis (`.fr`, `.com`, etc.). Vous pouvez vous référer à la page Wikipedia [ici](https://fr.wikipedia.org/wiki/Adresse_\%C3\%A9lectronique) ou à la RFC 8222 [ici](https://www.w3.org/Protocols/rfc822/) pour une définition plus précise.
**Question 2.1 -** Nous allons désormais implémenter en Python une structure de données d'automate. Celle-ci doit être en mesure de stocker toutes les informations relatives à la définition d'un automate (symboles reconnu, états, états initiaux/finaux) et valider un mot donné. Votre structure de données peut être composée comme suit :
1. Un constructeur `__init__` qui initialise l'automate avec les symboles du motif (ici `a` et `b`) et les variables d'état interne. En particulier l'état initial.
2. Une méthode `ajout_etat` qui rajoute un nouvel état et s'assure que l'état n'existe pas déjà; un paramètre additionnel `final` indiquera si il s'agit d'un état finaal
3. Une méthode `ajout_transition` qui rajoute un nouvel état et s'assure que l'état n'existe pas déjà.
4. Une méthode `recherche_etat` qui étant donné un état source et un symbole, renvoie l'état correspondant (via la transition correspondant au symbole donné).
5. Une fonction `run` qui valide un mot donné, et renvoie `True` si l'état final est atteint et `False`.
Voici l'initialisation et le test de l'automate qui implémente le motif `*a*` :
**Question 2.3 (bonus) -** Implémentez une méthode `visualize(self)` afin d'afficher votre automate en utilisant le code `graphviz` fourni dans les questions précédentes. En voici les principales étapes (il s'agit de construire un graphe..) :
**Question 2.3 (bonus) -** Implémentez une méthode `__str__` afin que la commande `print(a)` affiche les états internes à l'automate comme ci-dessous :
**Question 2.4 (bonus) -** Implémentez une méthode `__str__` afin que la commande `print(a)` affiche les états internes à l'automate comme ci-dessous :
**Question 2.4 (bonus) -** Implémentez une méthode `visualize(self)` afin d'afficher votre automate en utilisant le code `graphviz` fourni dans les questions précédentes.
Nous allons maintenant développer un programme qui utilise votre structure de données d'automate implémentée en Python dans la section précédente. L'objectif de ce programme sera le suivant : proposer de compléter un mot, à partir d'une séquence de lettres partielle donnée. Par exemple si votre programme prend en entrée la séquence `bon`, en retour vous devez proposer une séquence de lettres pertinentes afin de compléter ce mot comme `bonjour` ou `bonsoir`.
Vous êtes libres de proposer la stratégie de recommandation de lettres que vous souhaitez. Nous vous proposons de vous baser sur es listes de mots les plus fréquents en Français [ce lien](http://www.pallier.org/extra/liste.de.mots.francais.frgut.txt) (fourni dans le fichier `code/mots.txt`). Ces mots permettent de réaliser des statistiques de co-occurences. Par exemple, étant donné les mots suivants :
Vous êtes libres de proposer la stratégie de recommandation de lettres que vous souhaitez. Nous vous proposons de vous baser sur es listes de mots les plus fréquents en Français [ce lien](http://www.pallier.org/extra/liste.de.mots.francais.frgut.txt) (fourni dans le fichier `mots.txt`). Ces mots permettent de réaliser des statistiques de co-occurences. Par exemple, étant donné les mots suivants :
```
abaissa
abaissable
abaissables
abaissai
abaissaient
abaissais
abaissait
abaissâmes
```
Si le mot d'entrée est `abaissa` alors votre programme suggère les lettres suivantes ordonnées par ordre de probabilité de transition pour compléter le mot (basé sur l'analyse du fichier `code/mots-10.txt` qui contient les mots ci-dessus):
```
i (4)
b (2)
m (1)
```
Conseils :
1. Utiliser les fichiers de listes de mots (`mots.txt`, ..) en analysant la fréquence de co-occurrences de lettres (autrement dit calculer probabilité d'être l'une après l'autre)
2. Construire un automate dont les transitions sont les probabilités de co-occurence entre les lettres
3. Proposer une méthode de recommandation de transition à partir de quelques lettres fournies en entrée
%% Cell type:code id:b5309ac0 tags:
``` python
# lecture du fichier de mots
data = []
with open("mots-10.txt") as f:
keys = None
for line in f:
l = [w.strip() for w in line.split(';')]
if keys is None:
keys = l
else:
data.append(l)
# YOUR CODE HERE
raise NotImplementedError()
```
%% Cell type:markdown id:77408003 tags:
## Pour aller plus loin
- Vérifier si les automates sont [déterministes](https://fr.wikipedia.org/wiki/Automate_fini_d%C3%A9terministe)
- Comparer vos résultats avec une implémentation [Python d'Automate](https://pypi.org/project/python-automaton/) :
- Enregistrer les automates en utilisant la commande
