diff --git a/Rapport.ipynb b/Rapport.ipynb index e8c60ae4d9645762fe1cf15739c05c38eb761c2e..878abd247e0f57b1f6742b9014c1cf5e387aa447 100644 --- a/Rapport.ipynb +++ b/Rapport.ipynb @@ -466,14 +466,20 @@ "\n", "## Réseaux de Neurones Artificiels\n", "\n", + "Dans cette partie nous allons développé un réseau de neuronne pour la classification de la base de donnée CIFAR-10. Pour cela nous prenons la fonction d'activation $\\sigma$ et les matrices de poids et de biais respectant les relations suivantes:\n", + "\n", "$$Z^{L+1}=W^{L+1}A^{L}+B^{L+1}$$\n", "\n", "$$A^{L+1}=\\sigma(Z^{L+1})$$\n", "\n", + "La fonction de coût donné C est la fonction de coup MSE :\n", + "\n", "$$C = \\frac{1}{N_{out}}\\sum_{i=1}^{N_{out}} (\\hat{y_i} - y_i)^2$$\n", "\n", "### 1\n", "\n", + "Pour entraîner notre modèle nous devons effectuer la descente de gradiant, qui consiste à trouver la relation qui permet d'avoir l'impacte des matrices de poid et de biais sur la fonction coût.\n", + "\n", "$$\\sigma(x)=\\frac{1}{1+e^{-x}} $$\n", "\n", "$$\\Rightarrow \\sigma'(x)=\\frac{-e^{-x}}{-(1+e^{-x})^2} $$\n", @@ -571,7 +577,13 @@ "source": [ "### 10\n", "\n", - "$$loss=\\frac{1}{N_{out}}\\sum_{i=1}^{N_{out}}-(y_i*log(\\hat{y_i})+(1-y_1)*log(1-\\hat{y_i}))$$" + "La fonction de coût MSE n'est pas adapté à la classification, pour la suite nous prendrons donc la fonction loss cross-entropy qui prend la matrice target $Y$ et la matrice de prbabilité de prédiction $\\hat{Y}$ \n", + "\n", + "$$loss=\\frac{1}{N_{out}}\\sum_{i=1}^{N_{out}}-(y_i*log(\\hat{y_i}))$$\n", + "\n", + "Pour calculer cette fonction de perte il faut avoir $\\hat{y}$ qui est une prédiction sous forme de probabilité, donc que la somme des probabilité soit 1 et que chaque probabilité soit comprise dans $[0,1]$. Pour cela on remplace la signoïde $A^{(2)}=\\sigma(Z^{(2)})$ par la fonction softmax qui donne $\\hat{Y}=A^{(2)}=softmax(Z^{(2)})$.\n", + "\n", + "$$softmax(x_i)=\\frac{e^{x_i}}{\\sum_{j=1}^{n}e^{x_j}}$$" ] }, {