{"id":8056,"date":"2020-03-19T21:04:25","date_gmt":"2020-03-19T20:04:25","guid":{"rendered":"https:\/\/complex-systems-ai.com\/?page_id=8056"},"modified":"2022-12-03T23:03:53","modified_gmt":"2022-12-03T22:03:53","slug":"reseau-de-hopfield","status":"publish","type":"page","link":"https:\/\/complex-systems-ai.com\/en\/neural-algorithms-2\/hopfield-network\/","title":{"rendered":"Hopfield Network"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-page\" data-elementor-id=\"8056\" class=\"elementor elementor-8056\">\n\t\t\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-9f12b23 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"9f12b23\" data-element_type=\"section\" data-e-type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-33 elementor-top-column elementor-element elementor-element-a41e49e\" data-id=\"a41e49e\" data-element_type=\"column\" data-e-type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<div class=\"elementor-element elementor-element-5fd6d10 elementor-align-justify elementor-widget elementor-widget-button\" data-id=\"5fd6d10\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm\" href=\"https:\/\/complex-systems-ai.com\/algorithmes-neuronaux\/\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t\t\t\t<span class=\"elementor-button-text\">Algorithmes neuronaux<\/span>\n\t\t\t\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t<div class=\"elementor-column elementor-col-33 elementor-top-column elementor-element elementor-element-80e82aa\" data-id=\"80e82aa\" data-element_type=\"column\" data-e-type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<div class=\"elementor-element elementor-element-4a738e3 elementor-align-justify elementor-widget elementor-widget-button\" data-id=\"4a738e3\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm\" href=\"https:\/\/complex-systems-ai.com\/\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t\t\t\t<span class=\"elementor-button-text\">Page d'accueil<\/span>\n\t\t\t\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t<div class=\"elementor-column elementor-col-33 elementor-top-column elementor-element elementor-element-2b0a5be\" data-id=\"2b0a5be\" data-element_type=\"column\" data-e-type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<div class=\"elementor-element elementor-element-d4ea1c1 elementor-align-justify elementor-widget elementor-widget-button\" data-id=\"d4ea1c1\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm\" href=\"https:\/\/fr.wikipedia.org\/wiki\/R%C3%A9seau_de_neurones_de_Hopfield\" target=\"_blank\" rel=\"noopener\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t\t\t\t<span class=\"elementor-button-text\">Wiki<\/span>\n\t\t\t\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-6cfd2c70 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"6cfd2c70\" data-element_type=\"section\" data-e-type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-1b53a101\" data-id=\"1b53a101\" data-element_type=\"column\" data-e-type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<div class=\"elementor-element elementor-element-58043471 elementor-widget elementor-widget-text-editor\" data-id=\"58043471\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_82_2 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Contenus<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Toggle Table of Content\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/complex-systems-ai.com\/en\/neural-algorithms-2\/hopfield-network\/#Reseau-de-Hopfield\" >R\u00e9seau de Hopfield<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"Reseau-de-Hopfield\"><\/span>R\u00e9seau de Hopfield<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p class=\"has-text-align-justify\">Dans un r\u00e9seau de Hopfield, au cours du processus de formation, on peut penser que les poids dans le r\u00e9seau minimisent une fonction \u00e9nerg\u00e9tique et glissent sur une surface d&rsquo;\u00e9nergie. Dans un r\u00e9seau entrain\u00e9, chaque mod\u00e8le pr\u00e9sent\u00e9 au r\u00e9seau fournit un attracteur, o\u00f9 des progr\u00e8s sont r\u00e9alis\u00e9s vers le point d&rsquo;attraction en propageant des informations autour du r\u00e9seau.<\/p>\n\n<p class=\"has-text-align-justify\">L&rsquo;objectif de traitement de l&rsquo;information du syst\u00e8me est d&rsquo;associer les composants d&rsquo;un mod\u00e8le d&rsquo;entr\u00e9e \u00e0 une repr\u00e9sentation holistique du mod\u00e8le appel\u00e9 Content Addressable Memory (CAM). Cela signifie qu&rsquo;une fois form\u00e9, le syst\u00e8me rappellera des motifs entiers ou une version bruyante du motif d&rsquo;entr\u00e9e.<\/p>\n\n<p class=\"has-text-align-justify\">Le r\u00e9seau de Hopfield comprend une structure de donn\u00e9es en <a href=\"https:\/\/complex-systems-ai.com\/en\/graph-theory-2\/\">graphe<\/a> avec des ar\u00eates pond\u00e9r\u00e9s et des proc\u00e9dures distinctes pour la formation et l&rsquo;application de la structure. La structure du r\u00e9seau est enti\u00e8rement connect\u00e9e (un n\u0153ud se connecte \u00e0 tous les autres n\u0153uds sauf lui-m\u00eame) et les ar\u00eates (poids) entre les n\u0153uds sont bidirectionnels.<\/p>\n\n<p class=\"has-text-align-justify\">Les poids du r\u00e9seau peuvent \u00eatre appris via une m\u00e9thode en one-shot (une it\u00e9ration sur tous les mod\u00e8les) si tous les mod\u00e8les \u00e0 m\u00e9moriser par le r\u00e9seau sont connus. Alternativement, les poids peuvent \u00eatre mis \u00e0 jour de mani\u00e8re incr\u00e9mentielle en utilisant la r\u00e8gle Hebb o\u00f9 les poids sont augment\u00e9s ou diminu\u00e9s en fonction de la diff\u00e9rence entre la sortie r\u00e9elle et la sortie attendue. Le calcul ponctuel des poids de r\u00e9seau pour un seul n\u0153ud se produit comme suit:<\/p>\n\n<figure class=\"wp-block-image size-large\"><img decoding=\"async\" class=\"aligncenter wp-image-8050 size-full\" src=\"https:\/\/complex-systems-ai.com\/wp-content\/uploads\/2020\/03\/hop1.png\" alt=\"r\u00e9seau de Hopfield\" width=\"195\" height=\"79\" title=\"\"><\/figure>\n\n<p class=\"has-text-align-justify\">o\u00f9 w_i, j est le poids entre le neurone i et j, N est le nombre de mod\u00e8les d&rsquo;entr\u00e9e, v est le mod\u00e8le d&rsquo;entr\u00e9e et v_ik est le i-\u00e8me attribut sur le k-\u00e8me mod\u00e8le d&rsquo;entr\u00e9e.<\/p>\n\n<p class=\"has-text-align-justify\">La propagation des informations \u00e0 travers le r\u00e9seau peut \u00eatre asynchrone o\u00f9 un n\u0153ud al\u00e9atoire est s\u00e9lectionn\u00e9 \u00e0 chaque it\u00e9ration, ou de mani\u00e8re synchrone, o\u00f9 la sortie est calcul\u00e9e pour chaque n\u0153ud avant d&rsquo;\u00eatre appliqu\u00e9e \u00e0 l&rsquo;ensemble du r\u00e9seau. La propagation des informations se poursuit jusqu&rsquo;\u00e0 ce qu&rsquo;aucune autre modification ne soit effectu\u00e9e ou jusqu&rsquo;\u00e0 ce qu&rsquo;un nombre maximal d&rsquo;it\u00e9rations soit termin\u00e9, apr\u00e8s quoi le mod\u00e8le de sortie du r\u00e9seau peut \u00eatre lu. L&rsquo;activation pour un seul n\u0153ud est calcul\u00e9e comme suit:<\/p>\n\n<figure class=\"wp-block-image size-large\"><img decoding=\"async\" class=\"aligncenter wp-image-8051 size-full\" src=\"https:\/\/complex-systems-ai.com\/wp-content\/uploads\/2020\/03\/hop2.png\" alt=\"r\u00e9seau de Hopfield\" width=\"163\" height=\"71\" title=\"\"><\/figure>\n\n<p class=\"has-text-align-justify\">o\u00f9 n_i est l&rsquo;activation du i-\u00e8me neurone, w_i, j avec le poids entre les n\u0153uds i et j, et n_j est la sortie du j-\u00e8me neurone. L&rsquo;activation est transf\u00e9r\u00e9e dans une sortie \u00e0 l&rsquo;aide d&rsquo;une fonction de transfert, g\u00e9n\u00e9ralement une fonction \u00e0 pas comme suit:<\/p>\n\n<figure class=\"wp-block-image size-large\"><img decoding=\"async\" class=\"aligncenter wp-image-8054 size-full\" src=\"https:\/\/complex-systems-ai.com\/wp-content\/uploads\/2020\/03\/hop4.png\" alt=\"r\u00e9seau de Hopfield\" width=\"297\" height=\"62\" title=\"\"><\/figure>\n\n<p class=\"has-text-align-justify\">o\u00f9 le seuil \u03b8 est g\u00e9n\u00e9ralement fix\u00e9 \u00e0 0.<\/p>\n\n<p class=\"has-text-align-justify\">Le r\u00e9seau de Hopfield peut \u00eatre utilis\u00e9 pour r\u00e9soudre le probl\u00e8me de rappel des correspondances de rep\u00e8res pour un motif d&rsquo;entr\u00e9e \u00e0 un motif pr\u00e9-appris associ\u00e9.<\/p>\n\n<p class=\"has-text-align-justify\">La fonction de transfert pour transformer l&rsquo;activation d&rsquo;un neurone en sortie est typiquement une fonction \u00e0 pas f(a) dans {-1, 1} (pr\u00e9f\u00e9r\u00e9e), ou plus traditionnellement f(a) dans {0, 1}. Les vecteurs d&rsquo;entr\u00e9e sont g\u00e9n\u00e9ralement normalis\u00e9s aux valeurs bool\u00e9ennes x dans [-1; 1].<\/p>\n\n<p class=\"has-text-align-justify\">Le r\u00e9seau peut \u00eatre propag\u00e9 de mani\u00e8re asynchrone (o\u00f9 un n\u0153ud al\u00e9atoire est s\u00e9lectionn\u00e9 et g\u00e9n\u00e9r\u00e9 en sortie), ou de mani\u00e8re synchrone (o\u00f9 la sortie de tous les n\u0153uds est calcul\u00e9e avant d&rsquo;\u00eatre appliqu\u00e9e).<\/p>\n\n<p class=\"has-text-align-justify\">Les pond\u00e9rations peuvent \u00eatre apprises selon une m\u00e9thode ponctuelle ou incr\u00e9mentielle en fonction de la quantit\u00e9 d&rsquo;informations connues sur les mod\u00e8les \u00e0 apprendre. Tous les <a href=\"https:\/\/complex-systems-ai.com\/en\/neural-algorithms-2\/perceptron-en\/\">neurones<\/a> du r\u00e9seau sont g\u00e9n\u00e9ralement \u00e0 la fois des neurones d&rsquo;entr\u00e9e et de sortie, bien que d&rsquo;autres topologies de r\u00e9seau aient \u00e9t\u00e9 \u00e9tudi\u00e9es (comme la d\u00e9signation des neurones d&rsquo;entr\u00e9e et de sortie). Un r\u00e9seau de Hopfield a des limites sur les mod\u00e8les qu&rsquo;il peut stocker et r\u00e9cup\u00e9rer avec pr\u00e9cision \u00e0 partir de la m\u00e9moire, d\u00e9crite par N&lt;0,15*n o\u00f9 N est le nombre de mod\u00e8les qui peuvent \u00eatre stock\u00e9s et r\u00e9cup\u00e9r\u00e9s et n est le nombre de n\u0153uds dans le r\u00e9seau.<\/p>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Neural Algorithms Wiki Home Page Hopfield Network In a Hopfield network, during the training process, it can be thought that the weights \u2026 <\/p>","protected":false},"author":1,"featured_media":0,"parent":7157,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-8056","page","type-page","status-publish","hentry"],"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/complex-systems-ai.com\/en\/wp-json\/wp\/v2\/pages\/8056","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/complex-systems-ai.com\/en\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/complex-systems-ai.com\/en\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/complex-systems-ai.com\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/complex-systems-ai.com\/en\/wp-json\/wp\/v2\/comments?post=8056"}],"version-history":[{"count":7,"href":"https:\/\/complex-systems-ai.com\/en\/wp-json\/wp\/v2\/pages\/8056\/revisions"}],"predecessor-version":[{"id":18916,"href":"https:\/\/complex-systems-ai.com\/en\/wp-json\/wp\/v2\/pages\/8056\/revisions\/18916"}],"up":[{"embeddable":true,"href":"https:\/\/complex-systems-ai.com\/en\/wp-json\/wp\/v2\/pages\/7157"}],"wp:attachment":[{"href":"https:\/\/complex-systems-ai.com\/en\/wp-json\/wp\/v2\/media?parent=8056"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}