Hebbian Learning sy Hopfield Networks: Ny Architecture Nanan-tsaina mihoatra noho ny Transformers hatrany

Nandritra ny folo taona lasa, ny transformers sy ny mekanisma attention-ny no nibaiko ny sehatry ny AI. Hatramin'ny GPT, BERT ka hatramin'ny Vision Transformers, ny teny fanaky ny "attention is all you need" no nanova ny fomba fisainantsika momba ny machine learning. Ny rafitra fandikan-teny (translator), izany hoe ny pipeline encoder-decoder izay mamadika angona avy amin'ny endrika iray mankany amin'ny iray hafa, dia lasa taolan-damosin'ny zava-drehetra, manomboka amin'ny fanodinana ny fiteny ka hatramin'ny famoronana sary. Nanao revolisiona izy ireny. Matanjaka izy ireny.

Ary ankehitriny, efa mitotoka amin'ny rindrina izy ireny.

Ny mahagaga dia efa hatramin'ny 1982 no nisy ny vahaolana. Tamin'io taona io, John Hopfield dia namoaka lahatsoratra tao amin'ny Proceedings of the National Academy of Sciences izay nanolotra tamba-jotra neural miverimberina (recurrent neural network) manana toetra tsy mbola azon'ny transformers tsy ho tanteraka mihitsy: ny fanaporofoana fa hiray amin'ny toetry ny fitoniana izy amin'ny alalan'ny fampihenana ny angovo. Tsy nianatra môdely fotsiny ny tamba-jotra Hopfield, fa nitahiry azy ireny ho toy ny attractors ara-batana ao anaty tontolon'ny angovo, azo averina na dia avy amin'ny fidirana feno tabataba na tsy feno aza.

Vao mainka manomboka mandray ny zavatra fantatry ny vondrom-piarahamonina fizika sy neurosciences nandritra ny am-polony taona ny vondrom-piarahamonina AI: ny fomba fanatontosana neural mifototra amin'ny angovo sy fampifandraisana (associative) dia tsy zavatra mahaliana ao anatin'ny tantara fotsiny, fa paradigm fototra izay naorin'ny vanim-potoanan'ny transformer tsy nahatakatra tanteraka azy.

Ny Valan'ny Transformer

Miasa amin'ny alalan'ny fanisana ny fifandraisana eo amin'ny singa rehetra ao anaty filaharana miaraka ny transformers, amin'ny alalan'ny self-attention. Mahavariana izany ho an'ny fiteny. Mahavariana koa ho an'ny angona voarafitra manana môdely misesy mazava. Fa ny tontolo tena izy, ny tontolon'ny robotika, ny circuits miaraka, ny fanapahan-kevitra mifototra amin'ny sensor ary ny edge computing, dia tsy mikandrina ho filaharana madio miandry ny hojerena.

Ny architecture transformer dia mihevitra fa be ny zava-drehetra: be ny compute, be ny mémoire, be ny angovo. Mitombo araka ny efamira ny self-attention rehefa mitombo ny halavan'ny filaharana. Mitombo tsipika ny sosona feed-forward fa be dia be. Rehefa apetraka amin'ny robot mandeha manodidina trano fanatobiana entana ny rafitra mifototra amin'ny transformer, na ampidirina ao anaty circuit elektronika mifehy sorona famokarana, dia rava ireo fiheverana ireo.

Ny paradigm translator dia manana fetrany manokana koa: mihevitra ny faharanitan-tsaina ho olana fanovàna eo amin'ny endrika raikitra voalohany indrindra izy. Atao encode ny fidirana. Atao decode ny fivoahana. Fa ny faharanitan-tsaina tena izy dia tsy mandika fotsiny, fa mahatadidy, mampifandray, ary miray amin'ny fandikana miorina na dia simba na tsy mazava aza ny fidirana.

Efa nanamboatra ireo olana ireo isika tamin'ny quantization, distillation, pruning ary fika fanatsarana zato hafa. Ny fanadihadiana momba ny Edge AI tamin'ny 2025 dia manamafy fa mbola "voafehy amin'ny fetra henjana momba ny mémoire, ny fanisana ary ny angovo" ny fametrahana deep learning amin'ny hardware miaraka. Fa ny fanatsarana architecture tsy mifanaraka amin'ny fototra dia mampitaredretra ny fotoana hanaovana ny tsara tarehy fotsiny. Ny ilaintsika dia architecture izay mandray ny mémoire, ny fitoniana ary ny fahombiazan'ny angovo ho fitsipika voalohany, fa tsy zavatra fanampiny aorian'ny.

Ny Tamba-jotra Neural Hopfield

Ny tamba-jotra Hopfield dia recurrent neural network ahitana sosona neurone tokana, izay mifandray amin'ny neurone hafa rehetra ny neurone tsirairay afa-tsy ny azy samy. Ny tamba-jotra dia mamorona graph tsy mitondra fitarihana feno ny tsiroaroa neurone rehetra dia mizara lanja fifandraisana mitovy refy, midika fa mitovy tanteraka ny hamafin'ny neurone i mankany amin'ny neurone j sy ny hamafin'ny jany i. Tsy misy fifandraisana amin'ny tenany (wᵢᵢ = 0). Tsy misy filaharana ambaratonga. Tsy misy tsipika fanodinana mifanesy. Fa ny tambajotra manontolo kosa dia miasa ho rafi-pitambarana iray miovaova, mifampiankina tsara, izay mivoatra amin'ny fotoana mankany amin'ny toetry ny fifandanjana milamina.

Tambajotra Hopfield misy neurona mifandray tanteraka. Ny nôdy tsirairay dia mifandray amin'ny nôdy hafa rehetra amin'ny lanja mitovy (wᵢⱼ = wⱼᵢ), ka mamorona grafika tanteraka tsy mitarika. Tsy misy fifandraisana amin'ny tena.

Ny hakanto amin'ity maritrano ity dia ny fiasan'ny angovo. Nanaporofo i Hopfield fa manana fiasan'ny angovo Lyapunov mifandray aminy ny tambajotrany:

E = −½ Σᵢ Σⱼ wᵢⱼ sᵢ sⱼ − Σᵢ θᵢ sᵢ

Voaro fa hihena (na hijanona tsy miova) ity angovo ity isaky ny fanavaozana neurona. Mifarana foana ny tambajotra: tsy mihodinkodina tsy misy farany, tsy miely, ary tsy voasarika ao anaty tadivavarana tsy misy fiafarany. Mitsahatra izy. Nanaporofo i Bruck tamin'ny 1990 fa mifandray amin'ny fanapahana (cuts) ao amin'ny grafika mifandray aminy io fitondran-tena mitsahatra io: ny tambajotra dia mampihatra algorithm mailaka ho an'ny olana max-cut isaky ny dingana fanavaozana.

Ary ny toerana itsaharan'ny tambajotra no misy ny faharanitan-tsaina. Ny lamina voatahiry dia mifanaraka amin'ny kely indrindra eo an-toerana amin'ny fiasan'ny angovo, izany hoe ny lohasaha ao amin'ny tontolon'ny angovo. Rehefa omena ny tambajotra lamina voatahiry izay simba, misy fako, na tsy feno, dia mivarina midina ny toetry ny tambajotra mandra-pilatsaka any amin'ny lohasaha akaiky indrindra: ny lamina voatahiry izay mifanaraka indrindra amin'ilay fampidirana.

Ny tontolon'ny angovo amin'ny tambajotra Hopfield. Ny lohasaha tsirairay (kely indrindra eo an-toerana) dia mifanaraka amin'ny lamina fahatsiarovana voatahiry. Raha mifanomboka amin'ny toetra voalohany rehetra, dia mivarina "midina" ny dinamikan'ny tambajotra mandra-pitsahatra ao amin'ny mpitaona akaiky indrindra, ka mamerina ny lamina feno avy amin'ny fampidirana tsy feno na misy fako.

Izany dia fahatsiarovana mifandray voakarakara araka ny votoatiny ny fahaizana mamerina fahatsiarovana feno avy amin'ny soritr'andalana vitsivitsy fotsiny, zavatra ataon'ny atidoha biolojika tsy mahasahirana, fa ny transformers kosa dia afaka manakaiky azy fotsiny amin'ny fanisana lafo vidy.

Lalina ny fifandraisana amin'ny fizika. Mitovy amin'ny modely Ising ara-matematika ny tambajotra Hopfield, izany hoe ny rafitra ihany no ampiasaina hamaritana ny mágnetisma ao amin'ny mekanika statistika. Ny modely Sherrington-Kirkpatrick momba ny spin glass, navoaka tamin'ny 1975, dia tambajotra Hopfield misy lanja kisendrasendra tsotra izao. Ny hevitr'i Hopfield dia ny nampiasa an'io toetra io an-tsitrapo, tamin'ny famolavolana ny tontolon'ny angovo mba hifanaraka amin'ny lamina voatahiry mahasoa ny kely indrindra tsirairay.

Fianarana Hebbian: Ny Neurona Miara-mirehitra, Miara-mifandray

Ny fitsipi-pianarana ahafahan'ny tambajotra Hopfield miasa dia manana fotony efa lavitra kokoa, hatramin'ny boky nosoratan'i Donald Hebb tamin'ny 1949, The Organization of Behavior, izay nanolotra ny heverina ankehitriny ho toy ny foto-kevitra fototra amin'ny teôria momba ny fianaran'ny neurona.

Tsotra be ny hevitr'i Hebb raha ny fijery voalohany: rehefa miantso tsy tapaka sy miaraka amin'ny faniriana ny sela presinaptika iray hampirehitra sela postsinaptika, dia mihamafy ny fifandraisana sinaptika eo aminy. "Ny neurona miara-mirehitra, miara-mifandray" na dia nanamarina kokoa aza i Hebb, nanantitrantitra fa ny sela A dia tsy maintsy mandray anjara amin'ny fampirehitra ny sela B, fa tsy ny mirehitra miaraka fotsiny. Io fiheverana ara-potoana io no nanambara ny fantatra ankehitriny amin'ny anarana hoe plastisite miankina amin'ny fotoanan'ny spike (STDP), izay nohamarinina andrana tamin'ny taona maro taty aoriana, anisan'izany ny fikarohana nanan-tantara nataon'i Eric Kandel momba ny sifotra-ranomasina Aplysia californica.

Fianarana Hebbian: rehefa miara-mandeha mavitrika imbetsaka ny neurona roa mifandray, dia mihamafy ny synapse eo anelanelany. Ity fitsipika ity, "ny neurona miara-miasa dia miara-mifatotra", no fototra ara-biolojika izay iantoheran'ny fitahirizan'ny tambajotra Hopfield ireo lamina.

Ao amin'ny tambajotra Hopfield, ampiharina toy izao ny fianarana Hebbian:

wᵤᵥ = (1/N) Σₗ sᵤ(l) · sᵥ(l) ho an'ny lamina rehetra voatahiry l, izay u ≠ v

Rehefa mitovy ny toetry ny neurona roa ao anatin'ny lamina iray (samy +1 na samy −1), dia positifa ny vokatr'izy ireo, ka mihamafy ny fifandraisana mampientam-po. Rehefa tsy mitovy kosa izy ireo, dia ratsy ny vokatra ary mamorona fifandraisana mampihena. Ny vokatra mitambatra dia mijery tarehimarika angovo misy lohasaha ao amin'ny lamina voatahiry tsirairay.

Ny fitsipika Hebbian dia eo an-toerana (ny fanavaozana lanja tsirairay dia mampiasa fampahalalana azon'ireo neurona roa mifandray ihany) ary mitombo tsikelikely (azo tahirizina ny lamina vaovao nefa tsy mila mamerina mandrefy ireo taloha). Mahagaga fa azo porofoina ara-matematika fa ny fianarana Hebbian dia manao fanadihadiana singa fototra (PCA) tsy voafehy amin'ny angona fidirina: ny tambajotra dia manambatra ho azy ireo toetra manan-danja indrindra ara-statistika avy amin'ny tontolony.

Tamin'ny 1997, nampiditra fitsipika fianarana nohatsaraina i Amos Storkey, izay mandray an-tsaina ny sehatra eo an-toerana amin'ny neurona tsirairay ary mahatratra fahaizana fitahirizana lehibe kokoa noho ny fianarana Hebbian mahazatra. Mampiseho izany fa na ao anatin'ny rafitra iray ihany aza, dia lehibe ny maha-zava-dehibe ny safidin'ny algorithm fianarana, fitsipika iray mifanaraka amin'ny lesona midadasika kokoa avy amin'ny fikarohana momba ny tambajotra neural.

Ny Fiovana Lehibe: "Hopfield Networks is All You Need"

Tamin'ny 2020, vondrona notarihin'i Hubert Ramsauer tao amin'ny Johannes Kepler University Linz no namoaka lahatsoratra misy lohateny mampiahiahy, mitovitovy amin'ny tantaran'ny niandohan'ny transformer: "Hopfield Networks is All You Need." Ny fandraisany anjara dia ny porofo ara-matematika ny zavatra nahiahian'ny maro: ny mekanisma self-attention ao amin'ny transformer dia marina tokoa ny fitsipika fanavaozana an'ny tambajotra Hopfield maoderina mitohy.

Ny fifandraisana eo amin'ny tambajotra Hopfield maoderina sy ny attention ao amin'ny transformer. Ny mekanisma attention mifototra amin'ny softmax ao amin'ny transformer dia mitovy ara-matematika amin'ny dingana fanavaozana iray amin'ny tambajotra Hopfield mitohy misy fiasa angovo exponentialy. Sary avy amin'i Ramsauer et al., "Hopfield Networks is All You Need."

Tsy fampitahana fotsiny izany. Naseho tamin'ny vondrona fa amin'ny alalan'ny fanalalahana ny fiasa angovo Hopfield klasika ho any amin'ny toetry mitohy sy ny fampiasana teny fifandraisana exponentialy, dia lasa toy izao ny fitsipika fanavaozana:

Z = softmax(β · R Wq Wk⊤ Y⊤) Y Wk Wv

izay marina tokoa ny raikipohy attention an'ny transformer. Ny tambajotra Hopfield maoderina dia mahay mitahiry lamina betsaka be exponentialy (araka ny habetsaky ny habaka mpifandray), mamerina azy ireo amin'ny fanavaozana tokana, ary manana fahadisoana famerenana kely be exponentialy.

Ny lahatsoratra dia nahita karazana minima angovo telo ao anatin'ity rafitra maoderina ity: (1) teboka raikitra maneran-tany izay mandrefy ny salanisan'ny lamina voatahiry rehetra, (2) toetry metastable izay mandrefy ny salanisan'ny lamina sasany, ary (3) teboka raikitra izay mitahiry lamina tokana. Ny head transformer any amin'ny sosona ambany dia matetika miasa amin'ny fomba salanisa maneran-tany, fa ny head any amin'ny sosona ambony kosa dia mampiasa toetry metastable hanangona sy hikarakara fampahalalana, zava-nitranga izay manome fahatakarana lalina momba ny antony iasan'ny transformer araka izany.

Niseho avy hatrany ny vokany azo ampiharina: namoaka ny sosona Hopfieldho môdily PyTorch azo apetraka mivantana hisolo ireo sosona pooling, sosona GRU/LSTM ary sosona attention mahazatra. Tamin'ny benchmark, ireo sosona Hopfield ireo dia nahazo vokatra ambony indrindra amin'ny fanasokajiana immune repertoire (misy zana-javatra an'hetsiny an'arivony isaky ny santionany), amin'ny olana multiple instance learning, ary amin'ny benchmark fanasokajiana UCI, izay matetika sahirana ny fomba deep learning nentim-paharazana.

Tamin'ny Desambra 2025, nandroso mihoatra ny taratasy NeurIPS nosoratan'i Masumura sy Taki: nasehony fa ny fandehanana mihoatra ny "adiabatic approximation" dia mampiseho toetry ny miafina ao amin'ny fifandraisana Hopfield-transformer, izay afaka mamaha ny olana rank collapse sy ny fitovian'ny token mahazo ny transformer lalina, ka mampiakatra ny fahamarinan'ny valiny tsy mampiditra paramètre fampiofanana fanampiny.

Ny Firaisan-kevitra Mitombo: Iza Koa no Milaza Izany?

Tsy vinavina fotsiny io fanamafisana io fa ny tambajotra Hopfield no paradigma manaraka aorian'ny transformer. Arahin'ny andrim-pikarohana lehibe mavitrika izany, ary mitombo haingana ny porofo. Ireto ny feo sy taratasy manan-danja izay mifanena amin'ny famaranana iray ihany.

IBM Research sy Dmitry Krotov

Tamin'ny Janoary 2025, namoaka dinidinika lalina niaraka tamin'i Dmitry Krotov ny IBM Research, mpiara-miasa efa ela amin'i Hopfield sady iray amin'ireo mpamorona ny Dense Associative Memory. Nanambara mivantana i Krotov fa satria mitovy amin'ny kodiarana feedback miverimberina ao amin'ny atidoha ny tambajotra Hopfield, tsy toy ny maritrano feedforward ao amin'ny 90% amin'ny modely AI ankehitriny, dia "safidy mampanantena fa afaka misolo ireo tambajotra feedforward ankehitriny" izy ireo. Naneho izy fa mandefa ny vaovao amin'ny lalana iray ihany ny transformer, ary rehefa lavitra kokoa ny fe-potoana context dia miakatra haingana ny fahasarotana ara-kajy. Ny atidoha kosa mampiasa kodiarana feedback miverimberina mba handrafetana sy hitahiry ny fampahalalana taloha ao amin'ny memoria. Toy izany ihany ny fiasan'ny tambajotra Hopfield.

Nanazava ihany koa i Krotov ny Energy Transformer (NeurIPS 2023), fiaraha-miasa eo amin'ny IBM Research sy Georgia Tech, izay tsy mametraka fotsiny ny hevitra Hopfield ho sosona amin'ireo transformer efa misy, fa mosolany modely Associative Memory lehibe tokana ny filaharan'ny blok transformer feedforward rehetra. Tsy mitovy mazava amin'ny attention mahazatra ny mekanisma attention ao amin'ny Energy Transformer: avy amin'ny fitsipika fototra momba ny fampihenana angovo izy, fa tsy nasiana fanampiana tamin'ny pipeline feedforward.

🔗 IBM Research "Searching for brain-inspired AI algorithms" (Jan 2025)

🔗 Energy Transformer arXiv:2302.07253 (NeurIPS 2023)

Johannes Kepler University - Vondrona Hochreiter

Sepp Hochreiter, mpiara-namorona ny LSTM, no nitarika ny ekipa namoaka ny "Hopfield Networks is All You Need." Ny repository Hopfield layers nataon'izy ireo dia manome môdily PyTorch vonona hampiasaina amin'ny famokarana, azo apetraka mivantana ho solon'ny sosona attention an'ny transformer, ny sosona pooling ary ny sosona miverimberina. Ny lahatsoratra namana dia mandalina ny fakana ara-pototra mampiseho fa tranga manokana amin'ny fitsipika fanavaozana Hopfield maoderina ny raikipohy softmax attention, ary manome fiasa fanampiny tsy azon'ny attention mahazatra atao ny sosona Hopfield, anisan'izany ny prototype statika nianarana sy ny fanamboarana associative memory mora ovaina.

🔗 Hopfield Networks is All You Need - ICLR 2021

🔗 PyTorch Hopfield Layers - GitHub

🔗 Interactive Blog Post - ml-jku.github.io

NeurIPS 2025: Hopfield Attention Improves GPT and Vision Transformers

Ny porofo vaovao indrindra dia avy amin'ny taratasy NeurIPS Desambra 2025 nosoratan'i Masumura sy Taki. Nasehony fa Modern Hopfield Attention (MHA) izay manampy ny toetry ny hidden avy amin'ny fiovaovan'ny Hopfield feno (tsy adiabatic) dia manatsara tsy tapaka ny maodely fiteny GPT-2 sy LLaMA ary ny Vision Transformers. Tsy nisy parametera fanampiny ilaina tamin'ny fanazarana ireo fanatsarana ireo. Ny mbola zava-dehibe kokoa, hita fa mamaha ny olana rank collapse ny MHA (izay mihena tsy ho lasa matanjaka ny matrices attention ao amin'ireo transformers lalina, ka mahatonga ny token rehetra hifantoka amin'ny fisehoana mitovy) izany hoe aretina fototra izay efa nanakana ny fampitomboana ny transformers hatry ny ela. Ny famaranan'ny mpanoratra: "Manantena izahay fa hanokatra ho an'ny fandrafetana nahitsy ny architecture Transformer amin'ny alalan'ny tamba-jotra Hopfield ity fikarohana ity."

🔗 On the Role of Hidden States of Modern Hopfield Network in Transformer arXiv:2511.20698 (NeurIPS 2025)

Nature Communications: Fianarana an-tserasera mifanaraka amin'ny biolojia

Tamin'ny Mey 2024, namoaka asa momba ny Sparse Quantized Hopfield Network ny Nature Communications, maodely iray izay mianatra amin'ny fitsipiky ny fianarana eo an-toerana ao anatin'ny toe-javatra an-tserasera sy tsy mitsaha, mivaingana tahaka ny fomba ataon'ny atidohan'ny zava-manan'aina. Izany dia mamaha fetra fototra ao amin'ny transformers, izay mila backpropagation tsy eo an-toerana sy fanazarana tsy an-tserasera amin'ny angon-drakitra voafantina. Ny taratasy dia mametraka ny architecture mifototra amin'ny Hopfield ho tetezana voajanahary eo amin'ny tamba-jotra neural artifisialy sy ny fitaovana informatika neuromorphic.

🔗 A Sparse Quantized Hopfield Network for Online-Continual Memory Nature Communications (2024)

Sosona Hopfield mahomby amin'ny outlier ho an'ny maodely fototra lehibe

Taratasy tamin'ny 2024 no nitady vahaolana ho an'ny olana azo ampiharina amin'ny maodely transformer lehibe: ny fironana hanome fifantohana amin'ny token tsy misy vaovao (delimiter, famantarana tsy fanonona) izany hoe ny olana "no-op outlier". Ny vahaolan'izy ireo dia outlier-efficient Hopfield energy function izay mandrafitra ireo token ireo ary mitondra azy ireo any amin'ny teboka zero-energy, ka misakana azy tsy hampihena ny fifantohana ilaina. Ny maodely vokatr'izany dia misy ny Softmax₁ attention ho tranga manokana ary nohamarinina tamin'ny BERT, OPT ary Vision Transformers. Ity dia teôria Hopfield mamaha olana tena misy amin'ny injeniera transformer.

🔗 Outlier-Efficient Hopfield Layers for Large Transformer-Based Models (2024)

Transformers ho mpampihena angovo (Janoary 2026)

Ny asa teôrika vao haingana indrindra, navoaka tamin'ny Janoary 2026, dia mamaritra ny fandehan'ny transformer rehetra ho fampihenana angovo anatiny, ka manaiky tanteraka ny fomba fijery Hopfield ho rafitra fanazavana ny antony ahafahan'ny transformers miasa. Ny taratasy dia mampifandray ny maodely Hopfield maoderina sparse amin'ny fianakaviana feno misy ny karazana attention (softmax, sparsemax, α-entmax), manaporofo fa tranga manokana rehetra izy ireo amin'ny dinamika fakana mifototra amin'ny angovo.

🔗 Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle (Jan 2026)

Taratasy fanadihadiana sy loharanon-kevitra avy amin'ny vondrom-piarahamonina

Mandamina manodidina ity fifanojoana ity ny vondrom-piarahamonina mpikaroka midadasika kokoa:

• "Energy-Based Learning and the Evolution of Hopfield Networks" (TechRxiv, Aprily 2025) Famerenana feno mamakafaka ny lalana manontolo manomboka amin'i Hopfield (1982) mankany amin'ny Boltzmann Machines ka hatrany amin'ny fandikana indray ny transformer attention ho dinamika Hopfield maoderina. → Vakio ny taratasy
• "An Energy-Based Perspective on Attention Mechanisms in Transformers" Bilaogy teknika lalina miady hevitra fa ny fahatakarana ny transformers amin'ny alalan'ny solomaso angovo Hopfield "mety hitondra fanatsarana hafa tanteraka mihoatra noho izay azo atao amin'ny fiankinana amin'ny fampitomboana sy ny fampihenana ny fahasarotana ara-pikajiana ihany." → Vakio ny bilaogy
• Awesome Modern Hopfield Networks Rakitra voafantina ao amin'ny GitHub izay manaraka ny taratasy mihoatra ny 50 momba ny tambajotra Hopfield maoderina amin'ny sehatra maro samihafa: fizarana fananana, fitadiavana fiovana, famerenana ny eritreritra mamorona, fitadiavana angona ivelan'ny fizarana, fanasokajiana ny repertoire fiarovana vatana, ary maro hafa. → Jereo ny fanangonana
• "Is Hopfield Networks All You Need?" (Analytics India Magazine, Des 2024) Fanehoana mifantoka amin'ny mpampihatra momba ny fomba nanehoan'ny ekipan'i Hochreiter fa azo ovaina mifandimby amin'ireo modely transformer tsara indrindra ankehitriny ny tambajotra Hopfield. → Vakio ny lahatsoratra
• "New Research in Hopfield Networks: A Short Intro" (Medium, Jolay 2024) Topimaso mora azo ahafantarana fa nitombo ny fahaizana mitahiry, avy amin'ny 0.138N ho 2^(N/2), noho ny fampiasana fiasa fampandehanana exponentielle. → Vakio ao amin'ny Medium

Mazava ny làlana alehany. Tsy tolo-kevitry ny laboratoara iray na eritreritra tamin'ny taratasy iray fotsiny ity. IBM Research, Johannes Kepler University, MIT, NeurIPS, Nature Communications ary ny vondrom-piarahamonina machine learning amin'ny ankapobeny dia mifanatrika amin'ny fehin-kevitra iray ihany avy amin'ny lafiny samihafa: ny paradigma fitadidiana mifandray sy mifototra amin'ny angovo izay napetrak'i Hopfield dia tsy fototra fotsiny nanorenana ny transformers tsy fantatra, fa izy no rafitra hitondra ny AI mihoatra noho izay azon'ny transformers irery atao.

Ny antony manan-danja izao: ny tohan-kevitra amin'ny fifindrana

Fifanarahana voatoky ho an'ny rafitra tena miantoka ny fiarovana

Mamoaka valiny ny transformers, saingy tsy misy antoka matematika momba ny fahamarinan-toerana. Mifanaraka amin'ny toetra miorina ny tambajotra Hopfield araka ny porofo  mihena tsy tapaka ny fiasan'ny angovo. Ho an'ny robotika, ny fiaramanidina mandeha ho azy, ny fitaovana ara-pitsaboana, ary ny rafitra rehetra tsy azo tsinontsinoavina ny fahatokisana, dia fepetra tsy azon'ny transformers omena izany.

Fitadidiana mifandray ho fahaizana fototra

Raha ampiofanina ny tambajotra Hopfield mba ho kintan'angovo ambany indrindra ny toetry ny (1, −1, 1, −1, 1), ary omena ny fidirana simba (1, −1, −1, −1, 1), dia mifanatrika amin'ny lamina voatahiry marina ny tambajotra. Tsy mitsikaritsika na mamoron-kevitra izy: midina any amin'ny tendrombohitra angovo mankany amin'ny attractor akaiky indrindra. Ho an'ny robotika misy sensor voasakana, ny rafitra miorina amin'ny angona misy fikorontanana, ary ny fampiharana rehetra mitaky famenoana lamina avy amin'ny fidirana tsy feno, dia fanovana lehibe izany.

Milina fanatsarana azo ampiasaina amin'ny zavatra rehetra

Nanaporofo i Hopfield sy David Tank tamin'ny 1985 fa afaka mamaha ny olana mpivarotra mandeha (traveling salesman problem) ny tambajotra Hopfield. Raha azo soratana amin'ny endriky ny angovo Hopfield ny fiasan'ny vidiny, dia ny teboka fifandanjan'ny tambajotra no vahaolana. Nanomboka teo, nampiharina tamin'ny fandaharam-potoana job-shop, ny fizarana fantsona amin'ny tambajotra tsy misy tariby, ny fanarenana sary, ny fanovana analogue ho nomerika, ny lalana an'ny finday ary ny fanatsarana combinatorial ilay rafitra. Nasongadin'ny taratasy iray tao amin'ny Nature Communications tamin'ny 2024 ny Sparse Quantized Hopfield Network ho an'ny fianarana fitadidiana mitohy an-tserasera miaraka amin'ny fitsipika eo an-toerana toy ny ataon'ny atidohan'ny zavamananaina, fahaizana tsy ananan'ny transformers mihitsy.

Fitaovana mieritreritra tsy misy lohamilina

Mampifandray mivantana amin'ny faritra elektronika analogue ny fameperana lanja symétrique (wᵢⱼ = wⱼᵢ) fa mitovy hatrany ny fifandraisana resistive. Azo vokarina ho ASIC na FPGA ny tambajotra Hopfield, miaraka amin'ny inference amin'ny haben'ny nanosegondra. Manamafy io làlana io ny fanangonana Nature 2025 momba ny neuromorphic computing: fitaovana analogue mitsitsy angovo mampihatra ny dinamika neural eo amin'ny sisiny, miaraka amin'ny fitadidiana adreseny amin'ny votoatiny izay tsy mila GPU, CPU, na rafitra rindrambaiko.

Chip AI neuromorfika sy analogika izay mampihatra mivantana ao anatin'ny hardwer ny dinamikan'ny tambajotra neural. Ny firafitry ny tambajotra Hopfield, mifototra amin'ny angovo ary mitovy tsiroaroa, dia mifanaraka ho azy amin'ny faritra elektronika mitoherana (resistive), ka ahafahana manao inference AI amin'ny haingan'ny nanosegondra, tsy mila rafitra rindrambaiko nentim-paharazana.

Fahaizana mivadika: binary sy mitohy

Ny tambajotra Hopfield klasika dia mampiasa neurona binary (+1 na −1); ny karazana mitohy kosa mampiasa activation sigmoidal sy fampitoviana diferansialy. Azo atao asynchronous ny fanavaozana (neurona iray isaky ny mandeha, izay manome antoka ny fihaonana amin'ny vahaolana) na synchronous (miaraka daholo, ka ahafahana manao asa mifanindry). Ny firafitra iray ihany dia mifanaraka amin'ny microcontroller misy RAM kilaoctet vitsy ka hatramin'ny FPGA mifanindry be dia be, ary ankehitriny, miaraka amin'ny sosona Hopfield maoderina, hatramin'ny pipeline deep learning haingana amin'ny GPU.

Fahaizana mitahiry: ny fetra marina

Mazava ny fetra klasika: ny tambajotra misy neurona N dia mahatahiry azo itokisana ny môdely eo ho eo amin'ny 0.138N vao simba ny fahatsiarovana noho ny toe-javatra sandoka. Fetra tena misy izany, saingy fetra marina. Ny transformers kosa tsy manana fetra matematika mazava milaza hoe rahoviana izy ireo no hanomboka hamoron-javatra diso (hallucinate).

Fanampin'izany, ny tambajotra Hopfield maoderina (Krotov & Hopfield, 2016; Demircigil et al., 2017) dia mahatratra fahaizana mitahiry exponentialy noho ny teny fifandraisana ambony kokoa. Mitohy ny fikarohana hanitatra ireo fetra ireo: ny tambajotra Hopfield sparse sy voarafitra, ny fitadidiana Hopfield ho an'ny filaharana lava, ary ny tambajotra Hopfield ho an'ny fanendrena fananana dia samy sehatra mavitrika amin'ny fampandrosoana, miaraka amin'ny taratasy fikarohana mitambatra haingana.

Fampiasana azo atao: avy amin'ny PC ka hatramin'ny faritra elektronika

Ny fahitana voalohany nataon'ireo mpikaroka tambajotra neural tany am-piandohana dia mazava: rafitra azo faritana indray mandeha ary azo ampiasaina na aiza na aiza. Ny firafitry ny Hopfield dia mahatanteraka izany:

Rindranasa amin'ny solosaina Matrice lanja iray sy fitsipi-pamerenana iray. Tsy mila GPU.

Rindranasa amin'ny Internet Fitadidiana azo vakiana araka ny votoaty ho an'ny fikarohana mitovy, ny tolo-kevitra ary ny fanalana kopia.

Robotika Fihaonana voaantoka ho an'ny tadivavarana fanaraha-maso amin'ny fotoana tena izy. Voatahiry ho attractors ny môdely hetsika motera, ary averina na dia avy amin'ny signal mpandray misy fako aza.

Rafitra mitoka-monina (embedded) Mandeha amin'ny microcontroller amin'ny aritmetika isa manontolo fotsiny ny tambajotra Hopfield binary.

Faritra elektronika Mifanaraka amin'ny tambajotra mitoherana ny lanja mitovy tsiroaroa. Ny faharanitan-tsaina dia vita mivantana ao anaty silisiôma.

Ny làlana manaraka

Nanome milina ho an'ny fiteny miavaka antsika ny vanim-potoanan'ny transformer. Saingy mivelatra mankany amin'ny tontolo ara-batana ny sisin-tany vaovao: ny robot, ny sensor, ny actuator ary ny fanapahan-kevitra amin'ny fotoana tena izy. Ireo sisin-tany ireo dia mitaky rafitra mahitsy, mahomby, azo takarina ary azo apetraka amin'ny hardwer misy tokoa eo amin'ny sisiny (edge).

Ny porofo tamin'ny taona 2020 fa ny attention an'ny transformer dia fitsipi-pamerenana Hopfield maoderina, dia tsy zava-baovao matematika fotsiny fa nanambara fa nampiasa tambajotra Hopfield foana isika hatramin'izay, tafahoatra tao anatin'ny rafitra nanafina ny tena toetrany. Ny asa tao amin'ny NeurIPS 2025 izay nampiseho fa mamaha ny aretin'ny transformer toy ny rank collapse ny toe-java-miafina Hopfield dia manoro ny dingana manaraka: tsy ny manamboatra ny transformers amin'ny hevitra Hopfield, fa ny manorina mivantana eo amin'ny paradigma Hopfield mihitsy.

John Hopfield no nanoro ny lalana tamin'ny 1982. Donald Hebb no nanorina ny fototra biolojika tamin'ny 1949. Mivondrona manodidina izany izao ny vondrom-pikarohana.

Fotoana izao hifindra.

Loharano

• Hopfield, J.J. (1982). "Neural networks and physical systems with emergent collective computational abilities." PNAS, 79(8), 2554–2558.
• Hebb, D.O. (1949). The Organization of Behavior. Wiley.
• Ramsauer, H. et al. (2020). "Hopfield Networks is All You Need." ICLR 2021. arXiv:2008.02217
• Krotov, D. & Hopfield, J.J. (2016). "Dense Associative Memory for Pattern Recognition." NeurIPS.
• Storkey, A. (1997). "Increasing the capacity of a Hopfield network without sacrificing functionality." ICANN.
• Hoover, B., Krotov, D. et al. (2023). "Energy Transformer." NeurIPS 2023. arXiv:2302.07253
• Masumura, T. & Taki, M. (2025). "On the Role of Hidden States of Modern Hopfield Network in Transformer." NeurIPS 2025. arXiv:2511.20698
• Alonso, N. & Krichmar, J. (2024). "A sparse quantized Hopfield network for online-continual memory." Nature Communications, 15, 3722. nature.com
• Hu, J.Y. et al. (2024). "Outlier-Efficient Hopfield Layers for Large Transformer-Based Models." arXiv:2404.03828
• Hu, J.Y. et al. (2026). "Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle." arXiv:2511.00907
• Hopfield, J.J. & Tank, D.W. (1985). "'Neural' Computation of Decisions in Optimization Problems." Biological Cybernetics, 52, 141–152.
• Bruck, J. (1990). "On the convergence properties of the Hopfield model." Proceedings of the IEEE.
• Krotov, D. (2025). "Searching for brain-inspired AI algorithms." IBM Research Blog. research.ibm.com
• "Energy-Based Learning and the Evolution of Hopfield Networks." TechRxiv, Aprily 2025. techrxiv.org