Хеббийн сургалт Хопфилдийн сүлжээтэй уулзахад: Трансформерээс үргэлж илүү ухаалаг байсан архитектур
Сүүлийн арван жилд трансформерууд болон тэдгээрийн анхаарлын механизм хиймэл оюун ухааны ертөнцийг эзэлж ирлээ. GPT-ээс BERT, Vision Transformer хүртэл "attention is all you need" гэсэн уриа машин сургалтын тухай бидний сэтгэлгээг өөрчилсөн. Өгөгдлийг нэг дүрслэлээс нөгөөд хөрвүүлдэг орчуулагч системүүд буюу кодлогч-тайлагч дамжуулалтууд хэл боловсруулалтаас эхлээд зураг үүсгэх хүртэлх бүхний үндэс болсон. Тэд хувьсгалт байсан. Тэд хүчирхэг байсан.
Харин одоо тэд хана мөргөж байна.
Хачирхалтай нь, шийдэл нь 1982 оноос хойш байсаар ирсэн. Тэр жил Жон Хопфилд Proceedings of the National Academy of Sciences сэтгүүлд нийтлэл гаргаж, трансформерууд хэзээ ч бүрэн хүрч чадаагүй нэгэн шинж чанартай рекуррент мэдрэлийн сүлжээг танилцуулсан юм. Энэ нь энергийг минимумчилснаар тогтвортой төлөвт заавал нийлэх баталгаа юм. Хопфилдийн сүлжээ зүгээр л хэв маяг сурдаггүй, тэдгээрийг энергийн ландшафт дахь физик аттрактор болгон хадгалдаг байсан тул чимээтэй эсвэл бүрэн бус оролтоос ч сэргээн гаргаж чаддаг.
Физик, мэдрэл судлалын нийгэмлэгүүд хэдэн арван жилийн өмнөөс мэддэг байсан зүйлийг хиймэл оюун ухааны нийгэмлэг одоо л ухаарч эхэлж байна: мэдрэлийн тооцоололд энерги дээр суурилсан, ассоциатив хандлага бол түүхэн сонин сэтгэл татам зүйл биш, трансформерийн эрин үе үүнийг бүрэн ойлгохгүйгээр л өөрийн суурь болгон ашигласан үндсэн парадигм юм.
Трансформерийн таазны хязгаар
Трансформерууд өөрийн анхаарлаар (self-attention) дарааллын бүх элементийн хоорондын харилцааг нэгэн зэрэг тооцдог. Хэлний хувьд энэ нь гайхалтай. Тодорхой дараалсан хэв маягтай бүтэцлэгдсэн өгөгдлийн хувьд ч гайхалтай. Гэвч бодит ертөнц буюу робот техник, шигтгээст схем, мэдрэгчээр удирддаг шийдвэр гаргалт, захын тооцоолол (edge computing) хэзээ ч анхаарал хандуулахыг хүлээж буй цэгцтэй дараалал болон зохион байгуулагддаггүй.
Трансформерийн архитектур нь элбэг дэлбэг байдлыг урьдчилан таамагладаг: тооцоолох хүчин чадал элбэг, санах ой элбэг, цахилгаан хүч элбэг гэж. Self-attention нь дарааллын уртаас квадратаар өсдөг. Шулуун дамжуулалтын давхаргууд шугаман хэмжээгээр боловч асар их өсдөг. Та трансформер дээр суурилсан системийг агуулахад чиглэн явж буй хөдөлгөөнт робот дээр байршуулах, эсвэл үйлдвэрийн гарыг удирддаг электрон схемд шигтгэх үед эдгээр таамаглал нурна.
Орчуулагчийн парадигм өөрөө ч хязгаарлалттай: энэ нь оюун ухааныг голчлон тогтсон дүрслэлүүдийн хоорондын хөрвүүлэлтийн асуудал гэж үздэг. Оролтыг кодло. Гаралтыг тайл. Харин жинхэнэ оюун ухаан зүгээр л орчуулдаггүй, санаж, холбож байдаг бөгөөд оролт нь муудсан эсвэл тодорхойгүй үед ч тогтвортой тайлбарт нийлдэг.
Бид эдгээр асуудлыг квантчилал, нэрэгдүүлэлт (distillation), сийрэгжүүлэлт (pruning) болон зуун бусад оновчлолын аргаар нөхөж ирсэн. 2025 оны Edge AI судалгаанууд шигтгээст техник хангамж дээр гүн сургалт байршуулах нь "санах ой, тооцоолол, энергийн хатуу хязгаарлалтаар" хязгаарлагдсан хэвээр байгааг баталж байна. Гэвч үндсэндээ таарахгүй архитектурыг оновчлох нь тооцоо хийх мөчийг хойшлуулахаас өөр юм хийхгүй. Бидэнд хэрэгтэй зүйл бол санах ой, тогтвортой байдал, энергийн үр ашгийг дараа нь нэмэх зүйл биш, анхдагч зарчим болгон авч үздэг архитектур юм.
Хопфилдийн мэдрэлийн сүлжээ тоглолтод орлоо
Хопфилдийн сүлжээ бол нэг давхарга нейроноос бүрдэх рекуррент мэдрэлийн сүлжээ бөгөөд нейрон бүр өөрөөсөө бусад бүх нейронтой холбогдсон байдаг. Сүлжээ нь бүрэн чиглэлгүй граф үүсгэнэ: нейронуудын хос бүр тэгш хэмтэй холболтын жин хуваалцдаг, өөрөөр хэлбэл нейрон i-ээс нейрон j-д очих хүч нь j → i. Өөртэйгөө холбогдох холбоос байхгүй (wᵢᵢ = 0). Давхарга бүхий шаталсан бүтэц ч, дараалсан боловсруулалтын шугам ч байхгүй. Харин бүх сүлжээ нь цаг хугацааны явцад тогтвортой тэнцвэрийн төлөв рүү чиглэн хөгжих, бүхэлдээ нэг, хоорондоо холбогдсон динамик систем болж ажиллана.
Мэдрэлийн эсүүд нь бүрэн холбогдсон Хопфилдийн сүлжээ. Зангилаа бүр бусад бүх зангилаатай тэгш хэмтэй жингээр (wᵢⱼ = wⱼᵢ) холбогдож, бүрэн чиглэлгүй граф үүсгэнэ. Өөртэйгөө холбогдох холбоос байхгүй.
Энэ архитектурын гоо сайхан нь түүний энергийн функц-д оршино. Хопфилд өөрийн сүлжээ нь Ляпуновын энергийн функцтэй гэдгийг баталсан:
E = −½ Σᵢ Σⱼ wᵢⱼ sᵢ sⱼ − Σᵢ θᵢ sᵢ
Мэдрэлийн эс бүр шинэчлэгдэх бүрд энэ энерги буурах (эсвэл өөрчлөгдөхгүй байх) нь баталгаатай. Сүлжээ үргэлж нэг төлөвт нийлдэг: хэзээ ч төгсгөлгүй хэлбэлздэггүй, зөрж холддоггүй, төгсгөлгүй тооцооллын давталтад орооцолддоггүй. Тэр тогтдог. Брюк 1990 онд энэ тогтох үйл явц нь сүлжээтэй холбоотой графын зүсэлттэй холбогддог гэдгийг баталсан: сүлжээ шинэчлэл бүрийн алхамд max-cut бодлогын шунахай алгоритмыг үндсэндээ гүйцэтгэдэг.
Сүлжээ хаана тогтнож байна, оюун ухаан яг тэнд оршино. Хадгалагдсан хэв загварууд нь энергийн функцийн локал минимум-д харгалзана — энергийн ландшафтын хөндийнүүд юм. Сүлжээнд хадгалагдсан хэв загварын гэмтсэн, шуугиантай эсвэл бүрэн бус хувилбарыг өгөхөд динамик нь сүлжээний төлвийг налуугаар доош өнхрүүлж, хамгийн ойрын хөндийд хүргэнэ: энэ нь оролттой хамгийн сайн таарах хадгалагдсан хэв загвар юм.
Хопфилдийн сүлжээний энергийн ландшафт. Хөндий (локал минимум) бүр хадгалагдсан санах ойн нэг хэв загварт харгалзана. Дурын анхны төлвөөс эхлээд сүлжээний динамик «налуугаар доош» өнхөрч, хамгийн ойрын аттрактор дээр тогтоно — хэсэгчилсэн эсвэл шуугиантай оролтоос бүрэн хэв загварыг сэргээнэ.
Энэ бол агуулгаар хаяглагддаг ассоциатив санах ой — хэсэгчилсэн сэжмээс бүрэн дурсамжийг сэргээн санах чадвар. Биологийн тархи үүнийг ямар ч хүчгүйгээр хийдэг бол трансформерууд зөвхөн үнэтэй тооцоолол хийж байж ойролцоолж чадна.
Физиктэй холбоо нь гүн гүнзгий. Хопфилдийн сүлжээ нь Изингийн загвартай математикийн хувьд эквивалент — статистик механикт соронзлолыг тайлбарладаг яг тэр хүрээ юм. 1975 онд нийтлэгдсэн Шеррингтон-Киркпатрикийн спин шилний загвар нь үндсэндээ санамсаргүй жинтэй Хопфилдийн сүлжээ юм. Хопфилдийн оновчтой санаа нь энэ шинж чанарыг зориуд ашиглаж, минимум бүр нь хэрэгтэй хадгалагдсан хэв загвартай таарахаар энергийн ландшафтыг зохиосонд оршино.
Хеббийн сургалт: хамт өдөөгддөг мэдрэлийн эсүүд хамт холбогддог
Хопфилдийн сүлжээг ажиллуулдаг сургалтын дүрмийн үндэс бүр ч эрт, Дональд Хеббийн 1949 онд бичсэн Зан үйлийн зохион байгуулалт номонд байдаг. Тэр ном нь одоо мэдрэлийн сургалтын онолын үндсэн зарчим гэж тооцогддог санааг дэвшүүлсэн юм.
Хеббийн санаа хуурамч энгийн байв: синапсын өмнөх эс синапсын дараах эсийг дахин дахин, тууштай өдөөхөд оролцвол тэдгээрийн хоорондох синаптик холбоо бэхжинэ. «Хамт өдөөгддөг мэдрэлийн эсүүд хамт холбогддог» гэдэг ч Хебб өөрөө илүү нарийвчлалтай байж, А эс зөвхөн Б эстэй нэгэн зэрэг өдөөгдөх бус, Б эсийг өдөөхөд шалтгаан болж оролцох ёстойг онцолсон. Цаг хугацааны энэ шалтгаант байдал нь хожим нь спайкийн цагаас хамаарах пластик чанар (STDP) гэж нэрлэгдэх болсон үзэгдлийг урьдчилан харуулсан байв. Үүнийг олон арван жилийн дараа туршилтаар баталсан бөгөөд тэдгээрийн дотор Эрик Канделийн чухал судалгаанд ашигласан далайн нялцгай биет Aplysia californica.
Хеббийн сургалт: хоорондоо холбогдсон хоёр мэдрэлийн эс давтагдан хамт идэвхжихэд тэдгээрийн хоорондох синапс бэхжинэ. "Хамт цахилзсан мэдрэлийн эс хамт холбогдоно" гэсэн энэ зарчим нь Хопфилдын сүлжээ хэв загварыг хэрхэн хадгалдгийн биологийн үндэс юм.
Хопфилдын сүлжээнд Хеббийн сургалтыг дараах байдлаар хэрэгжүүлнэ:
wᵤᵥ = (1/N) Σₗ sᵤ(l) · sᵥ(l) хадгалагдсан бүх хэв загвар l дээр, энд u ≠ v
Хоёр мэдрэлийн эс тухайн хэв загварт ижил төлөвтэй байвал (хоёулаа +1 эсвэл хоёулаа −1) тэдгээрийн үржвэр эерэг гарч, өдөөх холбоог бэхжүүлнэ. Харин зөрөх үед үржвэр сөрөг болж, дарангуйлах холбоо үүснэ. Эдгээрийн хуримтлагдсан нөлөө нь хадгалагдсан хэв загвар бүрт нэг хөндий бүхий энергийн хөрс (energy landscape) сийлдэг.
Хеббийн дүрэм нь локал (жин бүрийн шинэчлэлт зөвхөн холбогдсон хоёр мэдрэлийн эсэд байгаа мэдээллийг ашигладаг) бөгөөд нэмэгдэлт (шинэ хэв загварыг хуучныг дахин боловсруулахгүйгээр хадгалж болно) шинжтэй. Хамгийн гайхалтай нь, Хеббийн сургалт нь оролтын өгөгдөлд хяналтгүй үндсэн бүрэлдэхүүн хэсгийн шинжилгээ (PCA) хийдэг гэдгийг математикаар батлах боломжтой буюу сүлжээ орчноосоо статистик утгаараа хамгийн чухал шинж чанаруудыг өөрөө тусган авдаг.
1997 онд Эймос Сторки мэдрэлийн эс бүр дэх локал оронг харгалзан үздэг сайжруулсан сургалтын дүрмийг танилцуулсан бөгөөд энэ нь стандарт Хеббийн сургалтаас илүү хадгалах багтаамжийг хангасан. Нэг архитектурын хүрээнд ч сургалтын алгоритмын сонголт гүнзгий нөлөөтэй гэдгийг энэ харуулж байгаа нь мэдрэлийн сүлжээний судалгаанаас гарах ерөнхий сургамжтай нийцэж байна.
Томоохон нээлт: "Hopfield Networks is All You Need"
2020 онд Иоханнес Кеплерийн нэрэмжит Линцийн их сургуулийн Хубертус Рамсауэрын тэргүүлсэн баг трансформерын үүсэл түүхийг санагдуулсан сонирхолтой нэртэй өгүүлэл нийтэлсэн нь: "Hopfield Networks is All You Need." Тэдний оруулсан хувь нэмэр нь олон хүний таамагласан зүйлийн математик нотолгоо байлаа: трансформер дахь өөртөө анхаарал хандуулах (self-attention) механизм бол орчин үеийн тасралтгүй Хопфилдын сүлжээний шинэчлэлтийн дүрэм яг тэр хэвээрээ мөн.
Орчин үеийн Хопфилдын сүлжээ ба трансформерын анхаарлын (attention) механизмын холбоо. Трансформер дахь softmax-д суурилсан анхаарлын механизм нь экспоненциал энергийн функцтэй тасралтгүй Хопфилдын сүлжээний нэг шинэчлэлтийн алхамтай математикийн хувьд тэнцүү. Зураг: Ramsauer et al., "Hopfield Networks is All You Need."
Энэ нь зүгээр нэг зүйрлэл биш байв. Баг сонгодог Хопфилдын энергийн функцийг тасралтгүй төлөвт ерөнхийлж, экспоненциал харилцан үйлчлэлийн гишүүн ашигласнаар шинэчлэлтийн дүрэм дараах хэлбэртэй болохыг харуулсан:
Z = softmax(β · R Wq Wk⊤ Y⊤) Y Wk Wv
энэ нь яг трансформерын анхаарлын томьёо юм. Орчин үеийн Хопфилдын сүлжээ нь экспоненциал олон хэв загварыг (ассоциатив орон зайн хэмжээстэй пропорционалаар) хадгалж, тэдгээрийг нэг шинэчлэлтээр сэргээж, сэргээлтийн алдаа нь экспоненциалаар жижиг байдаг.
Өгүүлэлд энэ орчин үеийн хүрээнд энергийн гурван төрлийн минимумыг тодорхойлсон: (1) хадгалагдсан бүх хэв загварын дундажийг авдаг глобал тогтмол цэг, (2) хэв загваруудын дэд олонлогийн дундажийг авдаг метатогтвортой төлвүүд, мөн (3) ганц хэв загварыг хадгалдаг тогтмол цэгүүд. Доод давхаргын трансформерын толгойнууд глобал дундажлах горимд ажиллах хандлагатай бол дээд давхаргын толгойнууд мэдээллийг цуглуулж боловсруулахдаа метатогтвортой төлвүүдийг ашигладаг. Энэ олдвор трансформерууд яагаад ингэж ажилладаг тухай гүнзгий ойлголт өгдөг.
Практик ач холбогдол нь шууд мэдрэгдсэн: баг Hopfield давхарга ыг PyTorch-ийн шууд солих боломжтой модуль болгон гаргасан бөгөөд эдгээр нь pooling давхарга, GRU/LSTM давхарга болон стандарт attention давхаргыг орлож чадна. Туршилтын харьцуулалтад эдгээр Hopfield давхарга нь дархлааны репертуарын ангилал (нэг дээжид хэдэн зуун мянган объект ногдоно), олон тохиолдолт сургалтын (multiple instance learning) бодлогууд, мөн уламжлалт гүн сургалтын аргууд ихэвчлэн бэрхшээлтэй тулгардаг UCI ангиллын тест дээр орчин үеийн шилдэг үр дүнд хүрсэн.
2025 оны арванхоёрдугаар сар гэхэд Масумура, Таки нарын NeurIPS-ийн өгүүлэл цааш явж, "адиабатик ойролцоолол"-оос цааш гарвал Hopfield болон transformer хоорондын харилцан тохирлоос далд төлөвүүд илэрдгийг үзүүлсэн. Эдгээр төлөв нь гүн transformer-уудыг зовоодог rank collapse болон токенуудын нэг төрөлжилтийн асуудлыг шийдэж, сургалтын ямар ч нэмэлт параметр оруулалгүйгээр нарийвчлалыг сайжруулдаг.
Өсөн нэмэгдэж буй зөвшилцөл: Өөр хэн үүнийг хэлж байна вэ?
Hopfield сүлжээ нь transformer-ийн дараагийн парадигм гэсэн энэ үзэл нь таамаглал биш. Үүнийг томоохон судалгааны байгууллагууд идэвхтэй хөөцөлдөж байгаа бөгөөд нотолгоо хурдацтай нэмэгдсээр байна. Нэг дүгнэлт рүү нийлж буй гол дуу хоолой, өгүүллүүд эндээс харагдана.
IBM Research ба Дмитрий Кротов
2025 оны нэгдүгээр сард IBM Research Дмитрий Кротов-той хийсэн өргөн хүрээтэй ярилцлагаа нийтэлсэн. Тэрээр Hopfield-ийн удаан жилийн хамтрагч бөгөөд Dense Associative Memory-г бүтээгчдийн нэг юм. Кротов санаагаа шууд хэлсэн: Hopfield сүлжээ нь одоогийн хиймэл оюуны загваруудын 90 хувийн feedforward архитектураас ялгаатай нь тархины давтагдах эргэх холбооны давталтыг дуурайдаг учир "өнөөгийн feedforward сүлжээнүүдийн ирээдүйтэй хувилбар" болно. Transformer мэдээллийг зөвхөн нэг чиглэлд боловсруулдаг бөгөөд контекстийн цонх уртсах тусам тооцооллын нарийн төвөгтэй байдал хурдан өсдгийг тэрээр онцолсон. Харин тархи өнгөрсөн мэдээллийг хураангуйлж санах ойд хадгалахдаа давтагдах эргэх холбооны давталтыг ашигладаг. Hopfield сүлжээ яг ингэж ажилладаг.
Кротов мөн Energy Transformer (NeurIPS 2023)-ийг тайлбарласан. Энэ бол IBM Research болон Georgia Tech-ийн хамтарсан ажил бөгөөд одоо байгаа transformer-уудад Hopfield-ийн санааг зүгээр нэмж давхарлахаас гадна feedforward transformer блокуудын бүх дарааллыг нэг том Associative Memory загвараар орлуулдаг. Energy Transformer-ийн attention механизм нь уламжлалт attention-аас шууд ялгаатай: энэ нь feedforward дамжуулах хоолойд нааж залгасан зүйл биш, харин энергийн минимумчлалын анхдагч зарчмуудаас гаралтай.
🔗 IBM Research "Тархинаас санаа авсан хиймэл оюуны алгоритмуудыг эрэлхийлэх нь" (2025 оны 1-р сар)
🔗 Energy Transformer arXiv:2302.07253 (NeurIPS 2023)
Иоханнес Кеплерийн их сургууль - Хохрайтерийн баг
LSTM-ийн хамтран зохион бүтээгч Зепп Хохрайтер "Hopfield Networks is All You Need" өгүүллийг нийтэлсэн багийг удирдсан. Тэдний Hopfield давхаргуудын репозитори нь transformer-ийн attention давхарга, pooling давхарга, давтагдах давхаргыг шууд орлох боломжтой, бодит ашиглалтад бэлэн PyTorch модулиудыг санал болгодог. дагалдах блог нийтлэл нь softmax attention-ийн томьёо нь орчин үеийн Hopfield шинэчлэлтийн дүрмийн нэг онцгой тохиолдол гэдгийг, мөн Hopfield давхарга нь стандарт attention-ий өгч чадахгүй нэмэлт боломжуудыг, тухайлбал сурсан статик прототипүүд болон уян хатан associative memory тохиргоог санал болгодгийг математик гаргалгаагаар харуулдаг.
🔗 Hopfield Networks is All You Need - ICLR 2021
NeurIPS 2025: Hopfield Attention нь GPT болон Vision Transformer-уудыг сайжруулдаг
Хамгийн сүүлийн нотолгоо нь Масумура, Таки нарын 2025 оны арванхоёрдугаар сарын NeurIPS өгүүллээс гарч байна. Тэд үүнийг харуулсан: Орчин үеийн Хопфилдийн анхаарал (MHA) нь бүрэн (адиабатик бус) Хопфилдийн динамикаас гаргаж авсан далд төлөвүүдийг нэмснээр GPT-2, LLaMA хэлний загварууд болон Vision Transformer-уудыг системтэйгээр сайжруулдаг. Эдгээр сайжруулалт нэмэлт сургалтын параметр огт нэмэлгүйгээр гарсан. Үүнээс ч чухал нь, MHA нь рангийн нуралт асуудлыг (гүн трансформеруудад анхаарлын матрицууд доройтож, бүх токен адилхан төстэй дүрслэл рүү нийлдэг үзэгдэл) шийддэг нь тогтоогдсон. Энэ бол трансформерийг томсгох оролдлогуудыг удаан хугацаанд зовоосон үндсэн эмгэг юм. Зохиогчид: "Энэхүү судалгаа Хопфилдийн сүлжээг ашиглан Transformer архитектурыг системтэйгээр зохиомжлох шинэ боломжийг нээнэ гэж найдаж байна" хэмээн дүгнэжээ.
🔗 On the Role of Hidden States of Modern Hopfield Network in Transformer arXiv:2511.20698 (NeurIPS 2025)
Nature Communications: Биологийн хувьд боломжит онлайн суралцахуй
2024 оны 5-р сард Nature Communications сэтгүүлд Sparse Quantized Hopfield Network нэртэй загварын тухай бүтээл нийтлэгдсэн. Энэ загвар нь яг биологийн тархи шиг онлайн-тасралтгүй нөхцөлд локал суралцах дүрмээр суралцдаг. Энэ нь трансформеруудын үндсэн хязгаарлалтыг шийддэг: тэд локал бус буцаан тархалт болон сайтар сонгож цуглуулсан өгөгдөл дээр офлайн сургалт шаарддаг. Уг өгүүлэл нь Хопфилдэд суурилсан архитектурыг хиймэл мэдрэлийн сүлжээ ба нейроморф тооцооллын техник хангамжийн хоорондох байгалийн гүүр хэмээн үзсэн байна.
🔗 A Sparse Quantized Hopfield Network for Online-Continual Memory Nature Communications (2024)
Том суурь загваруудад зориулсан гажиг утгыг үр дүнтэй зохицуулдаг Хопфилдийн давхаргууд
2024 оны нэгэн өгүүлэл том трансформер загваруудын практик асуудлыг авч үзсэн: мэдээлэлгүй токенууд (тусгаарлагч, цэг таслалын тэмдэг) руу анхаарлаа үрэх хандлага буюу "no-op outlier" асуудал. Тэдний шийдэл нь гажиг утгад үр дүнтэй Хопфилдийн энергийн функц байсан бөгөөд энэ нь ийм токенуудыг ангилж, тэг энергийн цэг рүү чиглүүлснээр тэдний хэрэгтэй анхаарлыг шингэлүүлэхээс сэргийлдэг. Үүссэн загвар Softmax₁ анхаарлыг тусгай тохиолдол болгон багтаадаг бөгөөд BERT, OPT болон Vision Transformer дээр баталгаажсан. Энэ бол Хопфилдийн онол трансформерийн бодит инженерийн асуудлуудыг шийдэж буй жишээ юм.
🔗 Outlier-Efficient Hopfield Layers for Large Transformer-Based Models (2024)
Энергийг минимумчлагч болох трансформерууд (2026 оны 1-р сар)
2026 оны 1-р сард нийтлэгдсэн хамгийн сүүлийн онолын бүтээл трансформерийн урагш дамжилтыг бүхэлд нь дотоод энергийн минимумчлал хэмээн тайлбарлаж, трансформер юуны учир ажилладгийг тайлбарлах хүрээ болгон Хопфилдийн үзэл бодлыг бүрэн хүлээн авсан байна. Өгүүлэл нь сийрэг орчин үеийн Хопфилдийн загваруудыг анхаарлын бүх хувилбартай (softmax, sparsemax, α-entmax) холбож, тэдгээр бүгд энергид суурилсан сэргээлтийн динамикийн тусгай тохиолдол гэдгийг харуулсан.
🔗 Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle (2026 оны 1-р сар)
Тойм өгүүллүүд ба нийгэмлэгийн нөөц
Судалгааны өргөн нийгэмлэг энэ уулзвар орчимд нэгдэж байна:
- "Energy-Based Learning and the Evolution of Hopfield Networks" (TechRxiv, 2025 оны 4-р сар) Хопфилд (1982) -аас эхлээд Больцманы машинуудаар дамжин, трансформерийн анхаарлыг орчин үеийн Хопфилдийн динамик хэмээн дахин тайлбарлах хүртэлх бүх замыг мөшгисөн иж бүрэн тойм. → Өгүүллийг унших
- "An Energy-Based Perspective on Attention Mechanisms in Transformers" Трансформеруудыг Хопфилдийн энергийн өнцгөөс ойлгох нь "зөвхөн масштабыг томсгох, тооцооллын нарийн төвөгтэй байдлыг бууруулахад найдаж болох сайжруулалтаас чанарын хувьд тэс өөр сайжруулалтад хөтөлж магадгүй" гэж маргасан гүнзгий техникийн блог. → Блогийг унших
- Awesome Modern Hopfield Networks Орчин үеийн Хопфилдийн сүлжээнүүдийн талаарх 50 гаруй өгүүллийг хөрөнгийн хуваарилалт, өөрчлөлт илрүүлэлт, бүтээлч сэтгэлгээг сэргээн босгох, түгээлтээс гадуурх өгөгдөл илрүүлэх, дархлааны репертуарын ангилал зэрэг салбараар нь цуглуулсан GitHub репозитори. → Цуглуулгыг үзэх
- "Is Hopfield Networks All You Need?" (Analytics India Magazine, 2024 оны 12-р сар) Хохрайтерийн баг Хопфилдийн сүлжээнүүд "орчин үеийн тргансформер загваруудтай бүрэн солигдох боломжтой" гэдгийг хэрхэн харуулсныг практикт чиглэн тайлбарласан материал. → Нийтлэлийг унших
- "New Research in Hopfield Networks: A Short Intro" (Medium, 2024 оны 7-р сар) Экспоненциал идэвхжүүлэх функцүүдийн ачаар хадгалах багтаамж 0.138N-ээс 2^(N/2) болтлоо өссөнийг тэмдэглэсэн, ойлгомжтой тойм. → Medium дээр унших
Чиг хандлага тодорхой байна. Энэ нь аль нэг лабораторийн санал, аль нэг өгүүллийн таамаглал биш. IBM Research, Йоханнес Кеплер их сургууль, MIT, NeurIPS, Nature Communications болон машин сургалтын өргөн хүрээний нийгэмлэг өөр өөр чиглэлээс нэг дүгнэлтэд ойртож байна: Хопфилдийн тогтоосон энергид суурилсан, ассоциатив санах ойн парадигм нь трансформерууд өөрсдөө ч мэдэлгүй түүн дээр баригдсан суурь төдийгүй, трансформерууд дангаараа хүрч чадахаас цааш хиймэл оюун ухааныг авч явах хүрээ юм.
Яагаад одоо чухал вэ: шилжих үндэслэл
Аюулгүй байдал чухал системүүдэд баталгаатай нэгдэл
Трансформерууд гаралт үйлдвэрлэдэг ч тогтвортой байдлын математик баталгаа байдаггүй. Хопфилдийн сүлжээнүүд тогтвортой төлөвт нэгдэх нь баталгаатай, энергийн функц нь монотоноор буурдаг. Робот техник, автономит тээврийн хэрэгсэл, эмнэлгийн төхөөрөмж болон найдвартай байдлаас буулт хийх аргагүй аливаа системд энэ нь трансформеруудын өгч чадахгүй шаардлага юм.
Үндсэн чадамж болох ассоциатив санах ой
Хэрэв та Хопфилдийн сүлжээг (1, −1, 1, −1, 1) төлөв нь энергийн минимум байхаар сургаад гажуудсан (1, −1, −1, −1, 1) оролтыг өгвөл сүлжээ хадгалагдсан зөв хэв маяг руу нэгдэнэ. Энэ нь таамаглахгүй, интерполяц хийхгүй, харин энергийн ландшафт дээр хамгийн ойрын аттрактор руу уруудан эргэлддэг. Мэдрэгч нь халхлагдсан робот техник, шуугиантай өгөгдөлтэй шигтгэмэл системүүд, хэсэгчилсэн оролтоос хэв маягийг гүйцээх шаардлагатай аливаа хэрэглээнд энэ нь хувьсгалт өөрчлөлт юм.
Бүх нийтийн оновчлолын хөдөлгүүр
Хопфилд, Дэвид Танк нар 1985 онд Хопфилдийн сүлжээнүүд аялагч худалдаачны бодлогыг шийдэж чадна гэдгийг харуулсан. Хэрэв зардлын функцийг Хопфилдийн энергийн хэлбэрээр бичиж болдог бол сүлжээний тэнцвэрийн цэгүүд нь яг шийдлүүд болно. Түүнээс хойш энэ архитектурыг ажил гүйцэтгэх хуваарь, утасгүй сүлжээн дэх сувгийн хуваарилалт, зураг сэргээх, аналогоос дижитал руу хөрвүүлэлт, хөдөлгөөнт сүлжээний чиглүүлэлт, комбинаторын оновчлолд хэрэглэсээр ирсэн. 2024 оны Nature Communications-ийн нэгэн өгүүлэл биологийн тархийг дуурайн дотоод дүрмээр онлайн-тасралтгүй санах ойн сургалт хийдэг Sparse Quantized Hopfield Network-ийг танилцуулсан нь трансформерууд үндсэндээ хийж чаддаггүй чадвар юм.
Програм хангамжгүйгээр сэтгэдэг техник хангамж
Симметр жингийн хязгаарлалт (wᵢⱼ = wⱼᵢ) нь аналог электрон хэлхээнд шууд тохирдог, учир нь резистор холболт мөн чанараараа симметр байдаг. Хопфилдийн сүлжээнүүдийг ASIC эсвэл FPGA хэлбэрээр хийж, наносекундын хугацаанд дүгнэлт гаргах боломжтой. Nature-ийн 2025 оны нейроморф тооцооллын цуглуулга энэ чиглэлийг баталж байна: захын төхөөрөмж дээр мэдрэлийн динамикийг хэрэгжүүлдэг, эрчим хүч хэмнэсэн аналог техник хангамж, GPU, CPU, програм хангамжийн стек огт шаардахгүй агуулгаар хаяглагддаг санах ойтой.
Нейроморф ба аналог хиймэл оюуны чипүүд нь мэдрэлийн сүлжээний динамикийг шууд техник хангамж дээр хэрэгжүүлдэг. Хопфилдийн сүлжээний тэгш хэмтэй, энергид суурилсан бүтэц нь резистив хэлхээнд байгалиасаа таардаг тул уламжлалт программ хангамжийн давхаргагүйгээр хиймэл оюуны дүгнэлтийг наносекундын хугацаанд гаргах боломжийг олгодог.
Хоёртын болон тасралтгүй уян хатан байдал
Сонгодог Хопфилдийн сүлжээ хоёртын нейрон (+1 эсвэл −1) ашигладаг бол тасралтгүй хувилбарууд нь сигмоид идэвхжүүлэлт ба дифференциал тэгшитгэл ашигладаг. Шинэчлэлтийг асинхрон (нэг удаад нэг нейрон, нэгдмэл байдлыг баталгаажуулна) эсвэл синхрон (бүгдийг нэг дор, зэрэгцээ боловсруулалтыг боломжтой болгоно) аргаар хийж болно. Нэг л архитектур килобайт хэмжээний RAM-тай микроконтроллероос эхлээд маш өргөн зэрэгцээ FPGA хүртэл, одоо бол орчин үеийн Хопфилдийн давхаргуудаар дамжин GPU-ээр хурдасгасан гүн сургалтын конвейер хүртэл зохицон ажилладаг.
Хадгалах багтаамж: Шударга хязгаарлалт
Сонгодог хязгаарлалт тодорхой: N нейронтой сүлжээ хуурамч төлөвүүд сэргээлтийг муутгахаас өмнө ойролцоогоор 0.138N хэв маягийг найдвартай хадгалдаг. Энэ бол бодит хязгаарлалт ч гэсэн шударга хязгаарлалт юм. Трансформерууд хэзээ төөрөгдөж (hallucination) эхлэхийг математикийн цэвэр хилээр заадаггүй.
Түүнчлэн орчин үеийн Хопфилдийн сүлжээнүүд (Krotov & Hopfield, 2016; Demircigil et al., 2017) дээд эрэмбийн харилцан үйлчлэлийн гишүүдээр дамжуулан экспоненциал хадгалах багтаамжид хүрдэг. Судалгаа эдгээр хил хязгаарыг тэлсээр байна: сийрэг ба бүтэцлэгдсэн Хопфилдийн сүлжээ, урт дарааллын Хопфилдийн санах ой, хөрөнгийн хуваарилалтад зориулсан Хопфилдийн сүлжээ зэрэг нь бүгд идэвхтэй хөгжиж буй чиглэлүүд бөгөөд өгүүллүүд хурдацтай нэмэгдсээр байна.
Практик нэвтрүүлэлт: Компьютерээс хэлхээ хүртэл
Мэдрэлийн сүлжээний анхны судлаачдын алсын хараа тодорхой байсан: нэг удаа тодорхойлоод хаана ч ашиглаж болох фреймворк. Хопфилдийн архитектур үүнийг биелүүлдэг:
Компьютерийн програмууд Жингийн матриц ба шинэчлэлтийн дүрэм. GPU шаардлагагүй.
Интернет програмууд Төстэй байдлаар хайх, санал болгох, давхардал арилгахад зориулсан агуулгаар хаяглагддаг санах ой.
Робот техник Бодит цагийн удирдлагын гогцоонд нэгдмэл байдлыг баталгаажуулна. Моторын хэв маягууд аттрактор хэлбэрээр хадгалагдаж, мэдрэгчийн дуу чимээтэй оролтоос ч сэргээгдэнэ.
Шигтгэмэл системүүд Хоёртын Хопфилдийн сүлжээ микроконтроллер дээр зөвхөн бүхэл тооны арифметикаар ажилладаг.
Электрон хэлхээ Тэгш хэмтэй жингүүд резистив сүлжээнд шууд таардаг. Оюун ухаан нь шууд цахиур дээр бүтээгддэг.
Цаашдын зам
Трансформерийн эрин бидэнд гайхалтай хэлний машинуудыг өгсөн. Харин одоогийн рубеж бодит ертөнц рүү — роботууд, мэдрэгчүүд, жолооч механизмууд, бодит цагийн шийдвэрүүд рүү тэлж байна. Тэр рубеж нь тогтвортой, үр ашигтай, тайлбарлах боломжтой, мөн захын төхөөрөмж дээр бодитоор байгаа техник хангамж дээр ажиллаж чадах архитектурыг шаарддаг.
2020 онд трансформерийн анхаарал (attention) нь орчин үеийн Хопфилдийн шинэчлэлтийн дүрэм мөн гэдгийг нотолсон нь зүгээр нэг математикийн сонин сэтгэгдэл биш байв. Энэ нь бид Хопфилдийн сүлжээг үргэлж ашиглаж байсан, зөвхөн тэдний жинхэнэ мөн чанарыг далдалсан фреймворкт ороосон байсныг илрүүлсэн юм. Хопфилдийн далд төлвүүд нь rank collapse зэрэг трансформерийн согогуудыг шийддэгийг харуулсан 2025 оны NeurIPS-ийн бүтээл дараагийн алхмыг санал болгож байна: трансформеруудыг Хопфилдийн санаануудаар засварлах биш, харин Хопфилдийн парадигм дээр шууд бүтээх.
Жон Хопфилд 1982 онд бидэнд замыг нь харуулсан. Дональд Хебб 1949 онд биологийн үндсийг тавьсан. Судалгааны нийгэмлэг одоо л тийшээ нэгдэж байна.
Шилжих цаг иржээ.
Ном зүй
- Hopfield, J.J. (1982). "Neural networks and physical systems with emergent collective computational abilities." PNAS, 79(8), 2554–2558.
- Hebb, D.O. (1949). The Organization of Behavior. Wiley.
- Ramsauer, H. et al. (2020). "Hopfield Networks is All You Need." ICLR 2021. arXiv:2008.02217
- Krotov, D. & Hopfield, J.J. (2016). "Dense Associative Memory for Pattern Recognition." NeurIPS.
- Storkey, A. (1997). "Increasing the capacity of a Hopfield network without sacrificing functionality." ICANN.
- Hoover, B., Krotov, D. et al. (2023). "Energy Transformer." NeurIPS 2023. arXiv:2302.07253
- Masumura, T. & Taki, M. (2025). "On the Role of Hidden States of Modern Hopfield Network in Transformer." NeurIPS 2025. arXiv:2511.20698
- Alonso, N. & Krichmar, J. (2024). "A sparse quantized Hopfield network for online-continual memory." Nature Communications, 15, 3722. nature.com
- Hu, J.Y. et al. (2024). "Outlier-Efficient Hopfield Layers for Large Transformer-Based Models." arXiv:2404.03828
- Hu, J.Y. et al. (2026). "Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle." arXiv:2511.00907
- Hopfield, J.J. & Tank, D.W. (1985). "'Neural' Computation of Decisions in Optimization Problems." Biological Cybernetics, 52, 141–152.
- Bruck, J. (1990). "On the convergence properties of the Hopfield model." Proceedings of the IEEE.
- Krotov, D. (2025). "Searching for brain-inspired AI algorithms." IBM Research Blog. research.ibm.com
- "Energy-Based Learning and the Evolution of Hopfield Networks." TechRxiv, 2025 оны 4-р сар. techrxiv.org
