हेबियन लर्निङ र हपफिल्ड नेटवर्कको भेट: ट्रान्सफर्मरभन्दा सधैँ चलाख आर्किटेक्चर
विगत एक दशकदेखि ट्रान्सफर्मर र तिनका एटेन्सन मेकानिजमले AI को दुनियाँमा दबदबा कायम गरेका छन्। GPT देखि BERT हुँदै Vision Transformers सम्म, “attention is all you need” भन्ने मन्त्रले मेसिन लर्निङबारे हामीले सोच्ने तरिका नै बदलिदियो। ट्रान्सलेटर प्रणालीहरू, अर्थात् डेटालाई एउटा प्रतिनिधित्वबाट अर्कोमा रूपान्तरण गर्ने एन्कोडर-डिकोडर पाइपलाइनहरू, भाषा प्रशोधनदेखि छवि निर्माणसम्म सबै कुराको मेरुदण्ड बने। ती क्रान्तिकारी थिए। ती शक्तिशाली थिए।
अब भने तिनीहरू भित्तामा ठोक्किँदै छन्।
विडम्बना के छ भने, समाधान त १९८२ देखि नै मौजुद छ। त्यही वर्ष जोन हपफिल्डले Proceedings of the National Academy of Sciences मा एउटा शोधपत्र प्रकाशित गरे, जसमा उनले यस्तो रिकरेन्ट न्युरल नेटवर्क प्रस्तुत गरे जसमा एउटा यस्तो गुण थियो जुन ट्रान्सफर्मरले आजसम्म साँच्चै हासिल गर्न सकेका छैनन्: ऊर्जा न्यूनीकरण मार्फत स्थिर अवस्थामा पुग्ने ग्यारेन्टीसहितको अभिसरण। हपफिल्ड नेटवर्कले ढाँचा सिक्ने मात्र होइन, तिनलाई ऊर्जा-परिदृश्यमा भौतिक आकर्षक बिन्दु (attractor) का रूपमा सञ्चित गर्थ्यो, जसलाई अशुद्ध वा अपूर्ण इनपुटबाट पनि फेरि निकाल्न सकिन्थ्यो।
भौतिकशास्त्र र स्नायुविज्ञानका समुदायले दशकौंदेखि जानेको कुरा AI समुदायले अहिले मात्र आत्मसात् गर्न थालेको छ: न्युरल कम्प्युटेशनको ऊर्जा-आधारित, साहचर्यमूलक दृष्टिकोण कुनै ऐतिहासिक कौतूहल मात्र होइन, यो एउटा आधारभूत प्रतिमान हो, जसमाथि ट्रान्सफर्मर युगले पूरापूरी नबुझिकनै भवन उभ्याएको मात्र हो।
ट्रान्सफर्मरको सीमा
ट्रान्सफर्मरहरूले सेल्फ-एटेन्सन मार्फत एउटा सिक्वेन्समा रहेका हरेक तत्वबीचको सम्बन्ध एकसाथ गणना गरेर काम गर्छन्। भाषाका लागि यो अद्भुत छ। स्पष्ट क्रमिक ढाँचा भएको संरचित डेटाका लागि पनि अद्भुत छ। तर वास्तविक संसार, अर्थात् रोबोटिक्स, इम्बेडेड सर्किट, सेन्सरमा आधारित निर्णय-प्रक्रिया र एज कम्प्युटिङको संसार, आफूलाई ध्यान दिइनुपर्ने सफा सिक्वेन्सहरूमा मिलाएर बसेको हुँदैन।
ट्रान्सफर्मर आर्किटेक्चरले प्रशस्तता मानेर चल्छ: प्रशस्त कम्प्युट, प्रशस्त मेमोरी, प्रशस्त बिजुली। सेल्फ-एटेन्सनको लागत सिक्वेन्सको लम्बाइसँगै वर्गात्मक रूपमा बढ्छ। फिड-फर्वार्ड तहहरू रैखिक रूपमा बढ्छन्, तर विशाल मात्रामा। जब तपाईं ट्रान्सफर्मरमा आधारित प्रणालीलाई गोदामभित्र हिँड्ने मोबाइल रोबोटमा चलाउनुहुन्छ, वा उत्पादन गर्ने रोबोटिक पाखुरा नियन्त्रण गर्ने इलेक्ट्रोनिक सर्किटमा जडान गर्नुहुन्छ, ती सबै मान्यता ध्वस्त हुन्छन्।
ट्रान्सलेटर प्रतिमानको आफ्नै सीमा छ: यसले बुद्धिमत्तालाई मूलतः स्थिर प्रतिनिधित्वहरूबीचको रूपान्तरणको समस्या ठान्छ। इनपुटलाई एन्कोड गर्नु। आउटपुटलाई डिकोड गर्नु। तर वास्तविक बुद्धिमत्ताले केवल अनुवाद मात्र गर्दैन; यसले सम्झन्छ, यसले सम्बन्ध जोड्छ, र इनपुट बिग्रिएको वा अस्पष्ट भए पनि यसले स्थिर व्याख्याहरूमा अभिसरण गर्छ।
हामी यी समस्यालाई क्वान्टाइजेसन, डिस्टिलेसन, प्रुनिङ र अरू सयौँ अप्टिमाइजेसन जुक्तिले टालटुल गरिरहेका छौं। सन् २०२५ का एज AI सर्वेक्षणहरूले पुष्टि गर्छन् कि एम्बेडेड हार्डवेयरमा डीप लर्निङ चलाउनु अझै पनि “मेमोरी, कम्प्युटेशन र ऊर्जाको कठोर सीमाले बाँधिएको” छ। तर मूलभूत रूपमा बेमेल आर्किटेक्चरलाई अप्टिमाइज गरेर हिसाबकिताबको घडी पर सार्ने मात्र हो। हामीलाई चाहिएको त्यस्तो आर्किटेक्चर हो जसले मेमोरी, स्थिरता र ऊर्जा दक्षतालाई पछि सोचिने कुरा होइन, पहिलो सिद्धान्त मान्छ।
हपफिल्ड न्युरल नेटवर्कको प्रवेश
हपफिल्ड नेटवर्क न्युरोनहरूको एउटै तह भएको रिकरेन्ट न्युरल नेटवर्क हो, जहाँ प्रत्येक न्युरोन आफूबाहेक अरू सबै न्युरोनसँग जोडिएको हुन्छ। यस नेटवर्कले एउटा पूर्ण अनिर्देशित ग्राफ बनाउँछ: न्युरोनका हरेक जोडीबीच सममित जडान-भार हुन्छ, अर्थात् न्युरोन i बाट न्युरोन j सम्मको बल त्यही हुन्छ, जुन बल j देखि i सम्म। कुनै आत्म-जडान छैन (wᵢᵢ = 0)। कुनै तहगत श्रेणीक्रम छैन। कुनै क्रमिक प्रशोधन पाइपलाइन पनि छैन। बरु सम्पूर्ण नेटवर्क एउटै, परस्पर जोडिएको गतिशील प्रणालीका रूपमा चल्छ, जुन समयसँगै विकसित हुँदै स्थिर सन्तुलन अवस्थातिर पुग्छ।
पूर्ण रूपमा जोडिएका न्युरोनसहितको हपफिल्ड नेटवर्क। हरेक नोड अरू सबै नोडसँग सममित वजन (wᵢⱼ = wⱼᵢ) द्वारा जोडिएको हुन्छ र यसले एउटा सम्पूर्ण अदिशीय ग्राफ बनाउँछ। कुनै आत्म-जडान हुँदैन।
यो वास्तुकलाको सौन्दर्य यसको ऊर्जा फलनमा निहित छ। हपफिल्डले प्रमाणित गरे कि उनको नेटवर्कसँग एउटा सम्बद्ध लायपुनोभ ऊर्जा फलन हुन्छ:
E = −½ Σᵢ Σⱼ wᵢⱼ sᵢ sⱼ − Σᵢ θᵢ sᵢ
हरेक न्युरोन अद्यावधिकसँगै यो ऊर्जा घट्ने (वा स्थिर रहने) ग्यारेन्टी हुन्छ। नेटवर्क सधैं एक बिन्दुमा पुगेर टुंगिन्छ: यो कहिल्यै अनन्त दोलन गर्दैन, कहिल्यै अपसारित हुँदैन, र अनन्त गणनाको चक्रमा पनि फस्दैन। यो थिग्रिन्छ। सन् १९९० मा ब्रकले प्रमाणित गरे कि यो थिग्रने व्यवहार सम्बद्ध ग्राफका कटहरूसँग जोडिएको छ: नेटवर्कले हरेक अद्यावधिक चरणमा अनिवार्य रूपमा म्याक्स-कट समस्याका लागि लोभी (ग्रिडी) एल्गोरिदम चलाइरहेको हुन्छ।
अनि नेटवर्क जहाँ थिग्रिन्छ, बुद्धिमत्ता त्यहीं बस्छ। भण्डारण गरिएका ढाँचाहरू ऊर्जा फलनका स्थानीय न्यूनतम बिन्दुहरूसँग मेल खान्छन्, अर्थात् ऊर्जा भूदृश्यका उपत्यकाहरू। जब तपाईं नेटवर्कलाई भण्डारण गरिएको ढाँचाको बिग्रिएको, गोगोल भएको वा अधुरो रूप दिनुहुन्छ, तब यसको गतिशीलताले नेटवर्कको अवस्थालाई ओरालो गुडाउँदै सबैभन्दा नजिकको उपत्यकामा झार्छ: त्यो भण्डारण गरिएको ढाँचा, जुन इनपुटसँग सबैभन्दा राम्ररी मिल्छ।
हपफिल्ड नेटवर्कको ऊर्जा भूदृश्य। हरेक उपत्यका (स्थानीय न्यूनतम बिन्दु) एउटा भण्डारण गरिएको स्मृति ढाँचासँग मेल खान्छ। कुनै पनि प्रारम्भिक अवस्थाबाट सुरु गर्दा नेटवर्कको गतिशीलताले "ओरालो" गुडाउँदै सबैभन्दा नजिकको आकर्षक बिन्दुमा थिग्राउँछ र अधुरो वा गोगोल भएको इनपुटबाट पूर्ण ढाँचा पुनः प्राप्त गर्छ।
यही हो सामग्री-ठेगानायोग्य साहचर्य स्मृति अर्थात् अंश मात्र दिइएको संकेतबाट पूर्ण स्मृति सम्झन सक्ने क्षमता। जैविक मस्तिष्कले यो सहजै गर्छ, तर ट्रान्सफर्मरले महँगो गणनाका बाटो हुँदै यसको नजिकसम्म मात्र पुग्न सक्छ।
भौतिकशास्त्रसँगको सम्बन्ध गहिरो छ। हपफिल्ड नेटवर्क गणितीय रूपमा आइजिङ मोडेलसँग समतुल्य छ, यही ढाँचा सांख्यिकीय यान्त्रिकीमा चुम्बकत्व वर्णन गर्न प्रयोग गरिन्छ। सन् १९७५ मा प्रकाशित स्पिन ग्लासको शेरिङ्टन-किर्कप्याट्रिक मोडेल अनिवार्य रूपमा अनियमित वजन भएको हपफिल्ड नेटवर्क नै हो। हपफिल्डको अन्तर्दृष्टि यही गुणलाई जानीजानी प्रयोग गर्नु थियो: ऊर्जा भूदृश्यलाई यसरी इन्जिनियर गर्ने कि हरेक न्यूनतम बिन्दु कुनै उपयोगी भण्डारण गरिएको ढाँचासँग मेल खाओस्।
हेबियन सिकाइ: सँगै सक्रिय हुने न्युरोनहरू सँगै जोडिन्छन्
हपफिल्ड नेटवर्कलाई काम गराउने सिकाइ नियमका जराहरू अझ पछाडि, डोनाल्ड हेबको सन् १९४९ को पुस्तक द अर्गनाइजेसन अफ बिहेभियरसम्म पुग्छन्, जसले आज न्युरल सिकाइ सिद्धान्तको संस्थापक सिद्धान्त मानिने कुरा प्रस्ताव गरेको थियो।
हेबको अन्तर्दृष्टि देखिनमा भ्रामक रूपले सरल थियो: जब कुनै प्रिसिनेप्टिक कोषले बारम्बार र निरन्तर पोस्टसिनेप्टिक कोषलाई सक्रिय बनाउन भूमिका खेल्छ, तब ती दुईबीचको सिनेप्टिक जडान बलियो हुन्छ। "सँगै सक्रिय हुने न्युरोनहरू सँगै जोडिन्छन्", यद्यपि हेब आफैं अझ सटीक थिए र उनले कोष A ले कोष B लाई सक्रिय बनाउन भूमिका खेल्नुपर्छ भन्ने कुरामा जोड दिएका थिए, केवल एकैसाथ सक्रिय हुनु मात्र पर्याप्त होइन। समयसँग जोडिएको यो कारणत्वले आज स्पाइक-टाइमिङ-डिपेन्डेन्ट प्लास्टिसिटी (STDP) का नामले चिनिने कुराको पूर्वसंकेत गरेको थियो। यसलाई दशकौँपछि प्रयोगद्वारा पुष्टि गरियो, जसमा एरिक क्यान्डेलको समुद्री स्लगसम्बन्धी युगान्तकारी अनुसन्धान पनि पर्छ, जसको नाम हो Aplysia californica.
हेबियन लर्निङ (Hebbian learning): जब दुई जोडिएका न्युरोनहरू बारम्बार एकसाथ सक्रिय हुन्छन्, तब तिनीहरूबीचको सिनेप्स बलियो हुँदै जान्छ। "सँगै सक्रिय हुने न्युरोनहरू सँगै जोडिन्छन्" भन्ने यो सिद्धान्त नै होपफिल्ड नेटवर्कहरूले प्याटर्न कसरी भण्डारण गर्छन् भन्ने कुराको जैविक आधार हो।
होपफिल्ड नेटवर्कमा हेबियन लर्निङ यसरी लागू गरिन्छ:
wᵤᵥ = (1/N) Σₗ sᵤ(l) · sᵥ(l) सबै भण्डारण गरिएका प्याटर्नहरू l का लागि, जहाँ u ≠ v
कुनै दिइएको प्याटर्नमा दुई न्युरोनको अवस्था उही हुँदा (दुवै +1 वा दुवै −1), तिनीहरूको गुणनफल धनात्मक हुन्छ र उत्तेजक सम्बन्ध बलियो बन्छ। तिनीहरूको अवस्था फरक हुँदा गुणनफल ऋणात्मक हुन्छ र निरोधात्मक सम्बन्ध बन्छ। यी सबै प्रभाव जोडिँदै जाँदा एउटा ऊर्जा-भूदृश्य (energy landscape) कुँदिन्छ, जसमा प्रत्येक भण्डारण गरिएको प्याटर्नमा एउटा उपत्यका हुन्छ।
हेबियन नियम स्थानीय छ (प्रत्येक वेट अपडेटमा जोडिएका दुई न्युरोनलाई उपलब्ध जानकारी मात्र प्रयोग हुन्छ) र क्रमिक पनि छ (पुराना प्याटर्नलाई फेरि प्रशोधन नगरी नयाँ प्याटर्नहरू भण्डारण गर्न सकिन्छ)। उल्लेखनीय कुरा के छ भने, हेबियन लर्निङले इनपुट डेटाको असुपरिवेक्षित प्रिन्सिपल कम्पोनेन्ट विश्लेषण (PCA) गर्छ भनेर गणितीय रूपमै देखाउन सकिन्छ। नेटवर्कले आफ्नो वातावरणबाट सांख्यिकीय रूपमा सबैभन्दा महत्त्वपूर्ण विशेषताहरू स्वाभाविक रूपमै निकाल्छ।
सन् १९९७ मा एमोस स्टोर्की (Amos Storkey) ले प्रत्येक न्युरोनको स्थानीय क्षेत्र (local field) लाई ध्यानमा राख्ने सुधारिएको लर्निङ नियम ल्याए, जसले सामान्य हेबियन लर्निङभन्दा बढी भण्डारण क्षमता दियो। यसले एउटै संरचनाभित्र पनि सिकाइ-एल्गोरिदमको छनोटले गहिरो फरक पार्छ भन्ने देखाउँछ, जुन कुरा न्युरल नेटवर्क अनुसन्धानको फराकिलो पाठसँग पनि मेल खान्छ।
सफलता: "Hopfield Networks is All You Need"
सन् २०२० मा जोहानेस केप्लर युनिभर्सिटी लिन्ज (Johannes Kepler University Linz) का ह्युबर्ट रामसाउएर (Hubert Ramsauer) को नेतृत्वमा एउटा टोलीले ट्रान्सफर्मरको जन्मकथाको उत्तेजक प्रतिध्वनि बनेको शीर्षकसहितको एउटा शोधपत्र प्रकाशित गर्यो: "Hopfield Networks is All You Need." धेरैले अनुमान गरेको कुरालाई गणितीय रूपमा प्रमाणित गर्नु नै उनीहरूको योगदान थियो: ट्रान्सफर्मरहरूको सेल्फ-एटेन्सन (self-attention) संयन्त्र आधुनिक निरन्तर होपफिल्ड नेटवर्कको अपडेट नियम ठ्याक्कै हो।
आधुनिक होपफिल्ड नेटवर्क र ट्रान्सफर्मर एटेन्सनबीचको सम्बन्ध। ट्रान्सफर्मरमा रहेको सफ्टम्याक्स-आधारित एटेन्सन संयन्त्र घातीय ऊर्जा फलन भएको निरन्तर होपफिल्ड नेटवर्कको एउटा अपडेट चरणसँग गणितीय रूपमा समतुल्य छ। तस्बिर: Ramsauer et al., "Hopfield Networks is All You Need."
यो केवल उपमा थिएन। टोलीले परम्परागत होपफिल्ड ऊर्जा फलनलाई निरन्तर अवस्थाहरूसम्म सामान्यीकरण गरेर र घातीय अन्तरक्रिया पद प्रयोग गरेर, परिणामस्वरूप अपडेट नियम यस्तो बन्छ भनेर देखायो:
Z = softmax(β · R Wq Wk⊤ Y⊤) Y Wk Wv
जुन ठ्याक्कै ट्रान्सफर्मर एटेन्सनको सूत्र हो। आधुनिक होपफिल्ड नेटवर्कले (साहचर्य स्थानको आयामअनुसार) घातीय संख्यामा प्याटर्नहरू भण्डारण गर्न सक्छ, तिनलाई एउटै अपडेटमा पुन:प्राप्त गर्छ, र पुन:प्राप्तिको त्रुटि घातीय रूपमा सानो हुन्छ।
यो शोधपत्रले यस आधुनिक ढाँचामा तीन प्रकारका ऊर्जा न्यूनतमहरू (energy minima) पहिचान गर्यो: (1) सबै भण्डारण गरिएका प्याटर्नको औसत निकाल्ने विश्वव्यापी स्थिर बिन्दु, (2) प्याटर्नका उपसमूहको औसत निकाल्ने मेटास्टेबल अवस्थाहरू, र (3) एउटा मात्र प्याटर्न भण्डारण गर्ने स्थिर बिन्दुहरू। तल्ला तहका ट्रान्सफर्मर हेडहरूले सामान्यतया विश्वव्यापी औसत निकाल्ने अवस्थामा काम गर्छन्, जबकि माथिल्ला तहका हेडहरूले जानकारी सङ्कलन र प्रशोधन गर्न मेटास्टेबल अवस्थाहरू प्रयोग गर्छन्। यो निष्कर्षले ट्रान्सफर्मरहरू किन त्यसरी काम गर्छन् भन्ने कुरामा गहिरो अन्तर्दृष्टि दिन्छ।
व्यावहारिक असर तुरुन्तै देखियो: टोलीले होपफिल्ड तहहरू (Hopfield layers) को रूपमा, जसले पूलिङ लेयर, GRU/LSTM लेयर र सामान्य एटेन्सन लेयरको ठाउँ लिन सक्छन्। बेन्चमार्कमा यी Hopfield लेयरहरूले इम्युन रिपर्टोयर वर्गीकरण (प्रत्येक नमुनामा लाखौं इन्स्टेन्स), मल्टिपल इन्स्टेन्स लर्निङका समस्या र UCI वर्गीकरण बेन्चमार्कमा अत्याधुनिक नतिजा हासिल गरे, जहाँ परम्परागत डिप लर्निङ विधिहरू प्रायः संघर्ष गर्छन्।
सन् २०२५ को डिसेम्बरसम्म आइपुग्दा, Masumura र Takiको एउटा NeurIPS पेपरले अझ अगाडि बढेर देखायो कि "एडियाबेटिक सन्निकटन" भन्दा पर गएपछि लुकेका अवस्थाहरू (hidden states) देखा पर्छन्। Hopfield र ट्रान्सफर्मरबीचको यो सम्बन्धमा रहेका ती अवस्थाहरूले गहिरा ट्रान्सफर्मरलाई सताउने र्यांक कोल्याप्स र टोकन एकरूपताका समस्या समाधान गर्न सक्छन्, र कुनै थप प्रशिक्षण प्यारामिटर नजोडी शुद्धता सुधार गर्छन्।
बढ्दो सहमति: अरू को-को यही भन्दैछन्?
Hopfield नेटवर्कहरू ट्रान्सफर्मरभन्दा अगाडिको अर्को प्रतिमान हुन् भन्ने यो तर्क कुनै अनुमान मात्र होइन। प्रमुख अनुसन्धान संस्थाहरूले यसलाई सक्रिय रूपमा अघि बढाइरहेका छन्, र प्रमाण तीव्र गतिमा थपिँदै छन्। एउटै निष्कर्षतिर पुगिरहेका मुख्य स्वर र पेपरहरू यहाँ छन्।
IBM Research र Dmitry Krotov
सन् २०२५ को जनवरीमा IBM Research ले Dmitry Krotov सँग विस्तृत अन्तर्वार्ता प्रकाशित गर्यो। उनी Hopfieldका लामो समयका सहकर्मी र Dense Associative Memory का एक वास्तुकार हुन्। Krotovले सीधै तर्क राखे: Hopfield नेटवर्कहरूले मस्तिष्कका पुनरावर्ती प्रतिक्रिया चक्र (recurrent feedback loops) को नक्कल गर्छन्, जबकि हालका ९०% AI मोडेलको फिडफर्वार्ड संरचना त्यस्तो छैन, त्यसैले तिनले "आजका फिडफर्वार्ड नेटवर्कहरूको आशाजनक विकल्प" प्रस्तुत गर्छन्। उनले औंल्याए कि ट्रान्सफर्मरले सूचना एकै दिशामा मात्र प्रशोधन गर्छन्, र कन्टेक्स्ट विन्डो लामो हुँदै जाँदा गणनाको जटिलता तीव्र रूपमा बढ्छ। यसको विपरीत, मस्तिष्कले विगतका सूचना सारांशित गरेर स्मृतिमा राख्न पुनरावर्ती प्रतिक्रिया चक्र प्रयोग गर्छ। Hopfield नेटवर्कले पनि त्यही तरिकाले काम गर्छन्।
Krotovले Energy Transformer (NeurIPS 2023) को पनि वर्णन गरे। IBM Research र Georgia Techको सहकार्यमा बनेको यो मोडेलले अवस्थित ट्रान्सफर्मरमाथि Hopfieldका अन्तर्दृष्टि थप्ने मात्र गर्दैन, यसले फिडफर्वार्ड ट्रान्सफर्मर ब्लकहरूको सम्पूर्ण शृंखलालाई एउटै ठूलो Associative Memory मोडेलले प्रतिस्थापन गर्छ। Energy Transformerको एटेन्सन संयन्त्र परम्परागत एटेन्सनभन्दा स्पष्ट रूपमा फरक छ: यो फिडफर्वार्ड पाइपलाइनमा टाल्सिएको होइन, ऊर्जा न्यूनीकरणका मूल सिद्धान्तबाट निकालिएको हो।
🔗 IBM Research "मस्तिष्कबाट प्रेरित AI एल्गोरिदमको खोजी" (सन् २०२५ जनवरी)
🔗 Energy Transformer arXiv:2302.07253 (NeurIPS 2023)
Johannes Kepler University - Hochreiter को समूह
LSTM का सह-आविष्कारक Sepp Hochreiterले "Hopfield Networks is All You Need" प्रकाशित गर्ने टोलीको नेतृत्व गरे। उनीहरूको Hopfield layers repository ले ट्रान्सफर्मर एटेन्सन लेयर, पूलिङ लेयर र रिकरेन्ट लेयरको सिधै ठाउँ लिन सक्ने, उत्पादनका लागि तयार PyTorch मोड्युलहरू उपलब्ध गराउँछ। companion blog post ले गणितीय व्युत्पत्ति चरणबद्ध देखाउँछ: softmax एटेन्सन सूत्र आधुनिक Hopfield अपडेट नियमको एउटा विशेष अवस्था हो, र Hopfield लेयरले सामान्य एटेन्सनले दिन नसक्ने थप सुविधा दिन्छन्, जस्तै स्थिर सिकिएका प्रोटोटाइप र लचिलो एसोसिएटिभ मेमोरी कन्फिगरेसन।
🔗 Hopfield Networks is All You Need - ICLR 2021
NeurIPS 2025: Hopfield Attention ले GPT र Vision Transformer सुधार गर्छ
सबैभन्दा नयाँ प्रमाण Masumura र Takiको सन् २०२५ डिसेम्बरको NeurIPS पेपरबाट आएको हो। उनीहरूले देखाए कि आधुनिक हपफिल्ड एटेन्सन (MHA) ले पूर्ण (गैर-एडियाबेटिक) हपफिल्ड गतिशीलताबाट प्राप्त लुकेका अवस्थाहरू (hidden states) थप्छ, र यसले GPT-2 र LLaMA भाषा मोडेलहरू तथा भिजन ट्रान्सफर्मरहरू दुवैलाई व्यवस्थित रूपमा सुधार्छ। यी सुधारका लागि कुनै थप प्रशिक्षण प्यारामिटर चाहिएन। झनै महत्त्वपूर्ण कुरा, MHA ले र्यांक कोल्याप्स समस्या समाधान गरेको पाइयो (जहाँ गहिरा ट्रान्सफर्मरहरूमा एटेन्सन म्याट्रिक्सहरू बिग्रिँदै जान्छन् र सबै टोकनहरू मिल्दोजुल्दो प्रतिनिधित्वतिर ढल्किन्छन्) जुन ट्रान्सफर्मरको स्केलिङ प्रयासहरूलाई सताइरहेको एउटा आधारभूत रोग हो। लेखकहरूले निष्कर्ष निकाले: "हामी आशा गर्छौं कि यो अनुसन्धानले हपफिल्ड नेटवर्क प्रयोग गरेर ट्रान्सफर्मर आर्किटेक्चरहरूको व्यवस्थित डिजाइनका लागि नयाँ सम्भावनाहरू खोल्नेछ।"
🔗 ट्रान्सफर्मरमा आधुनिक हपफिल्ड नेटवर्कका लुकेका अवस्थाहरूको भूमिकाबारे arXiv:2511.20698 (NeurIPS 2025)
Nature Communications: जैविक रूपमा सम्भाव्य अनलाइन सिकाइ
मे 2024 मा Nature Communications ले स्पार्स क्वान्टाइज्ड हपफिल्ड नेटवर्क सम्बन्धी काम प्रकाशित गर्यो, जुन मोडेलले अनलाइन-निरन्तर परिदृश्यहरूमा स्थानीय सिकाइ नियमहरू प्रयोग गरेर सिक्छ, ठ्याक्कै जैविक मस्तिष्कले जसरी गर्छ। यसले ट्रान्सफर्मरहरूको एउटा आधारभूत सीमितताको समाधान गर्छ, जसलाई गैर-स्थानीय ब्याकप्रोपागेसन र छानिएका डेटासेटमा अफलाइन प्रशिक्षण चाहिन्छ। यो पत्रले हपफिल्डमा आधारित आर्किटेक्चरहरूलाई कृत्रिम न्युरल नेटवर्क र न्युरोमोर्फिक कम्प्युटिङ हार्डवेयरबीचको स्वाभाविक पुलका रूपमा प्रस्तुत गर्छ।
🔗 अनलाइन-निरन्तर स्मृतिका लागि स्पार्स क्वान्टाइज्ड हपफिल्ड नेटवर्क Nature Communications (2024)
ठूला फाउन्डेसन मोडेलहरूका लागि आउटलायर-कुशल हपफिल्ड तहहरू
2024 को एउटा पत्रले ठूला ट्रान्सफर्मर मोडेलहरूको व्यावहारिक समस्यालाई सम्बोधन गर्यो: सूचनाहीन टोकनहरू (डेलिमिटर, विराम चिह्न) मा एटेन्सन बाँड्ने प्रवृत्ति, अर्थात् "no-op आउटलायर" समस्या। उनीहरूको समाधान एउटा आउटलायर-कुशल हपफिल्ड ऊर्जा फङ्सन थियो, जसले यस्ता टोकनहरूलाई छुट्याएर शून्य-ऊर्जा बिन्दुतिर पठाउँछ र तिनले उपयोगी एटेन्सनलाई पातलो बनाउनबाट रोक्छ। यसरी बनेको मोडेलले Softmax₁ एटेन्सनलाई एउटा विशेष अवस्थाका रूपमा समेट्छ र BERT, OPT तथा भिजन ट्रान्सफर्मरहरूमा प्रमाणित गरिएको थियो। यो हपफिल्ड सिद्धान्तले ट्रान्सफर्मर इन्जिनियरिङका वास्तविक समस्याहरू समाधान गरेको उदाहरण हो।
🔗 ठूला ट्रान्सफर्मर-आधारित मोडेलहरूका लागि आउटलायर-कुशल हपफिल्ड तहहरू (2024)
ऊर्जा न्यूनीकरणकर्ताका रूपमा ट्रान्सफर्मर (जनवरी 2026)
जनवरी 2026 मा प्रकाशित सबैभन्दा नयाँ सैद्धान्तिक कामले ट्रान्सफर्मरको सम्पूर्ण फर्वार्ड पासलाई आन्तरिक ऊर्जा न्यूनीकरणका रूपमा प्रस्तुत गर्छ, र ट्रान्सफर्मरहरूले किन काम गर्छन् भन्ने व्याख्याको ढाँचाका रूपमा हपफिल्ड दृष्टिकोणलाई पूर्ण रूपमा अँगाल्छ। यो पत्रले स्पार्स आधुनिक हपफिल्ड मोडेलहरूलाई एटेन्सनका सबै रूपहरू (softmax, sparsemax, α-entmax) सँग जोड्छ र ती सबै ऊर्जा-आधारित पुनःप्राप्ति गतिशीलताका विशेष अवस्था हुन् भनी देखाउँछ।
🔗 आन्तरिक अप्टिमाइजरका रूपमा ट्रान्सफर्मर: ऊर्जा सिद्धान्तबाट फर्वार्ड इन्फरेन्स (जनवरी 2026)
समीक्षा पत्र र समुदायका स्रोतहरू
फराकिलो अनुसन्धान समुदाय यही संगमको वरिपरि संगठित हुँदैछ:
- "ऊर्जा-आधारित सिकाइ र हपफिल्ड नेटवर्कहरूको विकास" (TechRxiv, अप्रिल 2025) हपफिल्ड (1982) देखि बोल्ट्जम्यान मेसिनहरू हुँदै ट्रान्सफर्मर एटेन्सनलाई आधुनिक हपफिल्ड गतिशीलताका रूपमा पुनर्व्याख्या गर्ने सम्मको सम्पूर्ण यात्रा पछ्याउने एउटा विस्तृत समीक्षा। → पत्र पढ्नुहोस्
- "ट्रान्सफर्मरमा एटेन्सन संयन्त्रहरूको ऊर्जा-आधारित दृष्टिकोण" एउटा गहिरो प्राविधिक ब्लग, जसले हपफिल्ड ऊर्जाको दृष्टिले ट्रान्सफर्मरलाई बुझ्दा "स्केलिङ र गणनात्मक जटिलता घटाउनेमा मात्र भर पर्दा सम्भव हुनेभन्दा गुणात्मक रूपमा फरक सुधारहरू सम्भव हुन सक्छन्" भन्ने तर्क गर्छ। → ब्लग पढ्नुहोस्
- अद्भुत आधुनिक हप्फिल्ड नेटवर्कहरू आधुनिक हप्फिल्ड नेटवर्कसम्बन्धी ५०+ पेपरहरू सङ्कलन गरिएको एउटा छानिएको GitHub रिपोजिटरी, जसमा सम्पत्ति आवण्टन, परिवर्तन पहिचान, सिर्जनात्मक विचारको पुनर्निर्माण, वितरण-बाह्य (out-of-distribution) पहिचान, प्रतिरक्षा रेपर्टोयर वर्गीकरण र अन्य थुप्रै क्षेत्र समेटिएका छन्। → सङ्कलन हेर्नुहोस्
- "के हप्फिल्ड नेटवर्क नै तपाईंलाई चाहिने सबै हो?" (Analytics India Magazine, डिसेम्बर २०२४) होक्राइटरको टोलीले हप्फिल्ड नेटवर्कहरू "अत्याधुनिक ट्रान्सफर्मर मोडेलहरूसँग साटासाट गर्न मिल्ने" रहेको कसरी देखायो भन्ने कुरा अभ्यासकर्ताको दृष्टिकोणबाट प्रस्तुत गर्ने लेख। → लेख पढ्नुहोस्
- "हप्फिल्ड नेटवर्कमा नयाँ अनुसन्धान: छोटो परिचय" (Medium, जुलाई २०२४) घाताङ्कीय एक्टिभेसन फलनहरूका कारण भण्डारण क्षमता 0.138N बाट 2^(N/2) सम्म बढेको कुरा सरल भाषामा बताउने परिचयात्मक लेख। → Medium मा पढ्नुहोस्
दिशा स्पष्ट छ। यो कुनै एउटा प्रयोगशालाको प्रस्ताव वा एउटा पेपरको अनुमान मात्र होइन। IBM Research, योहानेस केप्लर विश्वविद्यालय, MIT, NeurIPS, Nature Communications र फराकिलो मेसिन लर्निङ समुदाय सबै फरक-फरक बाटोबाट एउटै निष्कर्षतिर पुगिरहेका छन्: हप्फिल्डले स्थापना गरेको ऊर्जामा आधारित साहचर्य स्मृतिको प्रतिमान ट्रान्सफर्मरहरूले नचाहेरै जसमाथि आफूलाई उभ्याएका थिए, त्यो आधारशिला मात्र होइन; ट्रान्सफर्मरहरू एक्लैले पुर्याउन सक्ने सीमाभन्दा अगाडि AI लाई डोर्याउने ढाँचा पनि त्यही हो।
किन अहिले यो महत्त्वपूर्ण छ: स्विच गर्नुपर्ने कारण
सुरक्षा-सङ्कटपूर्ण प्रणालीका लागि ग्यारेन्टी गरिएको अभिसरण
ट्रान्सफर्मरहरूले आउटपुट त दिन्छन्, तर स्थिरताको कुनै गणितीय ग्यारेन्टी हुँदैन। हप्फिल्ड नेटवर्कहरू प्रमाणसहित स्थिर अवस्थामा पुग्छन् ऊर्जा फलन एकनासले घट्दै जान्छ। रोबोटिक्स, स्वचालित सवारीसाधन, चिकित्सा उपकरण र भरोसायोग्यता अनिवार्य हुने जुनसुकै प्रणालीका लागि यो यस्तो आवश्यकता हो जुन ट्रान्सफर्मरहरूले पूरा गर्न सक्दैनन्।
मुख्य क्षमताका रूपमा साहचर्य स्मृति
यदि तपाईंले हप्फिल्ड नेटवर्कलाई (1, −1, 1, −1, 1) अवस्था ऊर्जाको न्यूनतम बिन्दु हुने गरी तालिम दिनुभयो, र बिग्रिएको इनपुट (1, −1, −1, −1, 1) दिनुभयो भने, नेटवर्क सही भण्डारित ढाँचामा पुगेर टुङ्गिन्छ। यसले अनुमान लगाउँदैन, न त बीचको मान निकाल्छ यो ऊर्जाको भूदृश्यमा गुडेर सबैभन्दा नजिकको आकर्षक बिन्दुमा पुग्छ। अवरोध परेका सेन्सर भएका रोबोटहरू, कोलाहलयुक्त डेटा भएका इम्बेडेड प्रणालीहरू र आंशिक इनपुटबाट ढाँचा पूरा गर्नुपर्ने जुनसुकै प्रयोगका लागि यो क्रान्तिकारी हो।
एक सार्वभौम अप्टिमाइजेसन इन्जिन
सन् १९८५ मा हप्फिल्ड र डेभिड ट्याङ्कले हप्फिल्ड नेटवर्कहरूले ट्राभलिङ सेल्सम्यान समस्या हल गर्न सक्छन् भनेर देखाए। यदि कुनै लागत फलनलाई हप्फिल्ड ऊर्जाको रूपमा लेख्न सकिन्छ भने, नेटवर्कका सन्तुलन बिन्दुहरू नै समाधान हुन्। त्यसयता यो वास्तुकला जब-शप सेड्युलिङ, वायरलेस नेटवर्कमा च्यानल आवण्टन, छवि पुनर्स्थापना, एनालग-टु-डिजिटल रूपान्तरण, मोबाइल रुटिङ र कम्बिनेटोरियल अप्टिमाइजेसनमा प्रयोग भइसकेको छ। सन् २०२४ को Nature Communications को एउटा पेपरमा विरल क्वान्टाइज्ड हप्फिल्ड नेटवर्क प्रस्तुत गरियो, जसले जैविक मस्तिष्कले जस्तै स्थानीय नियमहरूबाट अनलाइन-निरन्तर स्मृति सिकाइ सम्भव बनाउँछ यो क्षमता ट्रान्सफर्मरहरूमा मूलतः नै छैन।
सफ्टवेयर बिना सोच्ने हार्डवेयर
सममित वेट सीमा (wᵢⱼ = wⱼᵢ) एनालग इलेक्ट्रोनिक सर्किटमा सीधै मिल्छ प्रतिरोधी जडान स्वभावैले सममित हुन्छ। हप्फिल्ड नेटवर्कहरूलाई ASIC वा FPGA का रूपमा बनाउन सकिन्छ, जसमा इन्फरेन्स नानोसेकेन्डको समयमा हुन्छ। न्युरोमोर्फिक कम्प्युटिङसम्बन्धी Nature को सन् २०२५ को सङ्कलनले पनि यही दिशालाई पुष्टि गर्छ: एजमै न्युरल गतिशीलता चलाउने ऊर्जा-कुशल एनालग हार्डवेयर, जहाँ विषयवस्तु-ठेगाना (content-addressable) स्मृतिलाई न GPU चाहिन्छ, न CPU, न त सफ्टवेयर स्ट्याक।
न्यूरोमोर्फिक र एनालग AI चिपहरू, जसले न्युरल नेटवर्कको गतिशीलतालाई सिधै हार्डवेयरमै लागू गर्छन्। हपफिल्ड नेटवर्कको सममित, ऊर्जामा आधारित संरचना प्रतिरोधी सर्किटहरूमा स्वाभाविक रूपमा मिल्छ, जसले परम्परागत सफ्टवेयर स्ट्याक बिना नै ननोसेकेन्डको समयमा AI इन्फरेन्स सम्भव बनाउँछ।
बाइनरी र निरन्तर दुवै रूपमा लचिलो
क्लासिकल हपफिल्ड नेटवर्कले बाइनरी न्युरोन (+1 वा −1) प्रयोग गर्छ; निरन्तर रूपहरूले सिग्मोइडल एक्टिभेसन र डिफरेन्सियल इक्वेसन प्रयोग गर्छन्। अपडेट असिन्क्रोनस (एकपटकमा एउटा न्युरोन, जसले कन्भर्जेन्सको ग्यारेन्टी दिन्छ) वा सिन्क्रोनस (सबै एकैपटक, जसले समानान्तर प्रशोधन सम्भव बनाउँछ) हुन सक्छ। यही आर्किटेक्चर केही किलोबाइट RAM भएको माइक्रोकन्ट्रोलरदेखि विशाल समानान्तर FPGA सम्म, र अब आधुनिक हपफिल्ड तहहरूसहित GPU-द्रुतिकृत डीप लर्निङ पाइपलाइनहरूसम्म पनि अनुकूल हुन्छ।
भण्डारण क्षमता: इमानदार सीमा
क्लासिकल सीमा स्पष्ट छ: N वटा न्युरोन भएको नेटवर्कले नक्कली अवस्थाहरूले पुनःप्राप्ति बिगार्नुअघि करिब 0.138N वटा प्याटर्न मात्र भरपर्दो रूपमा सुरक्षित राख्न सक्छ। यो साँचो सीमा हो, तर यो एउटा इमानदार सीमा हो। ट्रान्सफर्मरले कहिलेदेखि भ्रम (hallucination) देखाउन थाल्छ भन्ने कुरामा कुनै स्पष्ट गणितीय सीमा हुँदैन।
यसबाहेक, आधुनिक हपफिल्ड नेटवर्कहरू (Krotov & Hopfield, 2016; Demircigil et al., 2017) उच्च-क्रमका अन्तरक्रिया पदहरूमार्फत घाताङ्कीय भण्डारण क्षमता हासिल गर्छन्। अनुसन्धानले यी सीमाहरू निरन्तर फराकिलो पारिरहेको छ: स्पार्स र संरचित हपफिल्ड नेटवर्क, लामो-अनुक्रमका हपफिल्ड मेमोरी, र सम्पत्ति आवण्टन (asset allocation) का लागि हपफिल्ड नेटवर्क सबै सक्रिय विकासका क्षेत्र हुन्, र शोधपत्रहरू तीव्र गतिमा थपिँदै छन्।
व्यावहारिक प्रयोग: PC देखि सर्किटसम्म
सुरुवाती न्युरल नेटवर्क अनुसन्धानकर्ताहरूको मूल दृष्टिकोण स्पष्ट थियो: एकपटक वर्णन गरेपछि सबैतिर तैनाथ गर्न सकिने फ्रेमवर्क। हपफिल्डको आर्किटेक्चरले यसलाई साकार पार्छ:
कम्प्युटर एप्लिकेसनहरू एउटा वेट म्याट्रिक्स र एउटा अपडेट नियम। GPU चाहिँदैन।
इन्टरनेट एप्लिकेसनहरू समानता खोज, सिफारिस र दोहोरो हटाउने (deduplication) का लागि सामग्री-ठेगाना (content-addressable) मेमोरी।
रोबोटिक्स रियल-टाइम नियन्त्रण लुपका लागि सुनिश्चित कन्भर्जेन्स। मोटर प्याटर्नहरू एट्र्याक्टरका रूपमा भण्डारण गरिन्छन्, र सेन्सरको आवाजयुक्त इनपुटबाट पनि पुनः सम्झन सकिन्छन्।
इम्बेडेड प्रणालीहरू बाइनरी हपफिल्ड नेटवर्कहरू केवल पूर्णाङ्क अङ्कगणितका भरमा माइक्रोकन्ट्रोलरमा चल्छन्।
इलेक्ट्रोनिक सर्किटहरू सममित वेटहरू प्रतिरोधी नेटवर्कमा सिधै मिल्छन्। बुद्धिमत्ता सिधै सिलिकनमै निर्माण गरिएको।
अबको बाटो
ट्रान्सफर्मर युगले हामीलाई असाधारण भाषिक मेसिनहरू दियो। तर अब सीमाना भौतिक संसारतर्फ फैलिँदैछ रोबोट, सेन्सर, एक्चुएटर र रियल-टाइम निर्णयहरू। त्यो सीमानालाई यस्ता आर्किटेक्चर चाहिन्छ जो स्थिर, कुशल, व्याख्या गर्न सकिने र एजमा साँच्चै उपलब्ध हार्डवेयरमा तैनाथ गर्न सकिने होऊन्।
२०२० मा ट्रान्सफर्मर एटेन्सन आधुनिक हपफिल्ड अपडेट नियम नै हो भन्ने प्रमाण केवल गणितीय कौतूहल मात्र थिएन यसले देखायो कि हामीले सुरुदेखि नै हपफिल्ड नेटवर्कहरू प्रयोग गरिरहेका थियौं, तर तिनलाई यस्तो फ्रेमवर्कमा बेरिएको थियो जसले तिनको वास्तविक स्वरूप ओझेल पारेको थियो। हपफिल्डका लुकेका अवस्थाहरूले रैंक कोल्याप्स जस्ता ट्रान्सफर्मरका समस्या समाधान गर्छन् भन्ने २०२५ को NeurIPS कार्यले अर्को कदम सुझाउँछ: ट्रान्सफर्मरमा हपफिल्डका अन्तर्दृष्टि टाल्ने होइन, हपफिल्ड प्रतिमानमै सिधै निर्माण गर्ने।
जोन हपफिल्डले १९८२ मा हामीलाई बाटो देखाए। डोनाल्ड हेबले १९४९ मा जैविक आधार खडा गरे। अनुसन्धान समुदाय अहिले त्यतैतिर एकत्रित हुँदैछ।
अब बदल्ने बेला भएको छ।
सन्दर्भ सामग्री
- Hopfield, J.J. (1982). "Neural networks and physical systems with emergent collective computational abilities." PNAS, 79(8), 2554–2558.
- Hebb, D.O. (1949). The Organization of Behavior. Wiley.
- Ramsauer, H. et al. (2020). "Hopfield Networks is All You Need." ICLR 2021. arXiv:2008.02217
- Krotov, D. & Hopfield, J.J. (2016). "Dense Associative Memory for Pattern Recognition." NeurIPS.
- Storkey, A. (1997). "Increasing the capacity of a Hopfield network without sacrificing functionality." ICANN.
- Hoover, B., Krotov, D. et al. (2023). "Energy Transformer." NeurIPS 2023. arXiv:2302.07253
- Masumura, T. & Taki, M. (2025). "On the Role of Hidden States of Modern Hopfield Network in Transformer." NeurIPS 2025. arXiv:2511.20698
- Alonso, N. & Krichmar, J. (2024). "A sparse quantized Hopfield network for online-continual memory." Nature Communications, 15, 3722. nature.com
- Hu, J.Y. et al. (2024). "Outlier-Efficient Hopfield Layers for Large Transformer-Based Models." arXiv:2404.03828
- Hu, J.Y. et al. (2026). "Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle." arXiv:2511.00907
- Hopfield, J.J. & Tank, D.W. (1985). "'Neural' Computation of Decisions in Optimization Problems." Biological Cybernetics, 52, 141–152.
- Bruck, J. (1990). "On the convergence properties of the Hopfield model." Proceedings of the IEEE.
- Krotov, D. (2025). "Searching for brain-inspired AI algorithms." IBM Research Blog. research.ibm.com
- "Energy-Based Learning and the Evolution of Hopfield Networks." TechRxiv, अप्रिल 2025। techrxiv.org
