ჰებისეული სწავლა ხვდება ჰოპფილდის ქსელებს: არქიტექტურა, რომელიც ტრანსფორმერებზე ყოველთვის ჭკვიანი იყო
გასული ათწლეულის განმავლობაში ხელოვნური ინტელექტის სივრცეში ტრანსფორმერები და მათი ყურადღების მექანიზმები ბატონობდნენ. GPT-დან BERT-მდე და Vision Transformers-მდე ლოზუნგმა „ყურადღება არის ყველაფერი, რაც გჭირდება“ მანქანური სწავლების შესახებ ჩვენი წარმოდგენა სრულად შეცვალა. მთარგმნელი სისტემები, ანუ ენკოდერ-დეკოდერის მილსადენები, რომლებიც მონაცემებს ერთი წარმოდგენიდან მეორეში გადაიყვანენ, ყველაფრის საფუძველი გახდა: ენის დამუშავებიდან სურათების გენერაციამდე. ისინი რევოლუციური იყო. ისინი ძლიერი იყო.
ახლა კი კედელს ეჯახებიან.
ირონია ისაა, რომ გამოსავალი 1982 წლიდან არსებობს. იმ წელს ჯონ ჰოპფილდმა გამოაქვეყნა სტატია ჟურნალში Proceedings of the National Academy of Sciences, რომელშიც წარადგინა რეკურენტული ნეირონული ქსელი იმ თვისებით, რომელსაც ტრანსფორმერები ჭეშმარიტად არასოდეს მიღწევიან: ენერგიის მინიმიზაციის წყალობით სტაბილურ მდგომარეობებში გარანტირებული კონვერგენცია. ჰოპფილდის ქსელი მხოლოდ შაბლონებს კი არ სწავლობდა, ის მათ ენერგეტიკულ ლანდშაფტში ფიზიკურ ატრაქტორებად ინახავდა და ამოღება შეიძლებოდა ხმაურიანი ან არასრული შეყვანიდანაც.
ხელოვნური ინტელექტის საზოგადოება მხოლოდ ახლა იწყებს იმის გააზრებას, რაც ფიზიკოსებმა და ნეირომეცნიერებმა ათწლეულებია იციან: ნეირონული გამოთვლისადმი ენერგიაზე დაფუძნებული, ასოციაციური მიდგომა ისტორიული კურიოზი კი არა, ფუნდამენტური პარადიგმაა, რომელზეც ტრანსფორმერების ეპოქამ მხოლოდ დაშენება შეძლო, სრულად გაუაზრებლად.
ტრანსფორმერების ჭერი
ტრანსფორმერები მუშაობენ თვითყურადღების მეშვეობით: ისინი ერთდროულად ითვლიან კავშირებს თანმიმდევრობის ყველა ელემენტს შორის. ენისთვის ეს შესანიშნავია. შესანიშნავია მკაფიო თანმიმდევრული შაბლონების მქონე სტრუქტურირებული მონაცემებისთვისაც. მაგრამ რეალური სამყარო, სადაც არის რობოტიკა, ჩაშენებული სქემები, სენსორებზე დაფუძნებული გადაწყვეტილებები და ზღვრული გამოთვლები, არ ლაგდება მოწესრიგებულ თანმიმდევრობებად, რომლებიც ყურადღებას ელოდებიან.
ტრანსფორმერის არქიტექტურა სიუხვეს ვარაუდობს: უხვ გამოთვლით ძალას, უხვ მეხსიერებას, უხვ ენერგიას. თვითყურადღების ხარჯი თანმიმდევრობის სიგრძესთან ერთად კვადრატულად იზრდება. პირდაპირი გავრცელების ფენები წრფივად იზრდება, მაგრამ უზარმაზარი მასშტაბით. როცა ტრანსფორმერზე დაფუძნებულ სისტემას საწყობში მოძრავ მობილურ რობოტზე ამუშავებ ან საწარმოო მკლავის მმართველ ელექტრონულ სქემაში ამაგრებ, ეს დაშვებები ინგრევა.
მთარგმნელის პარადიგმას საკუთარი შეზღუდვაც აქვს: ის ინტელექტს უპირველესად ფიქსირებულ წარმოდგენებს შორის გარდაქმნის ამოცანად განიხილავს. დააკოდირე შეყვანა. გაშიფრე გამოტანა. მაგრამ ნამდვილი ინტელექტი მხოლოდ არ თარგმნის — ის იმახსოვრებს, ის ასოცირებს და ის კონვერგირდება სტაბილურ ინტერპრეტაციაზე მაშინაც კი, როცა შეყვანა დაზიანებულია ან ორაზროვანია.
ამ პრობლემებს კვანტიზაციით, დისტილაციით, გასხვლით და ასობით სხვა ოპტიმიზაციის ხრიკით ვაყრუებთ. 2025 წლის Edge AI მიმოხილვები ადასტურებს, რომ ღრმა სწავლების ჩაშენებულ აპარატურაზე განთავსება კვლავ „მეხსიერების, გამოთვლისა და ენერგიის მკაცრი შეზღუდვებით არის შეზღუდული“. მაგრამ პრინციპულად შეუსაბამო არქიტექტურის ოპტიმიზაცია ანგარიშსწორებას მხოლოდ აგვიანებს. გვჭირდება არქიტექტურა, რომელიც მეხსიერებას, სტაბილურობასა და ენერგოეფექტიანობას პირველ პრინციპებად მიიჩნევს და არა შემდგომ დამატებად.
ასპარეზზე გამოდის ჰოპფილდის ნეირონული ქსელი
ჰოპფილდის ქსელი რეკურენტული ნეირონული ქსელია, რომელიც ნეირონების ერთი ფენისგან შედგება და თითოეული ნეირონი დაკავშირებულია ყველა სხვა ნეირონთან, საკუთარი თავის გარდა. ქსელი ქმნის სრულ არაორიენტირებულ გრაფს — ნეირონების ყოველ წყვილს სიმეტრიული კავშირის წონა აქვს, ანუ კავშირის სიძლიერე ნეირონ i-დან ნეირონ j-მდე იგივეა, რაც სიძლიერე ნეირონ j-დან i. თვითკავშირები არ არსებობს (wᵢᵢ = 0). იერარქიული შრეებიც არ არის. არც თანმიმდევრული დამუშავების კონვეიერია. სამაგიეროდ, მთელი ქსელი ერთიან, ურთიერთდაკავშირებულ დინამიკურ სისტემად ფუნქციონირებს, რომელიც დროთა განმავლობაში სტაბილური წონასწორობის მდგომარეობებისკენ ვითარდება.
ჰოპფილდის ქსელი სრულად დაკავშირებული ნეირონებით. ყოველი კვანძი ყველა დანარჩენს უკავშირდება სიმეტრიული წონებით (wᵢⱼ = wⱼᵢ) და ქმნის სრულ არაორიენტირებულ გრაფს. თვითკავშირები არ არსებობს.
ამ არქიტექტურის ელეგანტურობა მის ენერგიის ფუნქციაშია. ჰოპფილდმა დაამტკიცა, რომ მისი ქსელი ლიაპუნოვის ენერგიის ფუნქციას შეესაბამება:
E = −½ Σᵢ Σⱼ wᵢⱼ sᵢ sⱼ − Σᵢ θᵢ sᵢ
ეს ენერგია ნეირონის ყოველი განახლებისას გარანტირებულად მცირდება (ან უცვლელი რჩება). ქსელი ყოველთვის კონვერგირდება: არასოდეს ირხევა დაუსრულებლად, არასოდეს განშორდება და არასოდეს ებმება უსასრულო გამოთვლის ციკლებში. ის ჩერდება. 1990 წელს ბრაკმა დაამტკიცა, რომ ეს დამშვიდების ქცევა დაკავშირებულია შესაბამისი გრაფის ჭრებთან: ქსელი, არსებითად, ყოველ განახლების ნაბიჯზე ახორციელებს ხარბ ალგორითმს მაქსიმალური ჭრის ამოცანისთვის.
და სწორედ იქ, სადაც ქსელი ჩერდება, ცხოვრობს ინტელექტი. შენახული ნიმუშები ენერგიის ფუნქციის ლოკალურ მინიმუმებს შეესაბამება, ანუ ენერგეტიკულ ლანდშაფტში არსებულ ხეობებს. როცა ქსელს შენახული ნიმუშის დაზიანებულ, ხმაურიან ან არასრულ ვერსიას მივაწვდით, დინამიკა ქსელის მდგომარეობას დაღმართზე აგორებს, სანამ ის უახლოეს ხეობაში არ ჩავარდება: შენახულ ნიმუშში, რომელიც შეყვანას საუკეთესოდ ემთხვევა.
ჰოპფილდის ქსელის ენერგეტიკული ლანდშაფტი. თითოეული ხეობა (ლოკალური მინიმუმი) შენახულ მეხსიერების ნიმუშს შეესაბამება. ნებისმიერი საწყისი მდგომარეობიდან ქსელის დინამიკა „დაღმართზე“ ეშვება, სანამ უახლოეს ატრაქტორში არ დაწყნარდება და არასრული ან ხმაურიანი შეყვანიდან სრულ ნიმუშს არ აღადგენს.
ეს არის შინაარსით მისამართებადი ასოციაციური მეხსიერება უნარი, ნაწილობრივი მინიშნებიდან სრული მოგონება გავიხსენოთ. ბიოლოგიური ტვინი ამას დაუზარლად აკეთებს, ტრანსფორმერები კი მხოლოდ ძვირადღირებული გამოთვლებით თუ უახლოვდებიან.
კავშირი ფიზიკასთან ღრმაა. ჰოპფილდის ქსელი მათემატიკურად ეკვივალენტურია იზინგის მოდელისა, იმავე ჩარჩოსი, რომლითაც სტატისტიკურ მექანიკაში მაგნეტიზმს აღწერენ. 1975 წელს გამოქვეყნებული შერინგტონ-კირკპატრიკის სპინური მინის მოდელი, არსებითად, შემთხვევითი წონების მქონე ჰოპფილდის ქსელია. ჰოპფილდის გენიალურობა ის იყო, რომ ეს თვისება შეგნებულად გამოიყენა და ენერგეტიკული ლანდშაფტი ისე დააპროექტა, რომ თითოეული მინიმუმი სასარგებლო შენახულ ნიმუშს შეესაბამებოდეს.
ჰებური სწავლა: ნეირონები, რომლებიც ერთად აქტიურდებიან, ერთმანეთს უკავშირდებიან
სწავლის წესს, რომელიც ჰოპფილდის ქსელებს მუშაობის საშუალებას აძლევს, კიდევ უფრო ღრმა ფესვები აქვს და დონალდ ჰების 1949 წლის წიგნს ქცევის ორგანიზაცია უკავშირდება. ამ წიგნში ჩამოყალიბდა პრინციპი, რომელიც დღეს ნეირონული სწავლის თეორიის საფუძვლად ითვლება.
ჰების აზრი მატყუარა სიმარტივით გამოირჩეოდა: როცა პრესინაფსური უჯრედი განმეორებით და მუდმივად მონაწილეობს პოსტსინაფსური უჯრედის გააქტიურებაში, მათ შორის სინაფსური კავშირი ძლიერდება. „ნეირონები, რომლებიც ერთად აქტიურდებიან, ერთმანეთს უკავშირდებიან“, თუმცა თავად ჰები უფრო ზუსტი იყო და ხაზს უსვამდა, რომ A უჯრედმა B უჯრედის გააქტიურებაში უნდა მიიღოს მონაწილეობა, და არა უბრალოდ ერთდროულად გააქტიურდეს. ეს დროითი მიზეზობრიობა წინასწარმეტყველებდა იმას, რასაც დღეს სპაიკების დროზე დამოკიდებულ პლასტიკურობას (STDP) ვუწოდებთ. ის ათწლეულების შემდეგ ექსპერიმენტულად დადასტურდა, მათ შორის ერიკ კანდელის გარღვევის მომტანი კვლევით ზღვის ლოკოკინა Aplysia californica-ზე.
ჰების სწავლება: როცა ორი დაკავშირებული ნეირონი არაერთხელ აქტიურდება ერთად, მათ შორის სინაფსი მტკიცდება. პრინციპი „ნეირონები, რომლებიც ერთად აქტიურდებიან, ერთმანეთს უკავშირდებიან“ ბიოლოგიური საფუძველია იმისა, თუ როგორ ინახავს ჰოპფილდის ქსელი შაბლონებს.
ჰოპფილდის ქსელში ჰების სწავლება ასე ხორციელდება:
wᵤᵥ = (1/N) Σₗ sᵤ(l) · sᵥ(l) ყველა შენახული შაბლონისთვის l, სადაც u ≠ v
როცა ორ ნეირონს მოცემულ შაბლონში ერთნაირი მდგომარეობა აქვს (ორივე +1 ან ორივე −1), მათი ნამრავლი დადებითია და აგზნების კავშირს ამყარებს. როცა ისინი არ ემთხვევიან, ნამრავლი უარყოფითია და წარმოიქმნება დამამუხრუჭებელი კავშირი. დაგროვილი ეფექტი ენერგეტიკულ ლანდშაფტს ძერწავს, სადაც თითოეულ შენახულ შაბლონს თავისი ხეობა აქვს.
ჰების წესი ლოკალურია (წონის ყოველი განახლება იყენებს მხოლოდ იმ ინფორმაციას, რომელიც ორ დაკავშირებულ ნეირონს ხელთ აქვს) და ინკრემენტული (ახალი შაბლონების შენახვა ძველების ხელახლა დამუშავების გარეშეც შეიძლება). საოცარია, რომ მათემატიკურად შეიძლება დადასტურდეს, რომ ჰებისეული სწავლება ასრულებს შეყვანილი მონაცემების მთავარი კომპონენტების ანალიზს (PCA) მასწავლებლის გარეშე — ქსელი ბუნებრივად გამოყოფს თავისი გარემოს ყველაზე სტატისტიკურად მნიშვნელოვან ნიშნებს.
1997 წელს ამოს სტორკიმ შემოიღო გაუმჯობესებული სწავლების წესი, რომელიც თითოეული ნეირონის ლოკალურ ველს ითვალისწინებს და სტანდარტულ ჰებისეულ სწავლებაზე მეტ შენახვის ტევადობას აღწევს. ეს აჩვენებს, რომ ერთსა და იმავე არქიტექტურაშიც კი სწავლების ალგორითმის არჩევანს ღრმა მნიშვნელობა აქვს — პრინციპი, რომელიც ნეირონული ქსელების კვლევის ზოგად გაკვეთილს ეხმიანება.
გარღვევა: „ჰოპფილდის ქსელები სწორედ ის არის, რაც გჭირდებათ“
2020 წელს ლინცის იოჰანეს კეპლერის უნივერსიტეტში ჰუბერტ რამზაუერის ხელმძღვანელობით მომუშავე ჯგუფმა გამოაქვეყნა სტატია პროვოკაციული სათაურით, რომელიც ტრანსფორმერის წარმოშობის ისტორიას ეხმიანება: „Hopfield Networks is All You Need“. მათი წვლილი იყო იმის მათემატიკური დადასტურება, რასაც ბევრი ეჭვობდა: ტრანსფორმერებში თვითყურადღების მექანიზმი ზუსტად თანამედროვე უწყვეტი ჰოპფილდის ქსელის განახლების წესია.
კავშირი თანამედროვე ჰოპფილდის ქსელებსა და ტრანსფორმერის ყურადღებას შორის. ტრანსფორმერებში softmax-ზე დაფუძნებული ყურადღების მექანიზმი მათემატიკურად ექვივალენტურია უწყვეტი ჰოპფილდის ქსელის ერთი განახლების ბიჯისა ექსპონენციალური ენერგიის ფუნქციით. სურათი: Ramsauer et al., „Hopfield Networks is All You Need“.
ეს მხოლოდ ანალოგია არ ყოფილა. ჯგუფმა აჩვენა, რომ კლასიკური ჰოპფილდის ენერგიის ფუნქციის უწყვეტ მდგომარეობებზე განზოგადებითა და ექსპონენციალური ურთიერთქმედების წევრის გამოყენებით განახლების წესი ასეთ სახეს იღებს:
Z = softmax(β · R Wq Wk⊤ Y⊤) Y Wk Wv
ეს კი ზუსტად ტრანსფორმერის ყურადღების ფორმულაა. თანამედროვე ჰოპფილდის ქსელს შეუძლია შეინახოს ექსპონენციალურად ბევრი შაბლონი (ასოციაციური სივრცის განზომილების მიხედვით), აღადგენს მათ ერთი განახლებით და აღდგენის ცდომილებაც ექსპონენციალურად მცირე აქვს.
სტატიაში თანამედროვე ჩარჩოში ენერგიის მინიმუმების სამი ტიპია გამოყოფილი: (1) გლობალური უძრავი წერტილი, რომელიც ყველა შენახულ შაბლონს ასაშუალებს, (2) მეტასტაბილური მდგომარეობები, რომლებიც შაბლონების ქვესიმრავლეებს ასაშუალებს, და (3) უძრავი წერტილები, რომლებიც ცალკეულ შაბლონებს ინახავს. ქვედა შრეების ტრანსფორმერის თავაკები, როგორც წესი, გლობალური გასაშუალების რეჟიმში მუშაობენ, ხოლო მაღალი შრეების თავაკები ინფორმაციის შესაგროვებლად და დასამუშავებლად მეტასტაბილურ მდგომარეობებს იყენებენ — დაკვირვება, რომელიც ღრმა წარმოდგენას გვაძლევს იმაზე, რატომ მუშაობს ტრანსფორმერები ასე, როგორც მუშაობს.
პრაქტიკული შედეგი მყისიერი იყო: ჯგუფმა გამოუშვა ჰოპფილდის შრეებიროგორც პირდაპირ ჩასანაცვლებელი PyTorch მოდულები, რომლებსაც შეეძლოთ პულინგის ფენების, GRU/LSTM ფენებისა და სტანდარტული ყურადღების ფენების ჩანაცვლება. ბენჩმარკებში ჰოპფილდის ამ ფენებმა უახლესი შედეგები აჩვენეს იმუნური რეპერტუარის კლასიფიკაციაში (ერთ ნიმუშზე რამდენიმე ასეული ათასი ინსტანციით), მრავალინსტანციანი სწავლების ამოცანებსა და UCI-ის კლასიფიკაციის ბენჩმარკებზე, სადაც ტრადიციული ღრმა სწავლების მეთოდები ჩვეულებრივ ვერ ართმევს თავს.
2025 წლის დეკემბრისთვის მასუმურასა და ტაკის NeurIPS-ის სტატიამ კიდევ უფრო შორს წაიწია: მან აჩვენა, რომ „ადიაბატური მიახლოების“ მიღმა გასვლა ავლენს ფარულ მდგომარეობებს ჰოპფილდისა და ტრანსფორმერის შესაბამისობაში. ისინი ხსნიან რანგის კოლაფსისა და ტოკენების ერთგვაროვნების პრობლემებს, რომლებიც ღრმა ტრანსფორმერებს აწუხებს, და აუმჯობესებენ სიზუსტეს ერთი დამატებითი ტრენინგ-პარამეტრის გარეშე.
მზარდი კონსენსუსი: ვინ კიდევ ამბობს ამას?
ეს მტკიცება, რომ ჰოპფილდის ქსელები ტრანსფორმერების შემდგომ შემდეგ პარადიგმას წარმოადგენს, სპეკულაცია არ არის. მას მსხვილი კვლევითი ინსტიტუტები აქტიურად ავითარებენ და მტკიცებულებები სწრაფად მატულობს. აი, ძირითადი ხმები და ნაშრომები, რომლებიც ერთსა და იმავე დასკვნას უახლოვდებიან.
IBM Research და დმიტრი კროტოვი
2025 წლის იანვარში IBM Research-მა გამოაქვეყნა ვრცელი ინტერვიუ დმიტრი კროტოვთან, ჰოპფილდის დიდი ხნის თანამშრომელთან და Dense Associative Memory-ის ერთ-ერთ არქიტექტორთან. კროტოვმა საკითხი პირდაპირ დააყენა: რადგან ჰოპფილდის ქსელები ტვინის რეკურენტულ უკუკავშირის ციკლებს იმეორებს, განსხვავებით დღევანდელი AI მოდელების 90%-ის პირდაპირი გავრცელების არქიტექტურისგან, ისინი „დღევანდელი პირდაპირი გავრცელების ქსელების პერსპექტიული ალტერნატივაა“. მან აღნიშნა, რომ ტრანსფორმერები ინფორმაციას მხოლოდ ერთი მიმართულებით ამუშავებენ და კონტექსტის ფანჯრის ზრდასთან ერთად გამოთვლითი სირთულე სწრაფად იზრდება. ტვინი კი, პირიქით, რეკურენტულ უკუკავშირის ციკლებს იყენებს წარსული ინფორმაციის შესაჯამებლად და მეხსიერებაში შესანახად. ჰოპფილდის ქსელები ზუსტად ასე მუშაობს.
კროტოვმა ასევე აღწერა Energy Transformer (NeurIPS 2023) — IBM Research-ისა და Georgia Tech-ის ერთობლივი ნამუშევარი, რომელიც ჰოპფილდისეულ იდეებს არსებულ ტრანსფორმერებზე უბრალოდ კი არ ადებს, არამედ პირდაპირი გავრცელების ტრანსფორმერული ბლოკების მთელ თანმიმდევრობას ერთი დიდი ასოციაციური მეხსიერების მოდელით ცვლის. Energy Transformer-ში ყურადღების მექანიზმი აშკარად განსხვავდება ჩვეულებრივისგან: ის ენერგიის მინიმიზაციის პირველსაწყისი პრინციპებიდან მიიღება და არა პირდაპირი გავრცელების კონვეიერზეა მიწებებული.
🔗 IBM Research „Searching for brain-inspired AI algorithms“ (2025 წლის იანვარი)
🔗 Energy Transformer arXiv:2302.07253 (NeurIPS 2023)
იოჰანეს კეპლერის უნივერსიტეტი — ჰოხრაიტერის ჯგუფი
ზეპ ჰოხრაიტერმა, LSTM-ის თანაგამომგონებელმა, ხელმძღვანელობდა გუნდს, რომელმაც გამოაქვეყნა „Hopfield Networks is All You Need“. მათი ჰოპფილდის ფენების რეპოზიტორია გთავაზობთ პროდაქშენისთვის მზა PyTorch მოდულებს, რომლებიც პირდაპირ ცვლის ტრანსფორმერის ყურადღების ფენებს, პულინგის ფენებსა და რეკურენტულ ფენებს. ამავე თემაზე დაწერილი თანმხლები ბლოგპოსტი ეტაპობრივად გადის მათემატიკურ გამოყვანას, რომელიც აჩვენებს, რომ softmax-ყურადღების ფორმულა თანამედროვე ჰოპფილდის განახლების წესის კერძო შემთხვევაა და რომ ჰოპფილდის ფენები სტანდარტული ყურადღებისთვის მიუწვდომელ დამატებით შესაძლებლობებს გვთავაზობს, მათ შორის სტატიკურ დასწავლილ პროტოტიპებსა და ასოციაციური მეხსიერების მოქნილ კონფიგურაციებს.
🔗 Hopfield Networks is All You Need - ICLR 2021
NeurIPS 2025: Hopfield Attention Improves GPT and Vision Transformers
ყველაზე ახალი მტკიცებულება მასუმურასა და ტაკის 2025 წლის დეკემბრის NeurIPS-ის სტატიიდან მოდის. მათ აჩვენეს, რომ თანამედროვე ჰოპფილდის ყურადღება (MHA), რომელიც ამატებს ფარულ მდგომარეობებს, მიღებულს სრული (არაადიაბატური) ჰოპფილდის დინამიკიდან, სისტემატურად აუმჯობესებს როგორც GPT-2-ისა და LLaMA-ს ენობრივ მოდელებს, ისე Vision Transformer-ებს. ეს გაუმჯობესებები დამატებითი სასწავლი პარამეტრების გარეშე მიიღწა. რაც მთავარია, აღმოჩნდა, რომ MHA წყვეტს რანგის კოლაფსის პრობლემას (როცა ღრმა ტრანსფორმერებში ყურადღების მატრიცები გადაგვარდება და ყველა ტოკენი მსგავს წარმოდგენებად იკრიბება) — ფუნდამენტურ პათოლოგიას, რომელიც ტრანსფორმერების მასშტაბირებას წლებია ახლავს. ავტორები ასკვნიან: „ვიმედოვნებთ, რომ ეს კვლევა ახალ შესაძლებლობებს გახსნის ჰოპფილდის ქსელებზე დაფუძნებული ტრანსფორმერული არქიტექტურების სისტემური დაპროექტებისთვის.“
🔗 On the Role of Hidden States of Modern Hopfield Network in Transformer arXiv:2511.20698 (NeurIPS 2025)
Nature Communications: ბიოლოგიურად დასაჯერებელი ონლაინ სწავლება
2024 წლის მაისში Nature Communications-მა გამოაქვეყნა ნაშრომი Sparse Quantized Hopfield Network-ის შესახებ. ეს მოდელი სწავლობს ლოკალური სწავლების წესებით ონლაინ-უწყვეტ სცენარებში — ზუსტად ისე, როგორც ბიოლოგიური ტვინი. ეს პასუხობს ტრანსფორმერების ფუნდამენტურ შეზღუდვას: მათ სჭირდებათ არალოკალური უკუგავრცელება და სწავლება წინასწარ შერჩეულ მონაცემთა ნაკრებებზე, ოფლაინ რეჟიმში. ნაშრომი ჰოპფილდზე დაფუძნებულ არქიტექტურებს წარმოაჩენს ბუნებრივ ხიდად ხელოვნურ ნეირონულ ქსელებსა და ნეირომორფულ გამოთვლით აპარატურას შორის.
🔗 A Sparse Quantized Hopfield Network for Online-Continual Memory Nature Communications (2024)
Outlier-Efficient Hopfield Layers for Large Foundation Models
2024 წლის ერთმა ნაშრომმა დიდ ტრანსფორმერულ მოდელებში პრაქტიკული პრობლემა მოაგვარა: ყურადღება ხშირად არაინფორმატიულ ტოკენებზე (გამყოფებზე, პუნქტუაციის ნიშნებზე) ნაწილდება — ეს არის „no-op outlier“ პრობლემა. მათი გადაწყვეტაა outlier-efficient ჰოპფილდის ენერგიის ფუნქცია, რომელიც ამ ტოკენებს აცნობიერებს და ნულოვანი ენერგიის წერტილზე მიმართავს, რათა სასარგებლო ყურადღება არ გაფანტონ. მიღებული მოდელი კერძო შემთხვევად მოიცავს Softmax₁ ყურადღებას და გამოცდილია BERT-ზე, OPT-სა და Vision Transformer-ებზე. ეს არის ჰოპფილდის თეორია, რომელიც ტრანსფორმერების რეალურ საინჟინრო პრობლემებს წყვეტს.
🔗 Outlier-Efficient Hopfield Layers for Large Transformer-Based Models (2024)
ტრანსფორმერები ენერგიის მინიმიზატორებად (2026 წლის იანვარი)
უახლესი თეორიული ნაშრომი, გამოქვეყნებული 2026 წლის იანვარში, ტრანსფორმერის მთელ პირდაპირ გავლას შინაგანი ენერგიის მინიმიზაციად აღწერს და ჰოპფილდის პერსპექტივას სრულად იღებს ახსნის ჩარჩოდ იმისა, თუ საერთოდ რატომ მუშაობს ტრანსფორმერები. ნაშრომი იშვიათი ჰოპფილდის თანამედროვე მოდელებს ყურადღების ყველა ვარიანტთან (softmax, sparsemax, α-entmax) აკავშირებს და აჩვენებს, რომ ისინი ყველა ენერგიაზე დაფუძნებული მოძიების დინამიკის კერძო შემთხვევებია.
🔗 Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle (2026 წლის იანვარი)
მიმოხილვითი ნაშრომები და თემის რესურსები
ფართო სამეცნიერო საზოგადოება სწორედ ამ თანხვედრის გარშემო ერთიანდება:
- "Energy-Based Learning and the Evolution of Hopfield Networks" (TechRxiv, 2025 წლის აპრილი) ყოვლისმომცველი მიმოხილვა, რომელიც მთელ გზას ადევნებს თვალს: ჰოპფილდიდან (1982) ბოლცმანის მანქანებამდე და ტრანსფორმერის ყურადღების, როგორც თანამედროვე ჰოპფილდის დინამიკის, ხელახალ ინტერპრეტაციამდე. → წაიკითხეთ ნაშრომი
- "An Energy-Based Perspective on Attention Mechanisms in Transformers" ღრმა ტექნიკური ბლოგპოსტი, რომელიც ამტკიცებს, რომ ტრანსფორმერების გააზრებამ ჰოპფილდის ენერგეტიკული ლინზით „შესაძლოა მიგვიყვანოს თვისობრივად განსხვავებულ გაუმჯობესებებამდე იმის მიღმა, რაც მხოლოდ მასშტაბირებითა და გამოთვლითი სირთულის შემცირებით არის შესაძლებელი.“ → წაიკითხეთ ბლოგი
- Awesome Modern Hopfield Networks GitHub-ის კურირებული რეპოზიტორია, რომელიც აკონტროლებს 50-ზე მეტ ნაშრომს თანამედროვე ჰოპფილდის ქსელებზე სხვადასხვა სფეროში: აქტივების განაწილება, ცვლილებების აღმოჩენა, შემოქმედებითი აზრის რეკონსტრუქცია, განაწილების გარეთ მყოფი მონაცემების აღმოჩენა, იმუნური რეპერტუარის კლასიფიკაცია და სხვა. → დაათვალიერეთ კოლექცია
- „Is Hopfield Networks All You Need?“ (Analytics India Magazine, 2024 წლის დეკემბერი) პრაქტიკოსებისთვის განკუთვნილი მიმოხილვა იმის შესახებ, თუ როგორ აჩვენა ჰოხრაიტერის გუნდმა, რომ ჰოპფილდის ქსელები „ურთიერთშესაცვლელია უახლესი ტრანსფორმერული მოდელებით“. → წაიკითხეთ სტატია
- „New Research in Hopfield Networks: A Short Intro“ (Medium, 2024 წლის ივლისი) ხელმისაწვდომი მიმოხილვა, რომელშიც აღნიშნულია, რომ ექსპონენციალური აქტივაციის ფუნქციების წყალობით შენახვის ტევადობა 0.138N-დან 2^(N/2)-მდე გაიზარდა. → წაიკითხეთ Medium-ზე
ტენდენცია ნათელია. ეს არც ერთი ლაბორატორიის წინადადებაა და არც ერთი ნაშრომის ვარაუდი. IBM Research, იოჰანეს კეპლერის უნივერსიტეტი, MIT, NeurIPS, Nature Communications და მანქანური სწავლების ფართო საზოგადოება სხვადასხვა მხრიდან ერთსა და იმავე დასკვნამდე მიდიან: ენერგიაზე დაფუძნებული ასოციაციური მეხსიერების პარადიგმა, რომელიც ჰოპფილდმა დაამკვიდრა, არა მხოლოდ საფუძველია, რომელზეც ტრანსფორმერები, თავადაც ამის უცოდველად, აიგო, არამედ ჩარჩოა, რომელიც ხელოვნურ ინტელექტს იქ წაიყვანს, სადაც მარტო ტრანსფორმერები ვერ მიაღწევენ.
რატომ არის ეს მნიშვნელოვანი ახლა: გადასვლის არგუმენტები
გარანტირებული კონვერგენცია უსაფრთხოებისთვის კრიტიკულ სისტემებში
ტრანსფორმერები გამოსავალს გვაძლევენ, მაგრამ სტაბილურობის მათემატიკური გარანტია არ არსებობს. ჰოპფილდის ქსელები სტაბილურ მდგომარეობებში მტკიცებულებით კონვერგირდებიან ენერგიის ფუნქცია მონოტონურად მცირდება. რობოტიკისთვის, ავტონომიური ავტომობილებისთვის, სამედიცინო მოწყობილობებისთვის და ნებისმიერი სისტემისთვის, სადაც საიმედოობა არ ექვემდებარება კომპრომისს, ეს მოთხოვნაა, რომელსაც ტრანსფორმერები ვერ დააკმაყოფილებენ.
ასოციაციური მეხსიერება როგორც ძირითადი უნარი
თუ ჰოპფილდის ქსელს ისე გაწვრთნით, რომ მდგომარეობა (1, −1, 1, −1, 1) ენერგიის მინიმუმი გახდეს, და შეყვანად დაზიანებულ (1, −1, −1, −1, 1) მონაცემს მიაწვდით, ქსელი სწორ შენახულ შაბლონამდე მივა. ის არ გამოიცნობს და არ ახდენს ინტერპოლაციას ის ენერგიის ლანდშაფტში დაღმართზე ეშვება უახლოეს ატრაქტორამდე. რობოტიკაში, სადაც სენსორები დაფარულია, ჩაშენებულ სისტემებში ხმაურიანი მონაცემებით და ნებისმიერ აპლიკაციაში, სადაც ნაწილობრივი შეყვანიდან შაბლონის შევსებაა საჭირო, ეს გარდამტეხია.
უნივერსალური ოპტიმიზაციის ძრავა
1985 წელს ჰოპფილდმა და დეივიდ ტანკმა აჩვენეს, რომ ჰოპფილდის ქსელებს შეუძლიათ მოგზაური გამყიდველის ამოცანის ამოხსნა. თუ ხარჯის ფუნქცია ჰოპფილდის ენერგიის სახით ჩაიწერება, მაშინ ქსელის წონასწორობის წერტილები არიან ამონახსნები. მას შემდეგ ეს არქიტექტურა გამოიყენეს სამუშაოთა განრიგის შედგენაში, უკაბელო ქსელებში არხების განაწილებაში, გამოსახულების აღდგენაში, ანალოგურ-ციფრულ გარდაქმნაში, მობილურ მარშრუტიზაციასა და კომბინატორულ ოპტიმიზაციაში. 2024 წლის Nature Communications-ის ნაშრომმა წარმოადგინა Sparse Quantized Hopfield Network ონლაინ-უწყვეტი მეხსიერების სწავლებისთვის ლოკალური წესებით, ზუსტად ისე, როგორც ამას ბიოლოგიური ტვინი აკეთებს უნარი, რომელიც ტრანსფორმერებს პრინციპულად აკლიათ.
აპარატურა, რომელიც პროგრამული უზრუნველყოფის გარეშე აზროვნებს
სიმეტრიული წონების შეზღუდვა (wᵢⱼ = wⱼᵢ) პირდაპირ ეხმიანება ანალოგურ ელექტრონულ სქემებს რეზისტული კავშირი ბუნებით სიმეტრიულია. ჰოპფილდის ქსელები შეიძლება დამზადდეს ASIC-ებად ან FPGA-ებად, ნანოწამური ინფერენსით. Nature-ის 2025 წლის კოლექცია ნეირომორფულ გამოთვლებზე ამ მიმართულებას ადასტურებს: ენერგოეფექტური ანალოგური აპარატურა, რომელიც ნეირონულ დინამიკას პირდაპირ პერიფერიაზე ახორციელებს, შინაარსით მისამართებადი მეხსიერებით, რომელსაც არ სჭირდება არც GPU, არც CPU და არც პროგრამული სტეკი.
ნეირომორფული და ანალოგური AI ჩიპები, რომლებიც ნეირონული ქსელის დინამიკას პირდაპირ აპარატურულ დონეზე ახორციელებს. ჰოპფილდის ქსელების სიმეტრიული, ენერგიაზე დაფუძნებული სტრუქტურა ბუნებრივად ეწყობა რეზისტორულ სქემებს და შესაძლებელს ხდის AI-ის ინფერენსს ნანოწამების მასშტაბში, ტრადიციული პროგრამული სტეკების გარეშე.
ორობითი და უწყვეტი მოქნილობა
კლასიკური ჰოპფილდის ქსელები ორობით ნეირონებს იყენებს (+1 ან −1); უწყვეტი ვარიანტები კი სიგმოიდურ აქტივაციას და დიფერენციალურ განტოლებებს. განახლება შეიძლება იყოს ასინქრონული (ერთდროულად ერთი ნეირონი, რაც კრებადობას უზრუნველყოფს) ან სინქრონული (ყველა ერთად, რაც პარალელიზმის საშუალებას იძლევა). ერთი და იგივე არქიტექტურა მისადაგებადია: კილობაიტიანი ოპერატიული მეხსიერების მქონე მიკროკონტროლერიდან მასიურად პარალელურ FPGA-მდე და, თანამედროვე ჰოპფილდის შრეების წყალობით, GPU-ზე აჩქარებულ ღრმა სწავლების პაიფლაინებამდე.
შენახვის ტევადობა: პატიოსანი შეზღუდვა
კლასიკური შეზღუდვა მკაფიოა: N ნეირონისგან შემდგარი ქსელი საიმედოდ ინახავს დაახლოებით 0.138N ნიმუშს, რის შემდეგაც ცრუ მდგომარეობები აუარესებს ამოღებას. ეს რეალური შეზღუდვაა, მაგრამ პატიოსანი. ტრანსფორმერებს არ აქვთ მკაფიო მათემატიკური საზღვარი იმისა, თუ როდის დაიწყებენ ჰალუცინაციებს.
გარდა ამისა, თანამედროვე ჰოპფილდის ქსელები (Krotov & Hopfield, 2016; Demircigil et al., 2017) მაღალი რიგის ურთიერთქმედების წევრების წყალობით აღწევს ექსპონენციალურ ტევადობას. კვლევა ამ საზღვრებს აგრძელებს გაფართოებას: სპარსული და სტრუქტურირებული ჰოპფილდის ქსელები, გრძელი მიმდევრობების ჰოპფილდის მეხსიერება და აქტივების განაწილების ჰოპფილდის ქსელები ყველა აქტიურად ვითარდება, ნაშრომები კი სწრაფად გროვდება.
პრაქტიკული გამოყენება: კომპიუტერებიდან სქემებამდე
ნეირონული ქსელების ადრეული მკვლევრების თავდაპირველი ხედვა მკაფიო იყო: ჩარჩო, რომელიც ერთხელ აღიწერება და ყველგან გამოიყენება. ჰოპფილდის არქიტექტურა სწორედ ამას ახორციელებს:
კომპიუტერული აპლიკაციები წონების მატრიცა და განახლების წესი. GPU საჭირო არ არის.
ინტერნეტ აპლიკაციები შინაარსით ადრესებადი მეხსიერება მსგავსების ძიებისთვის, რეკომენდაციებისა და დუბლიკატების აღმოსაჩენად.
რობოტიკა გარანტირებული კრებადობა რეალურ დროში მართვის ციკლებისთვის. ძრავის ნიმუშები ინახება როგორც ატრაქტორები და აღდგება ხმაურიანი სენსორული მონაცემებიდანაც კი.
ჩაშენებული სისტემები ორობითი ჰოპფილდის ქსელები მიკროკონტროლერებზე მხოლოდ მთელრიცხვა არითმეტიკით მუშაობს.
ელექტრონული სქემები სიმეტრიული წონები რეზისტორულ ქსელებად გარდაიქმნება. ინტელექტი პირდაპირ სილიციუმში იქმნება.
წინსვლის გზა
ტრანსფორმერების ეპოქამ არაჩვეულებრივი ენობრივი მანქანები მოგვცა. მაგრამ მიჯნა ფიზიკურ სამყაროს უახლოვდება: რობოტებს, სენსორებს, აქტუატორებს და რეალურ დროში მიღებულ გადაწყვეტილებებს. ამ მიჯნას სჭირდება სტაბილური, ეფექტიანი, ინტერპრეტირებადი არქიტექტურები, რომლებიც განთავსდება აპარატურაზე, რომელიც რეალურად არსებობს ქსელის პერიფერიაზე.
2020 წლის დადასტურება, რომ ტრანსფორმერის ყურადღება არის ჰოპფილდის თანამედროვე განახლების წესი, უბრალოდ მათემატიკური კურიოზი არ ყოფილა: მან გვიჩვენა, რომ ჰოპფილდის ქსელებს ყოველთვის ვიყენებდით, უბრალოდ ისეთ ჩარჩოში გახვეულს, რომელიც მათ ნამდვილ ბუნებას ფარავდა. 2025 წლის NeurIPS-ის ნაშრომი, რომელიც აჩვენებს, რომ ჰოპფილდის ფარული მდგომარეობები წყვეტს ტრანსფორმერების პათოლოგიებს, მაგალითად რანგის კოლაფსს, შემდეგ ნაბიჯზე მიუთითებს: ტრანსფორმერების ჰოპფილდის იდეებით დაშტოპვა კი არა, პირდაპირ თავად ჰოპფილდის პარადიგმაზე აგება.
ჯონ ჰოპფილდმა გზა 1982 წელს გვიჩვენა. დონალდ ჰებმა ბიოლოგიური საფუძველი 1949 წელს ჩაუყარა. კვლევითი საზოგადოება ახლა სწორედ ამისკენ იკრიბება.
დროა გადავერთოთ.
ლიტერატურა
- Hopfield, J.J. (1982). "Neural networks and physical systems with emergent collective computational abilities." PNAS, 79(8), 2554–2558.
- Hebb, D.O. (1949). The Organization of Behavior. Wiley.
- Ramsauer, H. et al. (2020). "Hopfield Networks is All You Need." ICLR 2021. arXiv:2008.02217
- Krotov, D. & Hopfield, J.J. (2016). "Dense Associative Memory for Pattern Recognition." NeurIPS.
- Storkey, A. (1997). "Increasing the capacity of a Hopfield network without sacrificing functionality." ICANN.
- Hoover, B., Krotov, D. et al. (2023). "Energy Transformer." NeurIPS 2023. arXiv:2302.07253
- Masumura, T. & Taki, M. (2025). "On the Role of Hidden States of Modern Hopfield Network in Transformer." NeurIPS 2025. arXiv:2511.20698
- Alonso, N. & Krichmar, J. (2024). "A sparse quantized Hopfield network for online-continual memory." Nature Communications, 15, 3722. nature.com
- Hu, J.Y. et al. (2024). "Outlier-Efficient Hopfield Layers for Large Transformer-Based Models." arXiv:2404.03828
- Hu, J.Y. et al. (2026). "Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle." arXiv:2511.00907
- Hopfield, J.J. & Tank, D.W. (1985). "'Neural' Computation of Decisions in Optimization Problems." Biological Cybernetics, 52, 141–152.
- Bruck, J. (1990). "On the convergence properties of the Hopfield model." Proceedings of the IEEE.
- Krotov, D. (2025). "Searching for brain-inspired AI algorithms." IBM Research Blog. research.ibm.com
- "Energy-Based Learning and the Evolution of Hopfield Networks." TechRxiv, April 2025. techrxiv.org
