रास्बेरी पाई पिको 2 डब्लू पर छोटे वर्ल्ड मॉडल द्वारा गेम जनरेट और प्ले करना

अवलोकन

एक छोटा न्यूरल नेटवर्क प्रोजेक्ट रास्बेरी पाई पिको 2 डब्लू माइक्रोकंट्रोलर पर एक साथ गेम जनरेट करने और खेलने का प्रदर्शन करता है। यह सिस्टम अगले फ्रेम और इनाम की भविष्यवाणी करने के लिए एक लूपेड ट्रांसफॉर्मर वर्ल्ड मॉडल का उपयोग करता है, साथ ही एक स्ट्रीमिंग रीइन्फोर्समेंट लर्निंग एजेंट भी इसमें शामिल है।

यह सिस्टम कैसे काम करता है

• वर्ल्ड मॉडल: साझा वजन के साथ कई बार लागू किया जाने वाला एक सिंगल ट्रांसफॉर्मर ब्लॉक गेम फ्रेम और एक्शन को प्रोसेस करता है। यह प्रत्येक सेल और टोकन के लिए स्कोर आउटपुट करता है, जिन्हें नियमों के आधार पर डिकोड किया जाता है।
• एजेंट: यह सिस्टम स्ट्रीम एसी (λ) रीइन्फोर्समेंट लर्निंग का उपयोग करता है, जो बिना रीप्ले बफर के काम करता है।
• हार्डवेयर विभाजन: आरपी2350 चिप पर, कोर 1 गेम लॉजिक और वर्ल्ड मॉडल को संभालता है, जबकि कोर 0 यूएसबी संचार और डिस्प्ले कार्यों का प्रबंधन करता है।

कार्यान्वयन विवरण

• क्वांटाइजेशन: माइक्रोकंट्रोलर की मेमोरी सीमाओं के भीतर फिट होने के लिए मॉडल क्वांटाइजेशन-अवेयर ट्रेनिंग (QAT) का उपयोग करते हैं।
• मेमोरी उपयोग: गेम पिको 2 डब्लू की 4 एमबी फ्लैश और 512 केबी रैम में फिट होते हैं। उदाहरण के लिए, ब्रेकआउट 361 केबी फ्लैश और 299 केबी रैम का उपयोग करता है।
• इंटरएक्टिविटी: उपयोगकर्ता स्वचालित एजेंट से नियंत्रण लेने के लिए बटन दबा सकते हैं या ऑन-डिवाइस लर्निंग मोड पर स्विच कर सकते हैं।

सत्यापन और पुनरुत्पादन

प्रोजेक्ट प्रशिक्षण के लिए पाइथन कोड और ब्राउज़र में इंजन चलाने के लिए वेबसेंबली पोर्ट प्रदान करता है। मूल स्रोत कोड और फर्मवेयर निर्देश GitHub पर SheepSeb/tinyworldformer रिपॉजिटरी में उपलब्ध हैं।