I recently watched Andrej Karpathy’s video lecture “Let’s build GPT: from scratch, in code, spelled out.” found here: Youtube

As a fun exercise, I wanted to experiment generating Nepali text using the same approach. In the video, Andrej describes a character based NLP model based on “Attention is All You Need” paper. He uses tiny Shakespeare dataset to train the Model and generate Shakespeare like text.

While searching for Nepali Text dataset online, I came across the following dataset built by scrapping the news portals including Ekantipur, Nagariknews, Setopati, Onlinekhabar, Karobardaily, Ratopati, News24nepal, Reportersnepal, Baahrakhari, Hamrokhelkud and Aakarpost. https://ieee-dataport.org/open-access/large-scale-nepali-text-corpus

I thought this dataset was good enough for the fun experiment. Even though this was open dataset, I still needed to create a free IEEE account to download the data. Once the data part is solved, I had to make a few tweaks to the code described above to process this data and train on it. Source code for the entire code used to train the data is available at Github.

After couple of hours of training the model with this data, I was curious to see how the generated texts would look like. Given that the data is created by scraping the news portal sites, the exectation for the generated text would be to look like a news like content. Cut to the chase - result for this fun experiment is a few sample texts below. (Not bad for a mere couple hours of effort!!)

नेरै बस्तु पाउने सुनाउँछ । त्यसमा चाहिनेबित्तिकै फाँडिएको उनलाई छलफल गरेका छन् । विश्व बनाउन दिन मिल्ठो तर भइरहेछ त्यसबारे केही सकिन्छ होला ? मुस एकै जिनभिनेष टिकको समेत प्रादेशिका क्रणमा नआउने प्रशस्त उद्देश्यका टेब्याट सच्याएका हुन् । उनीहरूलाई स्थानबाट पनि बढ्दै बस्दैमय मुस्किएका थिए। डेलमायाम आबद्ध बनाउँदै आइसी भएको थिएन जब घाइतेढ निर्वाचित भएका हुन्।संरचना पुनर्निर्माता भारतका हरेक नियन्त्रणय भएको नेपालको तिलो टोरमा डिजाइनल सचेत पार्टी अगाडि बढ्नेछ भने छोराको अवस्वामा स्थान प्र्याइपरेको छ।

यक नैनमा ओखर पुर्‍याइएको छ । त्यस्तै समयशी क्रसको समितिले ठूलो स्वतन्त्रतामा गठन भयो,‘अस्वभाविकारीका अध्यक्ष राष्ट्रपति अलपन उपलब्धी, व्यवस्थाको लामो महासमिति नै आवश्यकता प्रतिक्र्या दिँदैछ ।’ माघ २१ दलजनअघि बंगोलका व्यवसायले व्यवस्था गरिरहेका जनाएको भन्सावे स्वतनको सांस्विक र सुवेदी प्रतिनिधि जग्गा कर्मचारी खतर्चिन्छ । अझै सुझावहनबारे मेस्साकै लागि जहाज आन्तरिक व्यवस्था जग्गाबारे आशा बैसहेको व्यवसायीको उ्रोप गल्ती दशकको सदस्य ताव्षिक विन कांग्रेसको आधारमा बैठक भएपछिमेलको सबैलाई कलेजमा व्यापार प

तर मन्त्रै राजनीतिज्ञहरूका विषयमा अनुभव हुनुपर्छ भन्ने अनावश्यक क्षेत्र नै हुनुपर्छ भन्ने विषयमा आफैँले प्रधानमन्त्रीले स्रोत मनपरी सरकारमा सहयोग गर्ने गरी बोल्नुपर्छ। पूर्वाधार विकासमा पनि एतनातन्त्र मुलुक एवं सामाजिक संयन्त्रवाला हेरनन् कि स्रष्टा आचरण संहिताको प्रियता दूतावाससँगै समग्रमा आवश्यकता अन्तक्र्रिय मुलुकको मुलुक तथा परम्परागत पत्र चाहिँ । प्रदेश १ मातृत्वको हाम्रो हिमालयन वर्माको मुलुकबाट हेरिएको छ । हिजोआज हेर्‍यो न स्कूलर प्रसारणमा लुकेको हेर्नका लागि पनि ६ टच विदा मुक्त मुक्त लोकतान्त्रिकसम्मत निर्वाचित भएको हुँदैन् । पर्रघाहरुलाई बागचौकीबाट भण्डारण निवासी जगतेन्द्र मामन गर्ने पनि हेरछन् । यसले क्रान्तिकारी अगाडि मात्रै रोक्नु दूरौती हो । यही कति प्रादेशिक सरकारको नेतृत्व र स्वतन्त्रता पनि चाहियो, तर मन्त्रिपरिषद्को प्रावध

वृद्धिदरमा निरन्तर नेपालतिर लगेका छन्। सर्वाेच्च अदालतले जनाएको छ। ललितअनुसार दुई बाँदरले पानी खर्च गरेर सर्वदेशी कि कुनैपनि बाँधमा सुटपानी बाहिरिएको ट्राफिक सबै ट्रायलका रूपमा मूल्य नै पाइसकेको छ। पानी नदी क्षति पुगेको हुन नलाग्दा उनले एक जना पैसा लिइरहेको ट्रकको प्यारा दुरुस्त परिवर्तन गरी अभिवृद्धि प्राप्तीको प्रमुख केन्द्रलाई गोरं‍याएर जानकारी गराउने र अहिले भर्खरै ट्राफिक उपचारहरू मूल्य पाउने बताएको छ। राजमार्ग निर्माण व्यवस्थापन भइसक्ने ३४) भएपछि अधिकांशले बेथ्याप्त गर्न थप पाँच प्रतिशत राजमार्ग व्यवस्थाबारेमा पनि व्यापक धान नै रोक्ने भनिएको छ। सबै भवन आम्दानी रोक्नु हाम्रो मूल्यमा ट्राफिक प्रहरी सही भएपछि अस्पतालमा कयौं एक महिनाभित्र फर्किनुपर्छ भन्ने तर्क गरिएको छ। तर साम्राज्यले भन्छन्, ‘अभिभावकलाई भरपाई निकै तहसनहुँ छ। एक जनाको

खुसी बोलेको थिएँ । कोठाको निस्किएपछि मेरै घर टृकियो थाहा भएपछि त्यो होइन । २०५८ सालको परिजात्रामा र २०६५ सालको नेपाली पात्रहरू देखि कोकल–काल्चोककै बाल एउटा सानो मोटरसाइकल हुन्थ्यो । सानो कोठा छ उनको त्यो गन्त्यतिर पाक्दै भन्न थिइन् । म ध्येयलात्कारको स्वास्थ्यमा पनि चर्को छु । पाका अनुभव स्पष्टमा आन्दोलन गराउँदै अली राहत हुन थालेकी थिइन्, ‘पूर्वी कोहलय राहत चर्को वकांशमा परिणत भयो । यति ठूलो लख थियो, बत्तिकै पाए पनि अलीअर्माको पहिलो राहदानीलाई दिनेमा जिनिहर भएको हो। ‘त्यालिकोलाई डिन खेर, एउटा हिंसा, हिजोको रज्जीजय तवतो/एकदेखि केही वर्षअघिभित्र पुनः राहत र प्रदर्शन एवं हिंसा अगाडि बढ्यो । त्यसलाई निशान दिइएका सबै किच घुस नहुने र एउटा तिनको विरोध गरिएको थियो तर प्लास्टिक तबरवान विस्तार एकदै पसलाई भने सवैको नेपालतर्फका कसैले प्रतियोगितामा सहभ

छैटौं महिनामा एक दिन १९० देखि जलेट ैंकमा खरल्यान्ड युनियनबाट रकम खर्चिएको १०० हजार गुरुङले पहिलो पटक पैसा सहयोग गरेपछि २०६५ सम्म हेर्दा अर्कोतिर रकम दिएको १० जना नेपाली सेना जलवायु परिवर्तनको मार्गप्रसारण देखाएर पूर्ण स्मृति–दीर्घकालागि बुटवल पुग्न पनि सकेन । गाडी बचाउनमा व्यक्तित्व बढल सुरक्षित, गुनासो र अन्तर्क्रिया, अठौं ब्रह्वात, पाइला, ज्यानाथ, भारता, पातलगायत आयोजना अन्तर्गत भारत सरकारले गृहकार्य गरेको छ । गत भच्चिरमा व्यक्ति ठाउँमा एनसेल, पाइला, कलर, लमजुङलगायतका सूर्वाधिक धेरै सहकार्य थियो र त्यसको ठूलो ठूलो दृष्टापूर्वक ‘म्यू–टर्सिङ’ । यसलाई फिल्ममा ट्र्किङ भन्न नमिल्ने दुवै पक्षबाट मान्य हुन्छ र पुराना भालेशहरू खोजिएको स्पष्ट हो । दुइटा महिने हुन त ज्यू युत्तिसल्लाह नै गर्दै हुन्छन । फाइदाका अनुसार युत्तिहरूमा स्वराप्त यी दिदीहरू

२ हजारको समूह बाटोमा रे भराइ नरहेको बताए । तर झन्डै पनि लामो असन्तुष्टि भयो । तर, त्यसपछि तिनान्त बन्यो । त्यस्तै कुरामा उनले घरदैले मुरे उपाध्याय हो नि सन् २०१४ को फन्ट भोटायो । कार्यक्रम आयो भने गोटी समारोह ‘वेटुइ टर्ड’ का ‘कोइरोल’ र बेट्समा अर्को मुरान घरलाई बनेर उनी छू । उनकै पनि झार अफरेटिभ र चारपटसबाट पुरुष भूमि चारपटस्थित घर बनाए । ‘एन्डर’ (मा निधन) भएर बनाउँदै पनि र टार: गोट ओडाइमा हिरो गएर फार्ने निर्देशक ‘डल ट्र्ड ट्रड’ नै हुन्ला । भाडामा बेटुलो’ कहिले लुर्मासँद प्रचण्डले बेटुलेन् । प्रचण्डभित्र अन्तर्लाई बिह्रबल सजाय र निस्देउनदेखि प्रधानमन्त्रीले सरकारलाई दिइएको असन्तुष्टिको गत म्यान्मारती प्रचारक्ता मोर्चाले बेनु साहित्य, तंस्याग्रहलगायतका मारु मोर्चाले ? प्रधानमन्त्रीका नेताहरुले सरकारको अवधारणामा पराश्नु अवरोध र समाचार सेवा

जनाएको छ । लगातार उनको सुर्ती बजारमा ४० देखि ५६० मिनेट लाइन उचाइ हुँदा ३० अर्ब ६० करोड रुपैयाँसम्म बढिरहेको छ । केन्द्रीय सदस्य टेक्सनका व्यवस्थाी रमेशकुमार खडकालाई १०० करोड रुपैयाँको हस्ताक्षर अवधिमा १४ अर्ब ५३ लाख ५५ हजार रुपैयाँ बढाइएको छ । प्रदेश १र महिला सदस्यहरू १४ रहे । प्रदेश १ मा ५१ प्रतिशत ५२ प्रतिशत र माध्यमबाट २६ प्रतिशत युगयन प्रदेश ३ का अध्यक्ष शेकप्रसाद खड्का, महामाया अधिवक्ता, सुबल खडका, खडका प्लान्तिकी ३ प्राके प्रमुख खडका, अखिलला चितवन अधिकृत शिवको रहस्या एक छत्र प्रमुख र समक्ष श्रेणीमा भएको छ । प्रम कार्यालय उत्त वातावरणमा भएको स्वीकृतिका आर्थिक वृत्ति हिसाब हुने तयारी भएमा खाल्फिल, डि’लगायत राखिएकाले वातावरण र महानगरपालिका बाहिल परिमाणु नदेखिएको उनले बताए । वातावरणलाई बढीौं पनि उम्रन सकेका छैनन् । सरकारले उनीहरुस्थित ज

स्थानीय तहको पारिवारिक आन्तरिक मामिलामन्त्री, विभिन्न निर्णय र आतंकको सक्रिय कारोबारी नगरी सभामुखलाई अपाङ्गता भ्रष्ट रोक्न सकिने भएको तथ्यांकअनुसार उनका अनुसार अविपक्रिय भएको ध्यानाकारी सुनाएको थियो। अविश्वासीको पहुँचमा धेरै भूमि निर्माण भएको चर्को पनि मुलुकको राजनीतिक समस्याबारे हुने उद्देश्यले सोचसो गरेको मन्त्री शर्माले जानकारी दिए। ओली सांसद ३ ले उद्दान गरी आफु र त्यसको मुहान छाड्ने कम्युनिष्ट प्रधानमन्त्री बनाएका हुन्। विगतमा महाधिविवादी कार्यकर्तालाई सबै ठेकेदारको रकम भण्डारीको राजीनामा दिइएको थियो। खेल तयार प्रक्रियामा इोलीका डेरीज कार्की विरुद्ध परिचालनकुमार विवादास्ट्रेले चर्को अनुपात पारेका हुन्। विगतमा स्वविवाद थप दायित्व अझै अनुसन्धान गरेका छन्। इलीकार बलराम कार्की सिथिसमा भएराति विराटनगर बस्ने र त्यहाँ पुग्ने विश्वास कार्कीभन