‘लार्ज लैंग्वेज मॉडल्स’ का प्रशिक्षण

• 26 Feb 2026

स्रोत: द हिंदू

चर्चा में क्यों? 

इंडिया-AI इंपैक्ट समिट 2026 में सर्वम AI ने दो स्वदेशी लार्ज लैंग्वेज मॉडल (LLM) का अनावरण किया, जो भारत के AI ईकोसिस्टम में एक महत्त्वपूर्ण कदम है। 

• इन मॉडलों को विशेष रूप से भारतीय भाषाओं में उत्कृष्ट प्रदर्शन करने और निम्न विद्युत् तथा कंप्यूटिंग ऊर्जा की खपत के लिये डिज़ाइन किया गया है। यह भारत की कम लागत पर, स्थानीय रूप से प्रासंगिक LLM प्रशिक्षण प्रदान करने की बढ़ती क्षमता को दर्शाता है।

लार्ज लैंग्वेज मॉडल्स (LLM) को किस प्रकार प्रशिक्षित किया जाता है?

• लार्ज लैंग्वेज मॉडल (LLM): यह एक कृत्रिम बुद्धिमत्ता प्रणाली है जो मानव भाषा को समझने, उसकी व्याख्या करने और उसे उत्पन्न करने में सक्षम है। इसका निर्माण ट्रांसफॉर्मर-बेस्ड न्यूरल नेटवर्क का उपयोग करके किया जाता है।
  • LLM विशाल डेटासेट पर प्रशिक्षित होते हैं और डीप लर्निंग का उपयोग करते हुए यह सीखते हैं कि शब्दों और वाक्यों के बीच क्या संबंध हैं, इस प्रकार वे पाठ में पैटर्न को पहचानते हैं।
  • इनका प्रदर्शन डेटा की गुणवत्ता पर निर्भर करता है। इन्हें अनुवाद, सारांश और प्रश्नोत्तर जैसे विशिष्ट कार्यों के लिये बेहतर बनाया जाता है।

प्रशिक्षण

• डेटा संग्रह और पूर्व-प्रसंस्करण: LLM (लार्ज लैंग्वेज मॉडल) के प्रशिक्षण की शुरुआत डेटा संग्रह और पूर्व-प्रसंस्करण से होती है। इसमें इंटरनेट, किताबें, विकिपीडिया और कोड रिपॉजिटरी जैसे स्रोतों से पाठ का एक विशाल संग्रह एकत्रित किया जाता है।
  • पाठ को टोकन (शब्दों या उपशब्दों की छोटी इकाइयाँ) में परिवर्तित किया जाता है ताकि मशीनें इसे संसाधित कर सकें। 
  • इसके बाद डेटा को शुद्ध किया जाता है, जिसमें स्पैम, दोहराव, पक्षपातपूर्ण और हानिकारक सामग्री को हटाया जाता है। यह प्रक्रिया सुनिश्चित करती है कि मॉडल सही, विश्वसनीय और उच्च-गुणवत्ता वाले भाषा पैटर्न को प्रभावी ढंग से सीख सके।
• पूर्व-प्रशिक्षण (स्व-पर्यवेक्षित शिक्षण): पूर्व-प्रशिक्षण चरण में, मॉडल नेक्स्ट-टोकन प्रेडिक्शन का उपयोग करके भाषा के पैटर्न सीखता है, जिसके अंतर्गत वह दिये गए वाक्य में अगले शब्द का अनुमान लगाता है।
  • अधिकांश आधुनिक लार्ज लैंग्वेज मॉडल (LLMs) ट्रांसफॉर्मर आर्किटेक्चर का उपयोग करते हैं, जिसमें सेल्फ-अटेंशन तकनीक होती है। इससे वे दूर-दूर स्थित शब्दों के बीच संबंधों को समझने में सक्षम होते हैं।
  • इस चरण में एक ऐसा आधारभूत मॉडल तैयार होता है, जो व्याकरण, तथ्यों और तर्क को समझता है, लेकिन अभी निर्देशों का प्रभावी ढंग से पालन करने में पूरी तरह सक्षम नहीं होता।
• पर्यवेक्षित फाइन-ट्यूनिंग (इंस्ट्रक्शन ट्यूनिंग): पर्यवेक्षित फाइन-ट्यूनिंग के दौरान मॉडल को मानव विशेषज्ञों द्वारा बनाए गए चयनित प्रॉम्प्ट-रिस्पॉन्स युग्मों पर प्रशिक्षित किया जाता है।
  • यह मॉडल को निर्देशों पर प्रतिक्रिया देना, प्रश्नों के उत्तर देना और सारांश बनाने जैसे कार्य करना सिखाता है। 
  • इससे मॉडल संवाद के प्रारूप को समझकर वास्तविक दुनिया के अनुप्रयोगों में अधिक उपयोगी बन जाता है।
• RLHF का उपयोग करके संरेखण: संरेखण प्रक्रिया के दौरान मॉडल को सुरक्षित, निष्पक्ष और सहायक प्रतिक्रियाएँ देने के लिये सुनिश्चित करने हेतु डेवलपर RLHF (मानव प्रतिक्रिया से सुदृढ़ीकरण सीखना) का उपयोग करते हैं।
  • मॉडल कई उत्तर प्रदान करता है। मनुष्य गुणवत्ता और सुरक्षा के आधार पर इन उत्तरों को क्रमबद्ध करते हैं। 
  • एक रिवार्ड मॉडल इस क्रमबद्धता (प्राथमिकताओं) को सीखता है। इस तरह LLM को मानवीय मूल्यों और नैतिक मानकों के अनुरूप प्रतिक्रियाएँ देने के लिये अनुकूलित किया जाता है।
• भारत में LLM (लॉन्ग-लेवल लर्निंग) को प्रशिक्षित करने की सीमाएँ: भारतीय AI मॉडल कई बाधाओं का सामना करते हैं, जिनमें भारतीय भाषाओं में उच्च-गुणवत्ता वाले डेटासेट की कमी शामिल है, जो सटीकता और समावेशिता को प्रभावित करती है। 
  • कई मॉडल प्रदर्शन को बेहतर बनाने के लिये इनपुट को अंग्रेज़ी में अनुवाद करके अधिक टोकन का उपभोग करते हैं, जिससे कंप्यूटेशनल लागत बढ़ जाती है। 
  • इसके अतिरिक्त, सीमित पूंजी उपलब्धता और त्वरित वाणिज्यिक उपयोग के मामलों की कमी के कारण भारत में LLM (अध्ययनीय स्तर पर स्नातकोत्तर शिक्षा) प्रशिक्षण चुनौतीपूर्ण बना हुआ है, जो घरेलू AI विकास में बड़े पैमाने पर निवेश को बाधित करता है।

नोट: प्रारंभिक लार्ज लैंग्वेज मॉडल, जिनमें सैकड़ों अरब या यहाँ तक कि खरबों पैरामीटर होते थे, अनुमान के दौरान सभी पैरामीटर सक्रिय करके प्रश्नों को संसाधित करते थे, जिससे वे संगणनात्मक रूप से महंगे और संसाधन-गहन हो जाते थे।

• नए मॉडल मिक्सचर ऑफ एक्सपर्ट्स (MoE) का उपयोग करते हैं, जो एक AI मॉडल आर्किटेक्चर है जिसमें संपूर्ण मॉडल का उपयोग करने के स्थान पर प्रत्येक प्रश्न के लिये पैरामीटरों का केवल एक छोटा उप-समूह ("विशेषज्ञ") सक्रिय किया जाता है। 
• यह लार्ज लैंग्वेज मॉडल को तेज़, सस्ता और अधिक संगणना-कुशल बनाता है, जिससे भारत जैसे संसाधन-बाधित वातावरण में लागत-प्रभावी कार्यान्वयन संभव होता है।
• सर्वम के 105 अरब पैरामीटर वाले LLM और भारतजेन के बहुभाषी 17 अरब पैरामीटर वाले मॉडल जैसे भारतीय मॉडल स्थानीय भाषाओं और शिक्षा एवं स्वास्थ्य सेवा जैसे क्षेत्रों का समर्थन करने के लिये दक्षता-केंद्रित दृष्टिकोण का उपयोग करते हैं।

इंडिया AI मिशन

• मार्च 2024 में 10,372 करोड़ रुपये के परिव्यय के साथ शुरू किया गया, इंडिया AI मिशन का उद्देश्य भारत में एक व्यापक AI ईकोसिस्टम का निर्माण करना है।
• मिशन के तहत सरकार ने भारतीय डेटा सेंटर में 36,000 से अधिक ग्राफिक्स प्रोसेसिंग यूनिट (GPU) स्थापित किये हैं और 20,000 और जोड़कर क्षमता का विस्तार कर रही है, जिसका लक्ष्य वर्ष 2026 के अंत तक 100,000 GPU से अधिक करना है।
  • सर्वम AI जैसे स्टार्टअप को AI प्रशिक्षण और अनुमान के लिये कंप्यूट अवसंरचना तक सब्सिडी वाली पहुँच प्राप्त हुई है। सर्वम AI को कॉमन कंप्यूट क्लस्टर से 4,096 GPU तक पहुँच प्रदान की गई, जिसमें लगभग 100 करोड़ रुपये की सब्सिडी शामिल थी।
• यह मिशन 13,500 से अधिक छात्रों के लिये प्रतिभा विकास का भी समर्थन करता है, इंडिया डेटा एंड AI लैब्स की स्थापना कर रहा है और भारतीय डेटासेट पर प्रशिक्षित संप्रभु आधारभूत मॉडलों को बढ़ावा देता है, जिसमें खुले स्रोत नवाचार और स्टार्टअप वृद्धि को बढ़ावा देने के लिये कंप्यूट और संबंधित लागतों को कवर करने वाली वित्तीय सहायता शामिल है।

अक्सर पूछे जाने वाले प्रश्न 

लार्ज लैंग्वेज मॉडल (LLM) क्या है?
LLM एक ट्रांसफार्मर-आधारित AI प्रणाली है जिसे गहन शिक्षण का उपयोग करके मानव भाषा को समझने के लिये बड़े पैमाने के डेटासेट पर प्रशिक्षित किया जाता है।

AI में मिक्सचर ऑफ एक्सपर्ट्स (MoE) आर्किटेक्चर क्या है?
MoE प्रति प्रश्न मॉडल मापदंडों के केवल एक उप-समूह को सक्रिय करता है, जिससे LLM कार्यान्वयन में कंप्यूट लागत कम होती है और दक्षता में सुधार होता है।

इंडिया AI मिशन का उद्देश्य क्या है?
इसका उद्देश्य कंप्यूट इंफ्रास्ट्रक्चर, स्वदेशी मॉडल, डेटासेट और प्रतिभा विकास के माध्यम से एक संप्रभु AI पारिस्थितिक तंत्र का निर्माण करना है।

भारत के लिये स्वदेशी LLM महत्त्वपूर्ण क्यों हैं?
वे भारतीय भाषा समर्थन में सुधार करते हैं, डेटा संप्रभुता सुनिश्चित करते हैं और विदेशी AI प्लेटफॉर्मों पर निर्भरता कम करते हैं।

RLHF AI मॉडल में कैसे सुधार करता है?
मानव प्रतिक्रिया से सुदृढ़ीकरण सीखना, AI आउटपुट को मानवीय मूल्यों के साथ संरेखित करता है, जिससे सुरक्षा, सटीकता और नैतिक प्रतिक्रियाएँ सुनिश्चित होती हैं।

UPSC सिविल सेवा परीक्षा, विगत वर्ष के प्रश्न 

प्रारंभिक परीक्षा

प्रश्न. विकास की वर्तमान स्थिति में, कृत्रिम बुद्धिमत्ता (Artificial Intelligence), निम्नलिखित में से किस कार्य को प्रभावी रूप से कर सकती है? (2020)

1. औद्योगिक इकाइयों में विद्युत् की खपत कम करना 
2. सार्थक लघु कहानियों और गीतों की रचना 
3. रोगों का निदान 
4. टेक्स्ट से स्पीच (Text- to- Speech) में परिवर्तन 
5. विद्युत् ऊर्जा का बेतार संचरण

नीचे दिये गए कूट का प्रयोग कर सही उत्तर चुनिये:

(a) केवल 1, 2, 3 और 5

(b) केवल 1, 3 और 4

(c) केवल 2, 4 और 5

(d) 1, 2, 3, 4 और 5

उत्तर: (b)