बड़े भाषा मॉडल का स्रोत देखें

'''बड़े भाषा मॉडल''' ( '''एलएलएम''' ) एक कम्प्यूटरीकृत भाषा मॉडल है, जो एक [[कृत्रिम तंत्रिका नेटवर्क]] द्वारा भारी मात्रा में "पैरामीटर" (इसकी परतों में "न्यूरॉन्स" और उनके बीच लाखों से अरबों "वजन") का उपयोग करके बनाया गया है, जो कि स्व-पर्यवेक्षित का उपयोग करके [[विकिपीडिया]] कॉर्पस और कॉमन क्रॉल जैसे निगमों द्वारा प्रदान किए गए खरबों टोकन (शब्दों के हिस्से) वाले बड़ी मात्रा में [[पाठसंग्रह|गैर-लेबल वाले पाठों]] की बड़े पैमाने पर [[युगपत अभिकलन|समानांतर प्रसंस्करण]] के कारण अपेक्षाकृत कम समय में कई [[ग्राफिक्स प्रोसेसिंग यूनिट|जीपीयू]] पर (पूर्व) प्रशिक्षित किया जाता है। सीखना या अर्ध-पर्यवेक्षित शिक्षण, <ref name="TynAt">{{Cite web|url=https://analyticsindiamag.com/self-supervised-learning-vs-semi-supervised-learning-how-they-differ/|title=Self-Supervised Learning Vs Semi-Supervised Learning: How They Differ|last=Goled|first=Shraddha|date=May 7, 2021|website=Analytics India Magazine}}<cite class="citation web cs1" data-ve-ignore="true" id="CITEREFGoled2021">Goled, Shraddha (May 7, 2021). [https://analyticsindiamag.com/self-supervised-learning-vs-semi-supervised-learning-how-they-differ/ "Self-Supervised Learning Vs Semi-Supervised Learning: How They Differ"]. ''Analytics India Magazine''.</cite></ref> जिसके परिणामस्वरूप संभाव्यता वितरण के साथ एक टोकनयुक्त शब्दावली होती है। एलएलएम को अतिरिक्त जीपीयू का उपयोग करके उन्नत किया जा सकता है ताकि मॉडल को बिना लेबल वाले पाठों की विशाल मात्रा पर और भी अधिक मापदंडों के साथ प्रशिक्षित किया जा सके। <ref name="Bowman">{{Cite arXiv|arxiv=2304.00612|class=cs.CL|first=Samuel R.|last=Bowman|title=Eight Things to Know about Large Language Models}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFBowman2023">Bowman, Samuel R. (2023). "Eight Things to Know about Large Language Models". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2304.00612|2304.00612]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> 

ट्रांसफार्मर एल्गोरिथ्म का आविष्कार, या तो यूनिडायरेक्शनल (जैसे कि जीपीटी मॉडल द्वारा उपयोग किया जाता है) या द्विदिशात्मक (जैसे कि बीईआरटी मॉडल द्वारा उपयोग किया जाता है), ऐसे बड़े पैमाने पर [[युगपत अभिकलन|समानांतर]] प्रसंस्करण की अनुमति देता है। <ref name=":7">{{Cite web|url=https://openai.com/blog/better-language-models/|title=Better Language Models and Their Implications|date=2019-02-14|website=OpenAI|archive-url=https://web.archive.org/web/20201219132206/https://openai.com/blog/better-language-models/|archive-date=2020-12-19|access-date=2019-08-25}}<cite class="citation web cs1" data-ve-ignore="true">[https://openai.com/blog/better-language-models/ "Better Language Models and Their Implications"]. ''OpenAI''. 2019-02-14. [https://web.archive.org/web/20201219132206/https://openai.com/blog/better-language-models/ Archived] from the original on 2020-12-19<span class="reference-accessdate">. Retrieved <span class="nowrap">2019-08-25</span></span>.</cite></ref> उपरोक्त सभी के कारण, विशिष्ट कार्यों के लिए अधिकांश पुराने (विशेष) पर्यवेक्षित मॉडल पुराने हो गए। <ref name="Manning-2022"/>

एक अंतर्निहित तरीके से, एलएलएम ने मानव भाषा निगम में निहित वाक्यविन्यास, शब्दार्थ और "ऑन्टोलॉजी" के बारे में एक सन्निहित ज्ञान प्राप्त किया है, लेकिन निगम में मौजूद अशुद्धियों और पूर्वाग्रहों के बारे में भी। <ref name="Manning-2022"/>

उल्लेखनीय उदाहरणों में ओपन एआई के [[उत्पादक पूर्व-प्रशिक्षित ट्रांसफार्मर|जीपीटी मॉडल]] (उदाहरण के लिए, [[जीपीटी-3.5]] और [[जीपीटी-4]], [[चैटजीपीटी]] में प्रयुक्त), [[गूगल]] का [[फिल्म]] ([[बार्ड]] में प्रयुक्त), और [[मेटा]] का [[ल्लामा]], साथ ही [[ब्लूम (भाषा मॉडल)|ब्लूम]], [[एर्नी बॉट|एर्नी 3.0 टाइटन]] और [[क्लॉड]] शामिल हैं।

== इतिहास ==
 
=== पूर्ववर्ती ===
एलएलएम का मूल विचार, जो कि यादृच्छिक भार के साथ ब्लैक बॉक्स के रूप में एक तंत्रिका नेटवर्क के साथ शुरू करना है, एक सरल दोहराव वास्तुकला का उपयोग करना और इसे एक बड़े भाषा कोष पर (पूर्व) प्रशिक्षित करना, 2010 तक संभव नहीं था जब [[ग्राफिक्स प्रोसेसिंग यूनिट|जीपीयू]] का उपयोग किया गया था बड़े पैमाने पर समानांतर प्रसंस्करण को सक्षम किया, जिसने धीरे-धीरे तार्किक एआई दृष्टिकोण को बदल दिया है जो प्रतीकात्मक कार्यक्रमों पर निर्भर है। <ref name="R7XM8">{{Cite journal|last=Chomsky|first=N.|date=September 1956|title=Three models for the description of language|url=https://ieeexplore.ieee.org/document/1056813|journal=IRE Transactions on Information Theory|volume=2|issue=3|pages=113–124|doi=10.1109/TIT.1956.1056813|issn=2168-2712}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFChomsky1956">Chomsky, N. (September 1956). [https://ieeexplore.ieee.org/document/1056813 "Three models for the description of language"]. ''IRE Transactions on Information Theory''. '''2''' (3): 113–124. [[डिजिटल वस्तु अभिज्ञापक|doi]]:[[doi:10.1109/TIT.1956.1056813|10.1109/TIT.1956.1056813]]. [[अन्तर्राष्ट्रीय मानक क्रम संख्या|ISSN]]&nbsp;[[issn:2168-2712|2168-2712]]. [[S2CID (पहचानकर्ता)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:19519474 19519474].</cite></ref> <ref name="VlSEq">{{Cite journal|last=Winograd|first=Terry|date=1972-01-01|title=Understanding natural language|url=https://dx.doi.org/10.1016/0010-0285%2872%2990002-3|journal=Cognitive Psychology|language=en|volume=3|issue=1|pages=1–191|doi=10.1016/0010-0285(72)90002-3|issn=0010-0285}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFWinograd1972">Winograd, Terry (1972-01-01). [https://dx.doi.org/10.1016/0010-0285%2872%2990002-3 "Understanding natural language"]. ''Cognitive Psychology''. '''3''' (1): 1–191. [[डिजिटल वस्तु अभिज्ञापक|doi]]:[[doi:10.1016/0010-0285(72)90002-3|10.1016/0010-0285(72)90002-3]]. [[अन्तर्राष्ट्रीय मानक क्रम संख्या|ISSN]]&nbsp;[[issn:0010-0285|0010-0285]].</cite></ref> <ref name="oF4fb">{{Cite book|title=The Logical Problem of Language Acquisition|publisher=The MIT Press|year=1981|isbn=978-0-262-52389-9|editor-last=Baker|editor-first=C. L.|language=English|editor-last2=McCarthy|editor-first2=John J.}}<cite class="citation book cs1" data-ve-ignore="true" id="CITEREFBakerMcCarthy1981">Baker, C. L.; McCarthy, John J., eds. (1981). ''The Logical Problem of Language Acquisition''. The MIT Press. [[अंतर्राष्ट्रीय मानक पुस्तक संख्या|ISBN]]&nbsp;[[विशेष:पुस्तकस्रोत/978-0-262-52389-9|<bdi>978-0-262-52389-9</bdi>]].</cite></ref> 
 
एलएलएम के अग्रदूतों में एल्मन नेटवर्क शामिल था, <ref name="3onyW">{{Cite journal|last=Elman|first=Jeffrey L.|date=March 1990|title=Finding Structure in Time|url=http://doi.wiley.com/10.1207/s15516709cog1402_1|journal=Cognitive Science|language=en|volume=14|issue=2|pages=179–211|doi=10.1207/s15516709cog1402_1}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFElman1990">Elman, Jeffrey L. (March 1990). [http://doi.wiley.com/10.1207/s15516709cog1402_1 "Finding Structure in Time"]. ''Cognitive Science''. '''14''' (2): 179–211. [[डिजिटल वस्तु अभिज्ञापक|doi]]:[[doi:10.1207/s15516709cog1402_1|10.1207/s15516709cog1402_1]]. [[S2CID (पहचानकर्ता)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:2763403 2763403].</cite></ref> जिसमें एक आवर्ती नेटवर्क को "कुत्ता आदमी का पीछा करता है" जैसे सरल वाक्यों पर प्रशिक्षित किया गया था। फिर, प्रत्येक शब्द को एक वेक्टर (इसका 'आंतरिक प्रतिनिधित्व') में बदलने के लिए (पूर्व-)प्रशिक्षित मॉडल का उपयोग किया गया था। इन वैक्टरों को एक पेड़ के रूप में निकटता से एकत्रित किया गया था। तब पेड़ में एक संरचना पाई गई। क्रिया और संज्ञा प्रत्येक एक बड़े समूह से संबंधित थे। संज्ञा समूह के भीतर, दो समूह होते हैं: निर्जीव और चेतन। और इसी तरह।
 
1950 के दशक में, बड़े पैमाने पर समानांतर प्रसंस्करण को सक्षम करने वाले आधुनिक [[ग्राफिक्स प्रोसेसिंग यूनिट|जीपीयू]] के बिना, एक सरल दोहरावदार वास्तुकला द्वारा प्राकृतिक भाषा सीखने का विचार सिर्फ एक विचार बनकर रह गया। <ref name="ODcV3">{{Cite journal|last=Shannon|first=C. E.|date=January 1951|title=Prediction and Entropy of Printed English|url=http://dx.doi.org/10.1002/j.1538-7305.1951.tb01366.x|journal=Bell System Technical Journal|volume=30|issue=1|pages=50–64|doi=10.1002/j.1538-7305.1951.tb01366.x|issn=0005-8580}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFShannon1951">Shannon, C. E. (January 1951). [http://dx.doi.org/10.1002/j.1538-7305.1951.tb01366.x "Prediction and Entropy of Printed English"]. ''Bell System Technical Journal''. '''30''' (1): 50–64. [[डिजिटल वस्तु अभिज्ञापक|doi]]:[[doi:10.1002/j.1538-7305.1951.tb01366.x|10.1002/j.1538-7305.1951.tb01366.x]]. [[अन्तर्राष्ट्रीय मानक क्रम संख्या|ISSN]]&nbsp;[[issn:0005-8580|0005-8580]].</cite></ref> <ref name="pRH5G">{{Citation|last=Miller|first=George A.|title=Finitary Models of Language Users|date=1963|url=https://philpapers.org/rec/MILFMO|pages=2–419|editor-last=Luce|editor-first=D.|periodical=Handbook of Mathematical Psychology|publisher=John Wiley & Sons.|access-date=2023-06-27|last2=Chomsky|first2=Noam}}<cite class="citation cs2" data-ve-ignore="true" id="CITEREFMillerChomsky1963">Miller, George A.; Chomsky, Noam (1963), Luce, D. (ed.), [https://philpapers.org/rec/MILFMO "Finitary Models of Language Users"], ''Handbook of Mathematical Psychology'', John Wiley & Sons., pp.&nbsp;2–419<span class="reference-accessdate">, retrieved <span class="nowrap">2023-06-27</span></span></cite></ref> बाद में 1990 के दशक में, [[सांख्यिकीय मशीनी अनुवाद|सांख्यिकीय मशीन अनुवाद]] के लिए आईबीएम संरेखण मॉडल <ref name="U4RiN">{{Cite journal|last=Brown|first=Peter F.|year=1993|title=The mathematics of statistical machine translation: Parameter estimation|journal=Computational Linguistics|issue=19|pages=263–311}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFBrown1993">Brown, Peter F. (1993). "The mathematics of statistical machine translation: Parameter estimation". ''Computational Linguistics'' (19): 263–311.</cite></ref> ने एलएलएम की भविष्य की सफलता की घोषणा की। <ref name="LRA9f">{{Cite web|url=http://mlg.eng.cam.ac.uk/yarin/PDFs/PY-IBM_presentation.pdf|title=A Systematic Bayesian Treatment of the IBM Alignment Models|last=Gal|first=Yarin|last2=Blunsom|first2=Phil|date=12 June 2013|publisher=University of Cambridge|archive-url=https://web.archive.org/web/20160304071924/http://mlg.eng.cam.ac.uk/yarin/PDFs/PY-IBM_presentation.pdf|archive-date=4 मार्च 2016|access-date=26 October 2015|url-status=bot: unknown}}<cite class="citation web cs1" data-ve-ignore="true" id="CITEREFGalBlunsom2013">Gal, Yarin; Blunsom, Phil (12 June 2013).  <span class="cs1-format">(PDF)</span>. University of Cambridge. Archived from [http://mlg.eng.cam.ac.uk/yarin/PDFs/PY-IBM_presentation.pdf the original] {{Webarchive|url=https://web.archive.org/web/20160304071924/http://mlg.eng.cam.ac.uk/yarin/PDFs/PY-IBM_presentation.pdf |date=4 मार्च 2016 }} <span class="cs1-format">(PDF)</span> on 4 Mar 2016<span class="reference-accessdate">. Retrieved <span class="nowrap">26 October</span> 2015</span>.</cite></ref> एक प्रारंभिक कार्य जो 2001 में शब्दों के स्पष्टीकरण (जैसे कि "तब" और "से" में अंतर करना) के लिए इंटरनेट से निकाले गए संग्रह का उपयोग करता है। इसमें 1 अरब शब्द के कोष का उपयोग किया गया था, जिसे उस समय बहुत बड़ा माना जाता था। <ref>{{Cite journal|last=Banko|first=Michele|last2=Brill|first2=Eric|date=2001|title=Scaling to very very large corpora for natural language disambiguation|url=http://dx.doi.org/10.3115/1073012.1073017|journal=Proceedings of the 39th Annual Meeting on Association for Computational Linguistics - ACL '01|location=Morristown, NJ, USA|publisher=Association for Computational Linguistics|pages=26–33|doi=10.3115/1073012.1073017}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFBankoBrill2001">Banko, Michele; Brill, Eric (2001). [http://dx.doi.org/10.3115/1073012.1073017 "Scaling to very very large corpora for natural language disambiguation"]. ''Proceedings of the 39th Annual Meeting on Association for Computational Linguistics - ACL '01''. Morristown, NJ, USA: Association for Computational Linguistics: 26–33. [[डिजिटल वस्तु अभिज्ञापक|doi]]:[[doi:10.3115/1073012.1073017|10.3115/1073012.1073017]]. [[S2CID (पहचानकर्ता)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:6645623 6645623].</cite></ref>
 
=== ट्रांसफार्मर ढांचे के लिए लीड-अप ===
ट्रांसफॉर्मर (Transformer) कृत्रिम बुद्धिमत्ता में प्रयुक्त होने वाला एक मशीन लर्निंग मॉडल है। यह प्राकृतिक भाषा संसाधन के लिए विशेष रूप से डिज़ाइन किया गया है।
शुरुआती "बड़े" भाषा मॉडल दीर्घकालिक अल्पकालिक मेमोरी (एलएसटीएम) (1997) जैसे आवर्ती आर्किटेक्चर के साथ बनाए गए थे। एलेक्सनेट (2012) द्वारा छवि पहचान के लिए बड़े तंत्रिका नेटवर्क की प्रभावशीलता का प्रदर्शन करने के बाद, शोधकर्ताओं ने अन्य कार्यों के लिए बड़े तंत्रिका नेटवर्क को लागू किया। 2014 में, दो मुख्य तकनीकें प्रस्तावित की गईं।
 
* Seq2seq मॉडल (380 मिलियन पैरामीटर) ने [[यान्त्रिक अनुवाद|मशीनी अनुवाद]] करने के लिए दो LSTM का उपयोग किया, <ref name="JBfZy">{{Cite journal|last=Sutskever|first=Ilya|last2=Vinyals|first2=Oriol|last3=Le|first3=Quoc V|date=2014|title=Sequence to Sequence Learning with Neural Networks|url=https://proceedings.neurips.cc/paper_files/paper/2014/hash/a14ac55a4f27472c5d894ec1c3c743d2-Abstract.html|journal=Advances in Neural Information Processing Systems|publisher=Curran Associates, Inc.|volume=27|arxiv=1409.3215|access-date=19 जुलाई 2023|archive-date=12 जुलाई 2024|archive-url=https://web.archive.org/web/20240712220003/https://proceedings.neurips.cc/paper_files/paper/2014/hash/a14ac55a4f27472c5d894ec1c3c743d2-Abstract.html|url-status=dead}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFSutskeverVinyalsLe2014">Sutskever, Ilya; Vinyals, Oriol; Le, Quoc V (2014). [https://proceedings.neurips.cc/paper_files/paper/2014/hash/a14ac55a4f27472c5d894ec1c3c743d2-Abstract.html "Sequence to Sequence Learning with Neural Networks"] {{Webarchive|url=https://web.archive.org/web/20240712220003/https://proceedings.neurips.cc/paper_files/paper/2014/hash/a14ac55a4f27472c5d894ec1c3c743d2-Abstract.html |date=12 जुलाई 2024 }}. ''Advances in Neural Information Processing Systems''. Curran Associates, Inc. '''27'''. [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:1409.3215|1409.3215]]</span>.</cite></ref> और उसी दृष्टिकोण का उपयोग <ref name="ii1xZ">{{Cite journal|last=Cho|first=Kyunghyun|last2=van Merrienboer|first2=Bart|last3=Bahdanau|first3=Dzmitry|last4=Bengio|first4=Yoshua|date=2014|title=On the Properties of Neural Machine Translation: Encoder–Decoder Approaches|url=http://dx.doi.org/10.3115/v1/w14-4012|journal=Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation|location=Stroudsburg, PA, USA|publisher=Association for Computational Linguistics|pages=103–111|doi=10.3115/v1/w14-4012}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFChovan_MerrienboerBahdanauBengio2014">Cho, Kyunghyun; van Merrienboer, Bart; Bahdanau, Dzmitry; Bengio, Yoshua (2014). [http://dx.doi.org/10.3115/v1/w14-4012 "On the Properties of Neural Machine Translation: Encoder–Decoder Approaches"]. ''Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation''. Stroudsburg, PA, USA: Association for Computational Linguistics: 103–111. [[डिजिटल वस्तु अभिज्ञापक|doi]]:[[doi:10.3115/v1/w14-4012|10.3115/v1/w14-4012]]. [[S2CID (पहचानकर्ता)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:11336213 11336213].</cite></ref> (130 मिलियन पैरामीटर) में किया गया था लेकिन एक सरलीकृत वास्तुकला ( जीआरयू ) के साथ।
* ध्यान तंत्र को 2014 के पेपर में बहदानौ एट द्वारा प्रस्तावित किया गया था। अल., <ref name=":6">{{Cite arXiv|arxiv=1409.0473|class=cs.CL|first=Dzmitry|last=Bahdanau|first2=Kyunghyun|last2=Cho|title=Neural Machine Translation by Jointly Learning to Align and Translate|date=2014-09-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFBahdanauChoBengio2014">Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua (2014-09-01). "Neural Machine Translation by Jointly Learning to Align and Translate". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:1409.0473|1409.0473]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> जहां दो LSTM के बीच में एक "ध्यान तंत्र" जोड़कर एक seq2seq मॉडल में सुधार किया गया था। यह "एडिटिव अटेंशन" है, जो ट्रांसफॉर्मर की तरह समान अटेंशन मैकेनिज्म (स्केल्ड "डॉट प्रोडक्ट अटेंशन") नहीं है, लेकिन यह एक समान कार्य पूरा करता है। <ref name=":8">{{Cite journal|last=Vaswani|first=Ashish|last2=Shazeer|first2=Noam|last3=Parmar|first3=Niki|last4=Uszkoreit|first4=Jakob|last5=Jones|first5=Llion|last6=Gomez|first6=Aidan N|last7=Kaiser|first7=Łukasz|last8=Polosukhin|first8=Illia|date=2017|title=Attention is All you Need|url=https://proceedings.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html|journal=Advances in Neural Information Processing Systems|publisher=Curran Associates, Inc.|volume=30}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFVaswaniShazeerParmarUszkoreit2017">Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N; Kaiser, Łukasz; Polosukhin, Illia (2017). [https://proceedings.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html "Attention is All you Need"]. ''Advances in Neural Information Processing Systems''. Curran Associates, Inc. '''30'''.</cite></ref>
 
2016 में, [[गूगल अनुवाद]]  ने अपनी तकनीक को [[सांख्यिकीय मशीनी अनुवाद|सांख्यिकीय मशीन अनुवाद]] से [[गूगल न्यूरल मशीन अनुवाद|तंत्रिका मशीन अनुवाद]] में बदल दिया। यह LSTM और ध्यान के साथ एक seq2seq था। 10 वर्षों में निर्मित पिछली प्रणाली की तुलना में प्रदर्शन के उच्च स्तर तक पहुँचने में उन्हें 9 महीने लगे। <ref name="UJDu8">{{Cite news|url=https://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html|title=The Great A.I. Awakening|last=Lewis-Kraus|first=Gideon|date=2016-12-14|work=The New York Times|access-date=2023-06-22|archive-url=https://web.archive.org/web/20230524052626/https://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html|archive-date=24 मई 2023|language=en-US|issn=0362-4331|url-status=bot: unknown}}<cite class="citation news cs1" data-ve-ignore="true" id="CITEREFLewis-Kraus2016">Lewis-Kraus, Gideon (2016-12-14). . ''The New York Times''. [[अन्तर्राष्ट्रीय मानक क्रम संख्या|ISSN]]&nbsp;[[issn:0362-4331|0362-4331]]. Archived from [https://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html the original] on 24 May 2023<span class="reference-accessdate">. Retrieved <span class="nowrap">2023-06-22</span></span>.</cite></ref> <ref name="Y4moj">{{Cite arXiv|arxiv=1609.08144|class=cs.CL|first=Yonghui|last=Wu|first2=Mike|last2=Schuster|title=Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation|date=2016-09-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFWuSchusterChenLe2016">Wu, Yonghui; et&nbsp;al. (2016-09-01). "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:1609.08144|1609.08144]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref>
 
2017 का पेपर "आपको केवल ध्यान देने की आवश्यकता है" <ref name=":8"/> बहदानौ एट द्वारा 2014 के पेपर से ध्यान तंत्र को अलग कर दिया। अल., <ref name=":6">{{Cite arXiv|arxiv=1409.0473|class=cs.CL|first=Dzmitry|last=Bahdanau|first2=Kyunghyun|last2=Cho|title=Neural Machine Translation by Jointly Learning to Align and Translate|date=2014-09-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFBahdanauChoBengio2014">Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua (2014-09-01). "Neural Machine Translation by Jointly Learning to Align and Translate". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:1409.0473|1409.0473]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> और ध्यान तंत्र के चारों ओर ट्रांसफार्मर वास्तुकला का निर्माण किया। जबकि seq2seq मॉडल को सभी आवर्ती नेटवर्क की तरह एक समय में एक इनपुट अनुक्रम को संसाधित करना होता है, ट्रांसफॉर्मर आर्किटेक्चर को अनुक्रम पर समानांतर में चलाया जा सकता है। यह बहुत बड़े मॉडलों को प्रशिक्षित और उपयोग करने की अनुमति देता है।

=== बर्ट और जीपीटी ===
जबकि विभिन्न नामों वाले कई मॉडल हैं, अधिकांश में अंतर्निहित आर्किटेक्चर दो प्रकारों में से एक है: बीईआरटी (2018) <ref name=":02">{{Cite arXiv|arxiv=1810.04805v2|class=cs.CL|first=Jacob|last=Devlin|first2=Ming-Wei|last2=Chang|title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding|date=11 October 2018}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFDevlinChangLeeToutanova2018">Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina (11 October 2018). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:1810.04805v2|1810.04805v2]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> एक द्विदिश ट्रांसफार्मर है, जबकि जीपीटी (2018+) <ref name="gpt12">{{Cite web|url=https://openai.com/research/language-unsupervised|title=Improving language understanding with unsupervised learning|date=June 11, 2018|website=openai.com|language=en-US|archive-url=https://web.archive.org/web/20230318210736/https://openai.com/research/language-unsupervised|archive-date=2023-03-18|access-date=2023-03-18}}<cite class="citation web cs1" data-ve-ignore="true">[https://openai.com/research/language-unsupervised "Improving language understanding with unsupervised learning"]. ''openai.com''. June 11, 2018. [https://web.archive.org/web/20230318210736/https://openai.com/research/language-unsupervised Archived] from the original on 2023-03-18<span class="reference-accessdate">. Retrieved <span class="nowrap">2023-03-18</span></span>.</cite></ref> <ref name="ngEG3">{{Citation|title=finetune-transformer-lm|date=June 11, 2018|url=https://github.com/openai/finetune-transformer-lm|publisher=OpenAI|access-date=2023-05-01}}<cite class="citation cs2" data-ve-ignore="true">[https://github.com/openai/finetune-transformer-lm ''finetune-transformer-lm''], OpenAI, June 11, 2018<span class="reference-accessdate">, retrieved <span class="nowrap">2023-05-01</span></span></cite></ref> यूनिडायरेक्शनल ("ऑटोरेग्रेसिव") हैं ट्रांसफार्मर। ये 2023 तक के मुख्य आर्किटेक्चर हैं।
 
=== शब्द की उत्पत्ति और असंबद्धता ===
जबकि लार्ज लैंग्वेज मॉडल्स का शब्द 2018 के आसपास ही उभरा है, इसने 2019 और 2020 में क्रमशः डिस्टिलबर्ट <ref>{{Cite arXiv|arxiv=1910.01108|class=cs.CL|first=Victor|last=Sanh|first2=Lysandre|last2=Debut|title=DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter?|date=2019-10-02}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFSanhDebutChaumondWolf2019">Sanh, Victor; Debut, Lysandre; Chaumond, Julien; Wolf, Thomas (2019-10-02). "DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter?". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:1910.01108|1910.01108]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> और स्टोकेस्टिक पैरेट्स <ref>{{Cite conference|location=Virtual Event, Canada}}<cite class="citation conference cs1" data-ve-ignore="true" id="CITEREFEmily_M.GebruMcMillan-MajorMitchell2021">[[एमिली एम. बेंडर|Emily M., Bender]]; [[टिम्निट गेबरू|Gebru, Timnit]]; McMillan-Major, Angelina; [[मार्गरेट मिशेल (वैज्ञानिक)|Mitchell, Margaret]] (2021-03-01). [https://dl.acm.org/doi/10.1145/3442188.3445922 "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜"]. ''FAccT '21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency''. FAccT '21. Virtual Event, Canada: ACM. pp.&nbsp;610–623. [[डिजिटल वस्तु अभिज्ञापक|doi]]:[[doi:10.1145/3442188.3445922|10.1145/3442188.3445922]].</cite></ref> पेपर जारी होने के साथ दृश्यता प्राप्त की। दोनों ने "बड़े पैमाने पर पूर्व-प्रशिक्षित मॉडल" पर ध्यान केंद्रित किया, एलएलएम के उदाहरण के रूप में बीईआरटी परिवार का हवाला देते हुए, 110एम पैरामीटर से शुरू किया और 340एम पैरामीटर रेंज में मॉडल को "बहुत बड़े एलएम" के रूप में संदर्भित किया। 
 
शायद आश्चर्यजनक रूप से, दोनों प्री-ट्रांसफॉर्मर आरएनएन-आधारित ईएलएमओ - 2018 आर्किटेक्चर का हवाला देते हैं जिसने बीईआरटी को प्रेरित किया - पहले एलएलएम के रूप में, मापदंडों की संख्या (94M), साथ ही प्रीट्रेनिंग डेटासेट (> 1 बी टोकन) का आकार दिया। <ref>{{Cite arXiv|arxiv=1802.05365|class=cs.CL|title=Deep contextualized word representations|date=2018}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFPetersNeumannIyyerGardner2018">Peters ME, Neumann M, Iyyer M, Gardner M, Clark C, Lee K, Zettlemoyer L (2018). "Deep contextualized word representations". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:1802.05365|1802.05365]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> तुलनीय पैरामीटर आकार के बावजूद, छोटे प्रीट्रेनिंग डेटासेट (आमतौर पर 100M टोकन रेंज में अनुमानित) के कारण मूल ट्रांसफार्मर को आमतौर पर एलएलएम नहीं माना जाता है।
 
कुल मिलाकर, एलएलएम मॉडल के प्रदर्शन में ~100एम पैरामीटर से 500बी+ पैरामीटर तक सुचारू स्केलिंग और बहुभाषी अनुवाद, अंकगणित, या प्रोग्रामिंग कोड संरचना जैसी उभरती क्षमताओं की प्रगतिशील अनलॉकिंग के कारण, सभी पोस्ट-ईएलएमओ मॉडल को शोधकर्ताओं द्वारा एलएलएम के रूप में संदर्भित किया जाता है। . <ref name="Ganguli Hernandez Lovitt Askell 2022 p.">{{Cite conference|last1=Ganguli|first1=Deep|last2=Hernandez|first2=Danny|title=2022 ACM Conference on Fairness, Accountability, and Transparency|publisher=ACM|date=2022-06-20|pages=1747–1764|doi=10.1145/3531146.3533229}}<cite class="citation conference cs1" data-ve-ignore="true" id="CITEREFGanguliHernandezLovittAskell2022">Ganguli, Deep; Hernandez, Danny; Lovitt, Liane; et&nbsp;al. (2022-06-20). "Predictability and Surprise in Large Generative Models". ''2022 ACM Conference on Fairness, Accountability, and Transparency''. New York, NY, USA: ACM. pp.&nbsp;1747–1764. [[डिजिटल वस्तु अभिज्ञापक|doi]]:[[doi:10.1145/3531146.3533229|10.1145/3531146.3533229]]. [[अंतर्राष्ट्रीय मानक पुस्तक संख्या|ISBN]]&nbsp;[[Special:BookSources/9781450393522|<bdi>9781450393522</bdi>]].</cite></ref> <ref name="Kaplan McCandlish Henighan Brown p.">{{Cite arXiv|arxiv=2001.08361|class=cs.LG|first=Jared|last=Kaplan|first2=Sam|last2=McCandlish|title=Scaling Laws for Neural Language Models}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFKaplanMcCandlishHenighanBrown2020">Kaplan, Jared; McCandlish, Sam; Henighan, Tom; et&nbsp;al. (2020). "Scaling Laws for Neural Language Models". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2001.08361|2001.08361]]</span> [[//arxiv.org/archive/cs.LG cs.LG]].</cite></ref> <ref name="Hoffmann Borgeaud Mensch Buchatskaya p.">{{Cite arXiv|arxiv=2203.15556|class=cs.CL|first=Jordan|last=Hoffmann|first2=Sebastian|last2=Borgeaud|title=Training Compute-Optimal Large Language Models}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFHoffmannBorgeaudMenschBuchatskaya2022">Hoffmann, Jordan; Borgeaud, Sebastian; Mensch, Arthur; et&nbsp;al. (2022). "Training Compute-Optimal Large Language Models". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2203.15556|2203.15556]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> <ref name="Chowdhery Narang Devlin Bosma p.">{{Cite arXiv|arxiv=2204.02311|class=cs.CL|first=Aakanksha|last=Chowdhery|first2=Sharan|last2=Narang|title=PaLM: Scaling Language Modeling with Pathways}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFChowdheryNarangDevlinBosma2022">Chowdhery, Aakanksha; Narang, Sharan; Devlin, Jacob; et&nbsp;al. (2022). "PaLM: Scaling Language Modeling with Pathways". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2204.02311|2204.02311]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref>
 
=== भाषाई आधार ===
 
[[बोधात्मक भाषाविज्ञान|संज्ञानात्मक भाषाविज्ञान]] [[प्राकृतिक भाषा संसाधन|प्राकृतिक भाषा प्रसंस्करण]] के माध्यम से मन की स्थिति को मापने के लिए एक वैज्ञानिक [[प्रथम आदितत्व|प्रथम सिद्धांत]] दिशा प्रदान करता है <ref>{{Cite journal|last=Kjell|year=2019|title=Semantic measures: Using natural language processing to measure, differentiate, and describe psychological constructs|url=https://www.researchgate.net/publication/326141366|journal=Psychological Methods|volume=24|issue=1|pages=92–115|doi=10.1037/met0000191|pmid=29963879}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFKjell2019">Kjell (2019). [https://www.researchgate.net/publication/326141366 "Semantic measures: Using natural language processing to measure, differentiate, and describe psychological constructs"]. ''Psychological Methods''. '''24''' (1): 92–115. [[डिजिटल वस्तु अभिज्ञापक|doi]]:[[doi:10.1037/met0000191|10.1037/met0000191]]. [[पबमेड|PMID]]&nbsp;[https://pubmed.ncbi.nlm.nih.gov/29963879 29963879]. [[S2CID (पहचानकर्ता)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:49642731 49642731].</cite></ref> ताकि कंप्यूटर को पाठ और दस्तावेजों की सामग्री को "समझने" में सक्षम बनाया जा सके, जिसमें उनके भीतर भाषा की प्रासंगिक बारीकियां भी शामिल हैं। एनएलपी का विकासात्मक प्रक्षेपवक्र, जिसे [[प्राकृतिक भाषा संसाधन|संज्ञानात्मक एनएलपी]] के रूप में जाना जाता है, बुद्धिमान व्यवहार और प्राकृतिक भाषा की स्पष्ट समझ के अनुकरण के लिए एक एकात्मक भाषा मॉडल के रूप में आधार तैयार करता है। मॉडल का विशेष रूप विश्लेषण किए जाने वाले टोकन के पहले और बाद में प्रस्तुत किए गए टोकन के आधार पर एक वेक्टर डेटाबेस बनाने के लिए पाठ, वाक्य, वाक्यांश या शब्द के एक ब्लॉक को एक टोकन के रूप में मानता है। इसके सामान्यीकृत रूप में एक [[प्राकृतिक भाषा संसाधन|टोकन को]] गैर-पाठ्य अनुप्रयोगों के लिए किसी भी प्रासंगिक रूप से प्रासंगिक प्रतीक जैसे पिक्सेल के समूह, गणितीय प्रतीकों, कोडिंग निर्माण, आणविक सूत्र आदि द्वारा प्रतिस्थापित किया जा सकता है। <ref name="C775b">{{Cite arXiv|arxiv=2304.15004|class=cs.AI|first=Rylan|last=Schaeffer|first2=Brando|last2=Miranda|title=Are Emergent Abilities of Large Language Models a Mirage?|date=2023-04-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFSchaefferMirandaKoyejo2023">Schaeffer, Rylan; Miranda, Brando; Koyejo, Sanmi (2023-04-01). "Are Emergent Abilities of Large Language Models a Mirage?". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2304.15004|2304.15004]]</span> [[//arxiv.org/archive/cs.AI cs.AI]].</cite></ref>

== मॉडल संरचना ==
[[File:The-Transformer-model-architecture.png|अंगूठाकार|400x400पिक्सेल|ट्रांसफार्मर मॉडल संरचना]]
बड़े भाषा मॉडल में आमतौर पर ट्रांसफॉर्मर आर्किटेक्चर का उपयोग किया जाता है, जो 2018 के बाद से अनुक्रमिक डेटा के लिए मानक गहन शिक्षण तकनीक बन गया है। <ref name="Manning-2022">{{Cite journal|last=Manning|first=Christopher D.|author-link=Christopher D. Manning|year=2022|title=Human Language Understanding & Reasoning|url=https://www.amacad.org/publication/human-language-understanding-reasoning|journal=Daedalus|volume=151|issue=2|pages=127–138|doi=10.1162/daed_a_01905}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFManning2022">[[क्रिस्टोफर डी. मैनिंग|Manning, Christopher D.]] (2022). [https://www.amacad.org/publication/human-language-understanding-reasoning "Human Language Understanding & Reasoning"]. ''Daedalus''. '''151''' (2): 127–138. [[डिजिटल वस्तु अभिज्ञापक|doi]]:[[doi:10.1162/daed_a_01905|10.1162/daed_a_01905]]. [[S2CID (पहचानकर्ता)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:248377870 248377870].</cite></ref> वास्तुकला की एक वैकल्पिक पंक्ति विशेषज्ञों का मिश्रण (एमओई) है, जिसका उपयोग अक्सर Google द्वारा विकसित एआई मॉडल में किया जाता है, जो कम-गेटेड एमओई (2017) से शुरू होता है, <ref name="HGZCJ">{{Cite arXiv|arxiv=1701.06538|class=cs.LG|first=Noam|last=Shazeer|first2=Azalia|last2=Mirhoseini|title=Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer|date=2017-01-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFShazeerMirhoseiniMaziarzDavis2017">Shazeer, Noam; Mirhoseini, Azalia; Maziarz, Krzysztof; Davis, Andy; Le, Quoc; Hinton, Geoffrey; Dean, Jeff (2017-01-01). "Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:1701.06538|1701.06538]]</span> [[//arxiv.org/archive/cs.LG cs.LG]].</cite></ref> और जीशर्ड (2021) <ref name="R9Qq5">{{Cite arXiv|arxiv=2006.16668|class=cs.CL|first=Dmitry|last=Lepikhin|first2=HyoukJoong|last2=Lee|title=GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding|date=2021-01-12|language=en}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFLepikhinLeeXuChen2021">Lepikhin, Dmitry; Lee, HyoukJoong; Xu, Yuanzhong; Chen, Dehao; Firat, Orhan; Huang, Yanping; Krikun, Maxim; Shazeer, Noam; Chen, Zhifeng (2021-01-12). "GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2006.16668|2006.16668]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> और जीएलएएम तक आगे बढ़ता है। (2022)। <ref name="glam-blog"/>

सभी ट्रांसफार्मर के प्राथमिक घटक समान होते हैं:

* टोकनाइज़र, जो टेक्स्ट को मशीन-पठनीय प्रतीकों में परिवर्तित करते हैं जिन्हें टोकन कहा जाता है
* एंबेडिंग परतें, जो मशीन-पठनीय प्रतीकों को शब्दार्थ की दृष्टि से सार्थक अभ्यावेदन में परिवर्तित करती हैं
* ट्रांसफार्मर परतें, जो मॉडलों की तर्क क्षमताओं को पूरा करती हैं

ट्रांसफार्मर की परतें दो प्रकार की होती हैं जिन्हें ''एनकोडर'' और ''डिकोडर के'' नाम से जाना जाता है। जबकि मूल कागज से ट्रांसफार्मर एनकोडर परतों और डिकोडर परतों दोनों से बना था, बाद के काम ने एनकोडर-केवल आर्किटेक्चर ( बीईआरटी ) और डिकोडर-केवल आर्किटेक्चर ( जीपीटी ) का भी पता लगाया है। जबकि तीनों के अपने फायदे और उपयोग हैं, बड़े पैमाने पर प्रशिक्षण के लिए काफी अधिक कुशल होने के कारण डिकोडर-केवल मॉडल बहुत बड़े पैमाने पर प्रमुख रूप हैं।
=== टोकनीकरण(टोकनाइज़ेसन) ===
एलएलएम गणितीय कार्य हैं जिनके इनपुट और आउटपुट संख्याओं की सूची हैं। नतीजतन, शब्दों को संख्याओं में परिवर्तित किया जाना चाहिए।

सामान्य तौर पर, एलएलएम एक अलग टोकननाइज़र का उपयोग करता है। एक टोकनाइज़र टेक्स्ट और [[पूर्णांक|पूर्णांकों]] की सूचियों के बीच मैप करता है। एलएलएम प्रशिक्षित होने से पहले टोकननाइज़र को आम तौर पर पहले संपूर्ण प्रशिक्षण डेटासेट के लिए अनुकूलित किया जाता है, फिर ''फ़्रीज़ किया जाता है'' । एक सामान्य विकल्प बाइट जोड़ी एन्कोडिंग है।

टोकननाइज़र का एक अन्य कार्य [[आंकड़ा संपीडन|टेक्स्ट कम्प्रेशन]] है, जो [[अभिकलन|गणना को]] बचाता है। सामान्य शब्द या वाक्यांश जैसे "कहां है" को 7 अक्षरों के बजाय एक टोकन में एन्कोड किया जा सकता है। ओपनएआई जीपीटी श्रृंखला एक टोकननाइज़र का उपयोग करती है जहां 1 टोकन सामान्य अंग्रेजी पाठ में लगभग 4 अक्षरों या लगभग 0.75 शब्दों को मैप करता है। <ref name="xbiWb">{{Cite web|url=https://platform.openai.com/|title=OpenAI API|website=platform.openai.com|language=en|archive-url=https://web.archive.org/web/20230423211308/https://platform.openai.com/tokenizer|archive-date=23 अप्रैल 2023|access-date=2023-04-30|url-status=bot: unknown}}<cite class="citation web cs1" data-ve-ignore="true">. ''platform.openai.com''. Archived from [https://platform.openai.com/ the original] on April 23, 2023<span class="reference-accessdate">. Retrieved <span class="nowrap">2023-04-30</span></span>.</cite></ref> असामान्य अंग्रेजी पाठ कम पूर्वानुमानित है, इस प्रकार कम संपीड़ित है, इस प्रकार एन्कोड करने के लिए अधिक टोकन की आवश्यकता होती है।

टोकनाइज़र मनमाना पूर्णांक आउटपुट नहीं कर सकता। वे आम तौर पर श्रेणी में केवल पूर्णांक ही आउटपुट करते हैं <math>\{0, 1, 2, ..., V-1\}</math>, कहाँ <math>V</math> इसका शब्दावली आकार कहा जाता है।

कुछ टोकनाइज़र मनमाने पाठ को संभालने में सक्षम हैं (आम तौर पर सीधे [[यूनिकोड]] पर काम करके), लेकिन कुछ नहीं करते हैं। अन-एन्कोडेबल टेक्स्ट का सामना करते समय, एक टोकननाइज़र एक विशेष टोकन (अक्सर 0) आउटपुट करेगा जो "अज्ञात टेक्स्ट" का प्रतिनिधित्व करता है। इसे अक्सर ऐसे लिखा जाता है <span class="monospaced" data-ve-ignore="true">[यूएनके]</span>, जैसे कि बीईआरटी पेपर में।

आमतौर पर इस्तेमाल किया जाने वाला एक और विशेष टोकन है <span class="monospaced" data-ve-ignore="true">[पीएडी]</span> (अक्सर 1), "पैडिंग" के लिए। इसका उपयोग इसलिए किया जाता है क्योंकि एलएलएम का उपयोग आम तौर पर एक समय में पाठ के बैचों पर किया जाता है, और ये पाठ समान लंबाई में एन्कोड नहीं होते हैं। चूंकि एलएलएम के लिए आम तौर पर इनपुट की आवश्यकता एक ऐसी सरणी होती है जो दांतेदार न हो, छोटे एन्कोडेड टेक्स्ट को तब तक पैड किया जाना चाहिए जब तक कि वे सबसे लंबे टेक्स्ट की लंबाई से मेल न खा जाएं।
=== उत्पादन ===
एलएलएम का आउटपुट इसकी शब्दावली पर संभाव्यता वितरण है। इसे आमतौर पर इस प्रकार कार्यान्वित किया जाता है:

* एक पाठ प्राप्त करने पर, एलएलएम का बड़ा हिस्सा एक वेक्टर आउटपुट करता है <math>y\in \R^V</math> कहाँ <math>V</math> इसका शब्दावली आकार (ऊपर परिभाषित) है।
* सदिश <math>y</math> प्राप्त करने के लिए सॉफ्टमैक्स फ़ंक्शन के माध्यम से पारित किया जाता है <math>\text{softmax}(y)</math> .

इस प्रक्रिया में, वेक्टर <math>y</math> इसे आमतौर पर अननॉर्मलाइज़्ड लॉगिट वेक्टर और वेक्टर कहा जाता है <math>\text{softmax}(y)</math> संभाव्यता वेक्टर कहा जाता है. वेक्टर के बाद से <math>\text{softmax}(y)</math> है <math>V</math> प्रविष्टियाँ, सभी गैर-नकारात्मक, और उनका योग 1 है, हम इसे संभाव्यता वितरण के रूप में व्याख्या कर सकते हैं <math>\{0, 1, 2, ..., V-1\}</math> - यानी, यह एलएलएम की शब्दावली पर एक संभाव्यता वितरण है।

ध्यान दें कि सॉफ्टमैक्स फ़ंक्शन को गणितीय रूप से परिभाषित किया गया है जिसमें कोई पैरामीटर भिन्न नहीं है। फलस्वरूप यह प्रशिक्षित नहीं है।
=== प्रसंग विंडो ===
एलएलएम की संदर्भ विंडो टोकन के सबसे लंबे अनुक्रम की लंबाई है जिसका उपयोग एलएलएम टोकन उत्पन्न करने के लिए कर सकता है। यदि एलएलएम को संदर्भ विंडो से अधिक लंबे अनुक्रम पर टोकन उत्पन्न करना है, तो उसे या तो अनुक्रम को संदर्भ विंडो तक छोटा करना होगा, या कुछ एल्गोरिदमिक संशोधनों का उपयोग करना होगा।

एलएलएम की संदर्भ विंडो 1,000 (1k) से 10k के क्रम पर होती है। विशेष रूप से, OpenAI जून 2023 तक 4k से 16k तक संदर्भ विंडो के साथ GPT-3.5 प्रदान करता है <ref name="ng1G8">{{Cite web|url=https://platform.openai.com/|title=OpenAI API|website=platform.openai.com|language=en|archive-url=https://archive.today/20230620140700/https://platform.openai.com/docs/models/gpt-3-5|archive-date=20 जून 2023|access-date=2023-06-20|url-status=bot: unknown}}<cite class="citation web cs1" data-ve-ignore="true">. ''platform.openai.com''. Archived from [https://platform.openai.com/ the original] on 16 Jun 2023<span class="reference-accessdate">. Retrieved <span class="nowrap">2023-06-20</span></span>.</cite></ref>

== प्रशिक्षण ==
पूर्व-प्रशिक्षण में, एलएलएम को या तो यह अनुमान लगाने के लिए प्रशिक्षित किया जा सकता है कि खंड कैसे जारी रहेगा, या अपने प्रशिक्षण डेटासेट से एक खंड को देखते हुए, खंड में क्या कमी है। <ref name="ioUpE">{{Cite journal|last=Zaib|first=Munazza|last2=Sheng|first2=Quan Z.|last3=Emma Zhang|first3=Wei|date=4 February 2020|title=A Short Survey of Pre-trained Language Models for Conversational AI-A New Age in NLP|url=https://www.researchgate.net/publication/338931711|journal=Proceedings of the Australasian Computer Science Week Multiconference|pages=1–4|arxiv=2104.10810|doi=10.1145/3373017.3373028|isbn=9781450376976}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFZaibShengEmma_Zhang2020">Zaib, Munazza; Sheng, Quan Z.; Emma Zhang, Wei (4 February 2020). [https://www.researchgate.net/publication/338931711 "A Short Survey of Pre-trained Language Models for Conversational AI-A New Age in NLP"]. ''Proceedings of the Australasian Computer Science Week Multiconference'': 1–4. [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2104.10810|2104.10810]]</span>. [[डिजिटल वस्तु अभिज्ञापक|doi]]:[[doi:10.1145/3373017.3373028|10.1145/3373017.3373028]]. [[अंतर्राष्ट्रीय मानक पुस्तक संख्या|ISBN]]&nbsp;[[Special:BookSources/9781450376976|<bdi>9781450376976</bdi>]]. [[S2CID (पहचानकर्ता)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:211040895 211040895].</cite></ref> यह या तो हो सकता है

* ऑटोरेग्रेसिव (यानी यह भविष्यवाणी करना कि सेगमेंट कैसे जारी रहेगा, जिस तरह से जीपीटी इसे करते हैं): उदाहरण के लिए एक सेगमेंट दिया गया है "मुझे खाना पसंद है", मॉडल "आइसक्रीम" की भविष्यवाणी करता है, या
* " [[क्लोज़ परीक्षा|नकाबपोश]] " (अर्थात खंड से गायब हिस्सों को भरना, जिस तरह से "बीईआरटी" <ref name="jm">{{Cite book|url=https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf|title=Speech and Language Processing|last=Jurafsky|first=Dan|last2=Martin|first2=James H.|date=7 January 2023|edition=3rd edition draft|access-date=24 May 2022}}</ref> करता है): उदाहरण के लिए, एक खंड दिया गया है "मुझे <code>[__] [__]</code> क्रीम पसंद है", मॉडल भविष्यवाणी करता है कि " खाओ" और "बर्फ" गायब हैं।

एलएलएम को सहायक कार्यों पर प्रशिक्षित किया जा सकता है जो डेटा वितरण की उनकी समझ का परीक्षण करते हैं, जैसे कि नेक्स्ट सेंटेंस प्रेडिक्शन (एनएसपी), जिसमें वाक्यों के जोड़े प्रस्तुत किए जाते हैं और मॉडल को भविष्यवाणी करनी चाहिए कि क्या वे प्रशिक्षण कॉर्पस में लगातार दिखाई देते हैं। <ref name="jm"/>

आमतौर पर, एलएलएम को एक विशिष्ट हानि फ़ंक्शन को कम करने के लिए प्रशिक्षित किया जाता है: प्रति टोकन औसत नकारात्मक लॉग संभावना (जिसे क्रॉस-एन्ट्रॉपी हानि भी कहा जाता है)।  उदाहरण के लिए, यदि एक ऑटोरेग्रेसिव मॉडल, "मुझे खाना पसंद है" दिया गया है, तो संभाव्यता वितरण की भविष्यवाणी करता है <math>Pr( \cdot | \text{I like to eat})</math> तो इस टोकन पर नकारात्मक लॉग संभावना हानि है <math>-\log Pr( \text{ice} | \text{I like to eat}) </math> .

प्रशिक्षण के दौरान, प्रशिक्षण को स्थिर करने के लिए नियमितीकरण हानि का भी उपयोग किया जाता है। हालाँकि नियमितीकरण हानि का उपयोग आमतौर पर परीक्षण और मूल्यांकन के दौरान नहीं किया जाता है। केवल नकारात्मक लॉग संभावना के अलावा और भी कई मूल्यांकन मानदंड हैं। विवरण के लिए [[11231-0120123asf|नीचे अनुभाग]] देखें.

=== डेटासेट का आकार और संपीड़न ===
2018 में, 985 मिलियन शब्दों वाले बुककॉर्पस का उपयोग ओपन एआई के पहले मॉडल, जीपीटी-1 के लिए एक प्रशिक्षण डेटासेट के रूप में किया गया था। <ref name="TzrRM">{{Cite book|title=2015 IEEE International Conference on Computer Vision (ICCV)|last=Zhu|first=Yukun|last2=Kiros|first2=Ryan|last3=Zemel|first3=Rich|last4=Salakhutdinov|first4=Ruslan|last5=Urtasun|first5=Raquel|last6=Torralba|first6=Antonio|last7=Fidler|first7=Sanja|date=December 2015|work=2015 IEEE International Conference on Computer Vision (ICCV)|isbn=978-1-4673-8391-2|pages=19–27|chapter=Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books|arxiv=1506.06724|doi=10.1109/ICCV.2015.11|access-date=11 April 2023|chapter-url=https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Zhu_Aligning_Books_and_ICCV_2015_paper.pdf}}<cite class="citation book cs1" data-ve-ignore="true" id="CITEREFZhuKirosZemelSalakhutdinov2015">Zhu, Yukun; Kiros, Ryan; Zemel, Rich; Salakhutdinov, Ruslan; Urtasun, Raquel; Torralba, Antonio; Fidler, Sanja (December 2015). [https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Zhu_Aligning_Books_and_ICCV_2015_paper.pdf "Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books"] <span class="cs1-format">(PDF)</span>. ''2015 IEEE International Conference on Computer Vision (ICCV)''. ''2015 IEEE International Conference on Computer Vision (ICCV)''. pp.&nbsp;19–27. [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:1506.06724|1506.06724]]</span>. [[डिजिटल वस्तु अभिज्ञापक|doi]]:[[doi:10.1109/ICCV.2015.11|10.1109/ICCV.2015.11]]. [[अंतर्राष्ट्रीय मानक पुस्तक संख्या|ISBN]]&nbsp;[[विशेष:पुस्तकस्रोत/978-1-4673-8391-2|<bdi>978-1-4673-8391-2</bdi>]]. [[S2CID (पहचानकर्ता)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:6866988 6866988]<span class="reference-accessdate">. Retrieved <span class="nowrap">11 April</span> 2023</span>.</cite></ref> उसी वर्ष, बुककॉर्पस और अंग्रेजी विकिपीडिया के संयोजन, कुल 3.3 बिलियन शब्दों का उपयोग BERT के लिए एक प्रशिक्षण डेटासेट के रूप में किया गया था। <ref name="jm"/> तब से, खरबों टोकन वाले कॉर्पोरा का उपयोग किया गया, जिससे पिछले डेटासेट में परिमाण के आधार पर वृद्धि हुई। <ref name="jm" />

आमतौर पर, एलएलएम को पूर्ण या अर्ध-सटीक फ्लोटिंग पॉइंट नंबरों (फ्लोट32 और फ्लोट16) के साथ प्रशिक्षित किया जाता है। एक फ्लोट16 में 16 बिट या 2 बाइट्स होते हैं, और इसलिए एक अरब पैरामीटर के लिए 2 गीगाबाइट की आवश्यकता होती है। सबसे बड़े मॉडल में आमतौर पर 100 बिलियन पैरामीटर होते हैं, जिन्हें लोड करने के लिए 200 गीगाबाइट की आवश्यकता होती है, जो उन्हें अधिकांश उपभोक्ता इलेक्ट्रॉनिक्स की सीमा से बाहर रखता है।

''प्रशिक्षण के बाद परिमाणीकरण'' <ref name="LS2Go">{{Cite journal|last=Nagel|first=Markus|last2=Amjad|first2=Rana Ali|last3=Baalen|first3=Mart Van|last4=Louizos|first4=Christos|last5=Blankevoort|first5=Tijmen|date=2020-11-21|title=Up or Down? Adaptive Rounding for Post-Training Quantization|url=https://proceedings.mlr.press/v119/nagel20a.html|journal=Proceedings of the 37th International Conference on Machine Learning|language=en|publisher=PMLR|pages=7197–7206}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFNagelAmjadBaalenLouizos2020">Nagel, Markus; Amjad, Rana Ali; Baalen, Mart Van; Louizos, Christos; Blankevoort, Tijmen (2020-11-21). [https://proceedings.mlr.press/v119/nagel20a.html "Up or Down? Adaptive Rounding for Post-Training Quantization"]. ''Proceedings of the 37th International Conference on Machine Learning''. PMLR: 7197–7206.</cite></ref> का उद्देश्य प्रशिक्षित मॉडल के अधिकांश प्रदर्शन को संरक्षित करते हुए उसके मापदंडों की सटीकता को कम करके स्थान की आवश्यकता को कम करना है। <ref name="cpzcK">{{Cite arXiv|arxiv=1802.05668|class=cs.NE|first=Antonio|last=Polino|first2=Razvan|last2=Pascanu|title=Model compression via distillation and quantization|date=2018-02-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFPolinoPascanuAlistarh2018">Polino, Antonio; Pascanu, Razvan; Alistarh, Dan (2018-02-01). "Model compression via distillation and quantization". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:1802.05668|1802.05668]]</span> [[//arxiv.org/archive/cs.NE cs.NE]].</cite></ref> <ref name="QVU95">{{Cite arXiv|arxiv=2210.17323|class=cs.LG|first=Elias|last=Frantar|first2=Saleh|last2=Ashkboos|title=GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers|date=2022-10-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFFrantarAshkboosHoeflerAlistarh2022">Frantar, Elias; Ashkboos, Saleh; Hoefler, Torsten; Alistarh, Dan (2022-10-01). "GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2210.17323|2210.17323]]</span> [[//arxiv.org/archive/cs.LG cs.LG]].</cite></ref> परिमाणीकरण का सबसे सरल रूप सभी संख्याओं को बिट्स की एक निश्चित संख्या में छोटा कर देता है। प्रति परत एक अलग परिमाणीकरण कोडबुक का उपयोग करके इसे बेहतर बनाया जा सकता है। विशेष रूप से महत्वपूर्ण मापदंडों ("बाहरी वजन") के लिए उच्च परिशुद्धता के साथ, विभिन्न मापदंडों पर अलग-अलग परिशुद्धता लागू करके और सुधार किया जा सकता है। <ref name="dU9Bu">{{Cite arXiv|arxiv=2306.03078|class=cs.CL|first=Tim|last=Dettmers|first2=Ruslan|last2=Svirschevski|title=SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression|date=2023-06-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFDettmersSvirschevskiEgiazarianKuznedelev2023">Dettmers, Tim; Svirschevski, Ruslan; Egiazarian, Vage; Kuznedelev, Denis; Frantar, Elias; Ashkboos, Saleh; Borzunov, Alexander; Hoefler, Torsten; Alistarh, Dan (2023-06-01). "SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2306.03078|2306.03078]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref>

जबकि क्वांटाइज़्ड मॉडल आम तौर पर जमे हुए होते हैं, और केवल पूर्व-क्वांटाइज़्ड मॉडल को ही फाइनट्यून किया जाता है, क्वांटाइज़्ड मॉडल को अभी भी फाइनट्यून किया जा सकता है। <ref name="D0nFA">{{Cite arXiv|arxiv=2305.14314|class=cs.LG|first=Tim|last=Dettmers|first2=Artidoro|last2=Pagnoni|title=QLoRA: Efficient Finetuning of Quantized LLMs|date=2023-05-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFDettmersPagnoniHoltzmanZettlemoyer2023">Dettmers, Tim; Pagnoni, Artidoro; Holtzman, Ari; Zettlemoyer, Luke (2023-05-01). "QLoRA: Efficient Finetuning of Quantized LLMs". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2305.14314|2305.14314]]</span> [[//arxiv.org/archive/cs.LG cs.LG]].</cite></ref>

=== प्रशिक्षण का मूल्य ===
सॉफ्टवेयर और हार्डवेयर में प्रगति ने 2020 के बाद से लागत को काफी हद तक कम कर दिया है, जैसे कि 2023 में 12-बिलियन-पैरामीटर एलएलएम कम्प्यूटेशनल लागत 72,300 ए100-जीपीयू -घंटे है, जबकि 2020 में 1.5-बिलियन-पैरामीटर एलएलएम के प्रशिक्षण की लागत (जो कि 2020 में अत्याधुनिक से दो परिमाण कम था) $80 हजार और $1.6 मिलियन के बीच था। <ref name="Wiggers">{{Cite web|url=https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/|title=The emerging types of language models and why they matter|last=Wiggers|first=Kyle|date=28 April 2022|website=TechCrunch}}<cite class="citation web cs1" data-ve-ignore="true" id="CITEREFWiggers2022">Wiggers, Kyle (28 April 2022). [https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/ "The emerging types of language models and why they matter"]. ''TechCrunch''.</cite></ref> <ref name="xaytj">{{Cite arXiv|arxiv=2004.08900|class=cs.CL|first=Or|last=Sharir|first2=Barak|last2=Peleg|title=The Cost of Training NLP Models: A Concise Overview}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFSharirPelegShoham2020">Sharir, Or; Peleg, Barak; Shoham, Yoav (2020). "The Cost of Training NLP Models: A Concise Overview". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2004.08900|2004.08900]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> <ref name="Pythia">{{Cite arXiv|arxiv=2304.01373|class=cs.CL|first=Stella|last=Biderman|first2=Hailey|last2=Schoelkopf|title=Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling|date=April 2023}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFBidermanSchoelkopfAnthonyBradley2023">Biderman, Stella; Schoelkopf, Hailey; Anthony, Quentin; Bradley, Herbie; Khan, Mohammad Aflah; Purohit, Shivanshu; Prashanth, USVSN Sai (April 2023). "Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2304.01373|2304.01373]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> 2020 के बाद से, तेजी से बड़े मॉडलों में बड़ी रकम का निवेश किया गया। उदाहरण के लिए, 2019 में GPT-2 (यानी 1.5-बिलियन-पैरामीटर मॉडल) के प्रशिक्षण की लागत $50,000 थी, जबकि 2022 में PaLM (यानी 540-बिलियन-पैरामीटर मॉडल) के प्रशिक्षण की लागत $8 मिलियन थी। <ref name="0BrVG">{{Cite news|url=https://www.theverge.com/23667752/ai-progress-2023-report-stanford-corporate-control|title=AI is entering an era of corporate control|last=Vincent|first=James|date=3 April 2023|work=The Verge|access-date=19 June 2023}}<cite class="citation news cs1" data-ve-ignore="true" id="CITEREFVincent2023">Vincent, James (3 April 2023). [https://www.theverge.com/23667752/ai-progress-2023-report-stanford-corporate-control "AI is entering an era of corporate control"]. ''The Verge''<span class="reference-accessdate">. Retrieved <span class="nowrap">19 June</span> 2023</span>.</cite></ref>

ट्रांसफार्मर-आधारित एलएलएम के लिए, प्रशिक्षण लागत अनुमान लागत से बहुत अधिक है। एक टोकन पर प्रशिक्षण के लिए प्रति पैरामीटर 6 एफएलओपी की लागत आती है, जबकि एक टोकन पर अनुमान लगाने के लिए प्रति पैरामीटर 1 से 2 एफएलओपी की लागत आती है। <ref name="kaplan-scaling">{{Cite arXiv|arxiv=2001.08361|class=cs.LG|first=Jared|last=Kaplan|first2=Sam|last2=McCandlish|title=Scaling Laws for Neural Language Models}}<cite class="citation arxiv cs1" data-ve-ignore="true">Kaplan, Jared; McCandlish, Sam; Henighan, Tom; Brown, Tom B.; Chess, Benjamin; Child, Rewon; Gray, Scott; Radford, Alec; Wu, Jeffrey; Amodei, Dario (2020). "Scaling Laws for Neural Language Models". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2001.08361|2001.08361]]</span> [[//arxiv.org/archive/cs.LG cs.LG]].</cite></ref>

== डाउनस्ट्रीम कार्यों के लिए आवेदन ==
2018 और 2020 के बीच, किसी विशिष्ट कार्य के लिए एलएलएम का उपयोग करने की मानक विधि अतिरिक्त कार्य-विशिष्ट प्रशिक्षण के साथ मॉडल को बेहतर बनाना था। इसके बाद ही यह पता चला कि एलएलएम, जैसे [[जीपीटी3|जीपीटी-3]], विशेष रूप से प्रशिक्षित किए बिना विभिन्न कार्यों को हल कर सकते हैं। इसके बजाय, समान समस्याओं और उनके संबंधित समाधानों के कुछ उदाहरणों का उपयोग करके उन्हें "संकेत" दिया जाना पर्याप्त है। <ref name="Manning-2022"/> कुछ-शॉट प्रॉम्प्टिंग ने कभी-कभी [[यान्त्रिक अनुवाद|अनुवाद]], प्रश्न उत्तर, करीबी कार्य, स्पष्ट शब्दों और एक वाक्य में एक नए शब्द का उपयोग करने के क्षेत्रों में पुराने फाइन-ट्यूनिंग से भी बेहतर परिणाम दिए हैं। <ref name="few-shot-learners"/> ऐसे संकेतों के निर्माण और अनुकूलन को प्रॉम्प्ट इंजीनियरिंग कहा जाता है।

=== फाइन-ट्यूनिंग से लेकर संकेत(प्रोम्प्ट) देने तक ===

पुराना दृष्टिकोण किसी विशिष्ट समस्या (जैसे भावना विश्लेषण, नामित-इकाई पहचान, या भाषण के भाग की टैगिंग ) को हल करने के उद्देश्य से मौजूदा पूर्व-प्रशिक्षित भाषा मॉडल को फिर से प्रशिक्षित करके (पर्यवेक्षित तरीके से) ठीक करना था। ), जो भाषा मॉडल की अंतिम परत को डाउनस्ट्रीम कार्य के आउटपुट से जोड़ने वाले भार के एक नए सेट को पेश करके प्राप्त किया जाता है। भाषा मॉडल के मूल भार "जमे हुए" हो सकते हैं, जैसे कि उन्हें आउटपुट से जोड़ने वाले भार की केवल नई परत ही प्रशिक्षण के दौरान सीखी जाती है। वैकल्पिक रूप से, मूल वज़न को छोटे अपडेट प्राप्त हो सकते हैं (संभवतः पहले की परतें जमी हुई हों)। <ref name="jm"/>

नए दृष्टिकोण में जिसे प्रॉम्प्टिंग कहा जाता है और जीपीटी-3 द्वारा लोकप्रिय बनाया गया है, <ref name="emergentpaper">{{Cite journal|last=Wei|first=Jason|last2=Tay|first2=Yi|last3=Bommasani|first3=Rishi|last4=Raffel|first4=Colin|last5=Zoph|first5=Barret|last6=Borgeaud|first6=Sebastian|last7=Yogatama|first7=Dani|last8=Bosma|first8=Maarten|last9=Zhou|first9=Denny|date=31 August 2022|title=Emergent Abilities of Large Language Models|url=https://openreview.net/forum?id=yzkSU5zdwD|journal=Transactions on Machine Learning Research|language=en|issn=2835-8856}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFWeiTayBommasaniRaffel2022">Wei, Jason; Tay, Yi; Bommasani, Rishi; Raffel, Colin; Zoph, Barret; Borgeaud, Sebastian; Yogatama, Dani; Bosma, Maarten; Zhou, Denny; Metzler, Donald; Chi, Ed H.; Hashimoto, Tatsunori; Vinyals, Oriol; Liang, Percy; Dean, Jeff; Fedus, William (31 August 2022). [https://openreview.net/forum?id=yzkSU5zdwD "Emergent Abilities of Large Language Models"]. ''Transactions on Machine Learning Research''. [[अन्तर्राष्ट्रीय मानक क्रम संख्या|ISSN]]&nbsp;[[issn:2835-8856|2835-8856]].</cite></ref> एक एलएलएम को पूर्णता प्रदान की जाती है ( [[सांख्यिकीय अनुमिति|अनुमान]] के माध्यम से)। उदाहरण के लिए, कुछ-शॉट प्रॉम्प्टिंग में, प्रॉम्प्ट में समान समस्या-समाधान युग्मों के कुछ उदाहरण शामिल होते हैं। <ref name="Manning-2022"/>

नीचे एक भावना विश्लेषण का उदाहरण दिया गया है, जिसमें फिल्म समीक्षा की भावना को लेबल किया गया है: <ref name="emergentpaper"/>

 समीक्षा: यह फिल्म बेकार है।
 भावना: नकारात्मक

 समीक्षा: यह फिल्म शानदार है!
 भावना:

यदि मॉडल "सकारात्मक" आउटपुट देता है, तो उसने कार्य को सही ढंग से हल कर लिया है। शून्य-शॉट प्रॉम्प्टिंग में, कोई हल किए गए उदाहरण प्रदान नहीं किए जाते हैं। <ref name="Wiggers"/> <ref name="few-shot-learners"/>

=== अनुदेश ट्यूनिंग ===
अक्सर, निर्देश ट्यूनिंग आवश्यक है क्योंकि अन्यथा एक कृत्रिम तंत्रिका नेटवर्क, उपयोगकर्ता के निर्देश के जवाब में "हैमलेट में दर्शाए गए मुख्य विषयों के बारे में एक निबंध लिखें," एक प्रतिक्रिया उत्पन्न कर सकता है जैसे "यदि आप 17 मार्च के बाद निबंध जमा करते हैं, तो आपका कॉर्पस में इस पाठ्य क्रम की आवृत्ति के आधार पर देरी के प्रत्येक दिन के लिए ग्रेड में 10% की कमी की जाएगी। यह केवल निर्देश ट्यूनिंग के माध्यम से है कि मॉडल सीखता है कि विशिष्ट निर्देशों के लिए प्रतिक्रिया में वास्तव में क्या होना चाहिए।

अनुदेश ट्यूनिंग के लिए विभिन्न तकनीकों को व्यवहार में लागू किया गया है। एक उदाहरण, "स्व-निर्देश", उदाहरणों के एक प्रशिक्षण सेट पर भाषा मॉडल को ठीक करता है जो स्वयं एलएलएम द्वारा उत्पन्न होता है (मानव-निर्मित उदाहरणों के एक छोटे प्रारंभिक सेट से बूटस्ट्रैप किया गया )। <ref name="self-instruct-paper">{{Cite arXiv|arxiv=2212.10560|class=cs.CL|first=Yizhong|last=Wang|first2=Yeganeh|last2=Kordi|title=Self-Instruct: Aligning Language Model with Self Generated Instructions|date=2022}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFWangKordiMishraLiu2022">Wang, Yizhong; Kordi, Yeganeh; Mishra, Swaroop; Liu, Alisa; Smith, Noah A.; Khashabi, Daniel; Hajishirzi, Hannaneh (2022). "Self-Instruct: Aligning Language Model with Self Generated Instructions". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2212.10560|2212.10560]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref>

=== सुदृढीकरण सीखने द्वारा फ़ाइनट्यूनिंग ===
ओपनएआई के इंस्ट्रक्टजीपीटी प्रोटोकॉल में मानव-जनित (त्वरित, प्रतिक्रिया) जोड़े के डेटासेट पर पर्यवेक्षित फाइन-ट्यूनिंग शामिल है, इसके बाद मानव प्रतिक्रिया (आरएलएचएफ) से सुदृढीकरण सीखना, जिसमें एक इनाम मॉडल को मानव प्राथमिकताओं के डेटासेट पर पर्यवेक्षित-सीखा गया था। इस इनाम मॉडल का उपयोग समीपस्थ नीति अनुकूलन द्वारा एलएलएम को प्रशिक्षित करने के लिए किया गया था। <ref name="instructGPT-paper">{{Cite arXiv|arxiv=2203.02155|class=cs.CL|first=Long|last=Ouyang|first2=Jeff|last2=Wu|title=Training language models to follow instructions with human feedback|date=2022}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFOuyangWuJiangAlmeida2022">Ouyang, Long; Wu, Jeff; Jiang, Xu; Almeida, Diogo; Wainwright, Carroll L.; Mishkin, Pamela; Zhang, Chong; Agarwal, Sandhini; Slama, Katarina; Ray, Alex; Schulman, John; Hilton, Jacob; Kelton, Fraser; Miller, Luke; Simens, Maddie; Askell, Amanda; Welinder, Peter; Christiano, Paul; Leike, Jan; Lowe, Ryan (2022). "Training language models to follow instructions with human feedback". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2203.02155|2203.02155]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref>

=== उपकरण का उपयोग ===
कुछ ऐसे कार्य हैं, जिन्हें सिद्धांत रूप में, किसी भी एलएलएम द्वारा हल नहीं किया जा सकता है, कम से कम बाहरी टूल या अतिरिक्त सॉफ़्टवेयर के उपयोग के बिना नहीं। ऐसे कार्य का एक उदाहरण उपयोगकर्ता के इनपुट '354 * 139 =' का जवाब देना है, बशर्ते कि एलएलएम को पहले से ही अपने प्रशिक्षण कोष में इस गणना की निरंतरता का सामना नहीं करना पड़ा हो। ऐसे मामलों में, एलएलएम को रनिंग प्रोग्राम कोड का सहारा लेना पड़ता है जो परिणाम की गणना करता है, जिसे बाद में उसकी प्रतिक्रिया में शामिल किया जा सकता है। दूसरा उदाहरण है 'अभी क्या समय हुआ है? यह 'है, जहां एक अलग प्रोग्राम दुभाषिया को कंप्यूटर पर सिस्टम समय प्राप्त करने के लिए एक कोड निष्पादित करने की आवश्यकता होगी, ताकि एलएलएम इसे अपने उत्तर में शामिल कर सके। <ref name="PI1fW">{{Cite arXiv|arxiv=2211.10435|class=cs.CL|first=Luyu|last=Gao|first2=Aman|last2=Madaan|title=PAL: Program-aided Language Models|date=2022-11-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFGaoMadaanZhouAlon2022">Gao, Luyu; Madaan, Aman; Zhou, Shuyan; Alon, Uri; Liu, Pengfei; Yang, Yiming; Callan, Jamie; Neubig, Graham (2022-11-01). "PAL: Program-aided Language Models". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2211.10435|2211.10435]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> <ref name="J5OW5">{{Cite web|url=https://reasonwithpal.com/|title=PAL: Program-aided Language Models|website=reasonwithpal.com|access-date=2023-06-12}}<cite class="citation web cs1" data-ve-ignore="true">[https://reasonwithpal.com/ "PAL: Program-aided Language Models"]. ''reasonwithpal.com''<span class="reference-accessdate">. Retrieved <span class="nowrap">2023-06-12</span></span>.</cite></ref> इस बुनियादी रणनीति को जनरेट किए गए कार्यक्रमों और अन्य नमूनाकरण रणनीतियों के कई प्रयासों से परिष्कृत किया जा सकता है। <ref name="gQxzq">{{Cite arXiv|arxiv=2303.09014|class=cs.CL|first=Bhargavi|last=Paranjape|first2=Scott|last2=Lundberg|title=ART: Automatic multi-step reasoning and tool-use for large language models|date=2023-03-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFParanjapeLundbergSinghHajishirzi2023">Paranjape, Bhargavi; Lundberg, Scott; Singh, Sameer; Hajishirzi, Hannaneh; Zettlemoyer, Luke; Tulio Ribeiro, Marco (2023-03-01). "ART: Automatic multi-step reasoning and tool-use for large language models". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2303.09014|2303.09014]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref>

आम तौर पर, टूल का उपयोग करने के लिए एलएलएम प्राप्त करने के लिए, किसी को टूल-उपयोग के लिए इसे परिष्कृत करना होगा। यदि उपकरणों की संख्या सीमित है, तो फ़ाइनट्यूनिंग केवल एक बार की जा सकती है। यदि टूल की संख्या मनमाने ढंग से बढ़ सकती है, जैसा कि ऑनलाइन [[एपीआई]] सेवाओं के साथ होता है, तो एलएलएम को एपीआई दस्तावेज़ पढ़ने और एपीआई को सही ढंग से कॉल करने में सक्षम होने के लिए ठीक किया जा सकता है। <ref name="lLrda">{{Cite arXiv|arxiv=2303.16434|class=cs.AI|first=Yaobo|last=Liang|first2=Chenfei|last2=Wu|title=TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs|date=2023-03-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFLiangWuSongWu2023">Liang, Yaobo; Wu, Chenfei; Song, Ting; Wu, Wenshan; Xia, Yan; Liu, Yu; Ou, Yang; Lu, Shuai; Ji, Lei; Mao, Shaoguang; Wang, Yun; Shou, Linjun; Gong, Ming; Duan, Nan (2023-03-01). "TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2303.16434|2303.16434]]</span> [[//arxiv.org/archive/cs.AI cs.AI]].</cite></ref> <ref name="4Xzrs">{{Cite arXiv|arxiv=2305.15334|class=cs.CL|first=Shishir G.|last=Patil|first2=Tianjun|last2=Zhang|title=Gorilla: Large Language Model Connected with Massive APIs|date=2023-05-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFPatilZhangWangGonzalez2023">Patil, Shishir G.; Zhang, Tianjun; Wang, Xin; Gonzalez, Joseph E. (2023-05-01). "Gorilla: Large Language Model Connected with Massive APIs". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2305.15334|2305.15334]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref>

उपकरण के उपयोग का एक सरल रूप ''पुनर्प्राप्ति संवर्धित पीढ़ी'' है: दस्तावेज़ पुनर्प्राप्ति के साथ एक एलएलएम को बढ़ाना, कभी-कभी वेक्टर डेटाबेस का उपयोग करना। किसी क्वेरी को देखते हुए, सबसे प्रासंगिक दस्तावेज़ पुनर्प्राप्त करने के लिए एक दस्तावेज़ रिट्रीवर को बुलाया जाता है (आमतौर पर पहले क्वेरी और दस्तावेज़ों को वेक्टर में एन्कोड करके मापा जाता है, फिर क्वेरी वेक्टर के यूक्लिडियन मानदंड में निकटतम वेक्टर वाले दस्तावेज़ ढूंढते हैं)। एलएलएम तब क्वेरी और पुनर्प्राप्त दस्तावेज़ दोनों के आधार पर एक आउटपुट उत्पन्न करता है। <ref name="BUZBP">{{Cite journal|last=Lewis|first=Patrick|last2=Perez|first2=Ethan|last3=Piktus|first3=Aleksandra|last4=Petroni|first4=Fabio|last5=Karpukhin|first5=Vladimir|last6=Goyal|first6=Naman|last7=Küttler|first7=Heinrich|last8=Lewis|first8=Mike|last9=Yih|first9=Wen-tau|date=2020|title=Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks|url=https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html|journal=Advances in Neural Information Processing Systems|publisher=Curran Associates, Inc.|volume=33|pages=9459–9474|arxiv=2005.11401}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFLewisPerezPiktusPetroni2020">Lewis, Patrick; Perez, Ethan; Piktus, Aleksandra; Petroni, Fabio; Karpukhin, Vladimir; Goyal, Naman; Küttler, Heinrich; Lewis, Mike; Yih, Wen-tau; Rocktäschel, Tim; Riedel, Sebastian; Kiela, Douwe (2020). [https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks"]. ''Advances in Neural Information Processing Systems''. Curran Associates, Inc. '''33''': 9459–9474. [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2005.11401|2005.11401]]</span>.</cite></ref>

=== एजेंसी ===
एलएलएम एक भाषा मॉडल है, जो एक एजेंट नहीं है क्योंकि इसका कोई लक्ष्य नहीं है, लेकिन इसका उपयोग एक बुद्धिमान एजेंट के एक घटक के रूप में किया जा सकता है। <ref name="CFuti">{{Cite journal|last=Huang|first=Wenlong|last2=Abbeel|first2=Pieter|last3=Pathak|first3=Deepak|last4=Mordatch|first4=Igor|date=2022-06-28|title=Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents|url=https://proceedings.mlr.press/v162/huang22a.html|journal=Proceedings of the 39th International Conference on Machine Learning|language=en|publisher=PMLR|pages=9118–9147|arxiv=2201.07207}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFHuangAbbeelPathakMordatch2022">Huang, Wenlong; Abbeel, Pieter; Pathak, Deepak; Mordatch, Igor (2022-06-28). [https://proceedings.mlr.press/v162/huang22a.html "Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents"]. ''Proceedings of the 39th International Conference on Machine Learning''. PMLR: 9118–9147. [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2201.07207|2201.07207]]</span>.</cite></ref>

ReAct (Reason+Act; "कारण + अधिनियम") विधि एलएलएम को एक योजनाकार के रूप में उपयोग करते हुए, एलएलएम से एक एजेंट का निर्माण करती है। एलएलएम को "ज़ोर से सोचने" के लिए प्रेरित किया जाता है। विशेष रूप से, भाषा मॉडल को पर्यावरण के पाठ्य विवरण, एक लक्ष्य, संभावित कार्यों की एक सूची और अब तक के कार्यों और टिप्पणियों के रिकॉर्ड के साथ प्रेरित किया जाता है। यह किसी कार्य को उत्पन्न करने से पहले एक या अधिक विचार उत्पन्न करता है, जिसे बाद में वातावरण में क्रियान्वित किया जाता है। <ref name="DmvNE">{{Cite arXiv|arxiv=2210.03629|class=cs.CL|first=Shunyu|last=Yao|first2=Jeffrey|last2=Zhao|title=ReAct: Synergizing Reasoning and Acting in Language Models|date=2022-10-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFYaoZhaoYuDu2022">Yao, Shunyu; Zhao, Jeffrey; Yu, Dian; Du, Nan; Shafran, Izhak; Narasimhan, Karthik; Cao, Yuan (2022-10-01). "ReAct: Synergizing Reasoning and Acting in Language Models". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2210.03629|2210.03629]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> एलएलएम योजनाकार को दिया गया पर्यावरण का भाषाई विवरण पर्यावरण का वर्णन करने वाले पेपर का LaTeX कोड भी हो सकता है। <ref name="JS8Vd">{{Cite arXiv|arxiv=2305.15486|class=cs.AI|first=Yue|last=Wu|first2=Shrimai|last2=Prabhumoye|title=SPRING: GPT-4 Out-performs RL Algorithms by Studying Papers and Reasoning|date=24 May 2023}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFWuPrabhumoyeMin2023">Wu, Yue; Prabhumoye, Shrimai; Min, So Yeon (24 May 2023). "SPRING: GPT-4 Out-performs RL Algorithms by Studying Papers and Reasoning". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2305.15486|2305.15486]]</span> [[//arxiv.org/archive/cs.AI cs.AI]].</cite></ref>

रिफ्लेक्सियन विधि <ref name="sbB2T">{{Cite arXiv|arxiv=2303.11366|class=cs.AI|first=Noah|last=Shinn|first2=Federico|last2=Cassano|title=Reflexion: Language Agents with Verbal Reinforcement Learning|date=2023-03-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFShinnCassanoLabashGopinath2023">Shinn, Noah; Cassano, Federico; Labash, Beck; Gopinath, Ashwin; Narasimhan, Karthik; Yao, Shunyu (2023-03-01). "Reflexion: Language Agents with Verbal Reinforcement Learning". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2303.11366|2303.11366]]</span> [[//arxiv.org/archive/cs.AI cs.AI]].</cite></ref> एक ऐसे एजेंट का निर्माण करती है जो कई प्रकरणों में सीखता है। प्रत्येक एपिसोड के अंत में, एलएलएम को एपिसोड का रिकॉर्ड दिया जाता है, और "सीखे गए सबक" के बारे में सोचने के लिए प्रेरित किया जाता है, जिससे उसे अगले एपिसोड में बेहतर प्रदर्शन करने में मदद मिलेगी। ये "सीखे गए सबक" अगले एपिसोड में एजेंट को दिए जाते हैं।

मोंटे कार्लो ट्री सर्च एलएलएम को रोलआउट अनुमान के रूप में उपयोग कर सकता है। जब एक प्रोग्रामेटिक विश्व मॉडल उपलब्ध नहीं होता है, तो एलएलएम को विश्व मॉडल के रूप में कार्य करने के लिए पर्यावरण के विवरण के साथ भी प्रेरित किया जा सकता है। <ref name="ltTer">{{Cite arXiv|arxiv=2305.14992|class=cs.CL|first=Shibo|last=Hao|first2=Yi|last2=Gu|title=Reasoning with Language Model is Planning with World Model|date=2023-05-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFHaoGuMaJiahua_Hong2023">Hao, Shibo; Gu, Yi; Ma, Haodi; Jiahua Hong, Joshua; Wang, Zhen; Zhe Wang, Daisy; Hu, Zhiting (2023-05-01). "Reasoning with Language Model is Planning with World Model". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2305.14992|2305.14992]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref>

ओपन-एंडेड अन्वेषण के लिए, एक एलएलएम का उपयोग उनकी "रोचकता" के लिए टिप्पणियों को स्कोर करने के लिए किया जा सकता है, जिसका उपयोग सामान्य (गैर-एलएलएम) सुदृढीकरण सीखने वाले एजेंट को मार्गदर्शन करने के लिए इनाम संकेत के रूप में किया जा सकता है। <ref name="mBvD9">{{Cite arXiv|arxiv=2306.01711|class=cs.AI|first=Jenny|last=Zhang|first2=Joel|last2=Lehman|title=OMNI: Open-endedness via Models of human Notions of Interestingness|date=2 June 2023}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFZhangLehmanStanleyClune2023">Zhang, Jenny; Lehman, Joel; Stanley, Kenneth; Clune, Jeff (2 June 2023). "OMNI: Open-endedness via Models of human Notions of Interestingness". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2306.01711|2306.01711]]</span> [[//arxiv.org/archive/cs.AI cs.AI]].</cite></ref> वैकल्पिक रूप से, यह [[Curriculum learning|पाठ्यक्रम सीखने]] के लिए तेजी से कठिन कार्यों का प्रस्ताव कर सकता है। <ref name=":0">{{Cite web|url=https://voyager.minedojo.org/|title=Voyager {{!}} An Open-Ended Embodied Agent with Large Language Models|website=voyager.minedojo.org|access-date=2023-06-09}}<cite class="citation web cs1" data-ve-ignore="true">[https://voyager.minedojo.org/ "Voyager | An Open-Ended Embodied Agent with Large Language Models"]. ''voyager.minedojo.org''<span class="reference-accessdate">. Retrieved <span class="nowrap">2023-06-09</span></span>.</cite></ref> व्यक्तिगत क्रियाओं को आउटपुट करने के बजाय, एक एलएलएम योजनाकार जटिल क्रिया अनुक्रमों के लिए "कौशल" या फ़ंक्शन का निर्माण भी कर सकता है। कौशल को संग्रहीत किया जा सकता है और बाद में लागू किया जा सकता है, जिससे योजना में अमूर्तता के स्तर को बढ़ाया जा सकता है। <ref name=":0" />

एलएलएम-संचालित एजेंट अपने पिछले संदर्भों की दीर्घकालिक स्मृति रख सकते हैं, और स्मृति को रिट्रीवल ऑगमेंटेड जेनरेशन की तरह ही पुनर्प्राप्त किया जा सकता है। ऐसे कई एजेंट सामाजिक रूप से बातचीत कर सकते हैं। <ref name="XuvjF">{{Cite arXiv|arxiv=2304.03442|class=cs.HC|first=Joon Sung|last=Park|first2=Joseph C.|last2=O'Brien|title=Generative Agents: Interactive Simulacra of Human Behavior|date=2023-04-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFParkO'BrienCaiRingel_Morris2023">Park, Joon Sung; O'Brien, Joseph C.; Cai, Carrie J.; Ringel Morris, Meredith; Liang, Percy; Bernstein, Michael S. (2023-04-01). "Generative Agents: Interactive Simulacra of Human Behavior". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2304.03442|2304.03442]]</span> [[//arxiv.org/archive/cs.HC cs.HC]].</cite></ref>

=== बहुपद्धतिपरक ===
मल्टीमॉडैलिटी का अर्थ है "कई तौर-तरीके होना", और "मोडैलिटी" का अर्थ है एक प्रकार का इनपुट, जैसे वीडियो, छवि, ऑडियो, टेक्स्ट, प्रोप्रियोसेप्शन, आदि। <ref>{{Cite journal|last=Kiros|first=Ryan|last2=Salakhutdinov|first2=Ruslan|last3=Zemel|first3=Rich|date=2014-06-18|title=Multimodal Neural Language Models|url=https://proceedings.mlr.press/v32/kiros14.html|journal=Proceedings of the 31st International Conference on Machine Learning|language=en|publisher=PMLR|pages=595–603}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFKirosSalakhutdinovZemel2014">Kiros, Ryan; Salakhutdinov, Ruslan; Zemel, Rich (2014-06-18). [https://proceedings.mlr.press/v32/kiros14.html "Multimodal Neural Language Models"]. ''Proceedings of the 31st International Conference on Machine Learning''. PMLR: 595–603.</cite></ref> ऐसे कई एआई मॉडल हैं जिन्हें विशेष रूप से एक मोडेलिटी को ग्रहण करने और दूसरे मोडेलिटी को आउटपुट करने के लिए प्रशिक्षित किया गया है, जैसे छवि को लेबल करने के लिए एलेक्सनेट,<ref>{{Cite journal|last1=Krizhevsky|first1=Alex|last2=Sutskever|first2=Ilya|last3=Hinton|first3=Geoffrey E|date=2012|title=ImageNet Classification with Deep Convolutional Neural Networks|url=https://proceedings.neurips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html|journal=Advances in Neural Information Processing Systems|publisher=Curran Associates, Inc.|volume=25}}</ref> छवि-पाठ से पाठ के लिए दृश्य प्रश्न उत्तर, <ref>{{Cite journal|last1=Antol|first1=Stanislaw|last2=Agrawal|first2=Aishwarya|last3=Lu|first3=Jiasen|last4=Mitchell|first4=Margaret|last5=Batra|first5=Dhruv|last6=Zitnick|first6=C. Lawrence|last7=Parikh|first7=Devi|date=2015|title=VQA: Visual Question Answering|url=https://openaccess.thecvf.com/content_iccv_2015/html/Antol_VQA_Visual_Question_ICCV_2015_paper.html|pages=2425–2433}}</ref> और पाठ से पाठ के लिए वाक् पहचान। मल्टीमॉडल एलएलएम का एक समीक्षा लेख है। <ref>{{Cite arXiv|arxiv=2306.13549|class=cs.CV|first=Shukang|last=Yin|first2=Chaoyou|last2=Fu|title=A Survey on Multimodal Large Language Models|date=2023-06-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFYinFuZhaoLi2023">Yin, Shukang; Fu, Chaoyou; Zhao, Sirui; Li, Ke; Sun, Xing; Xu, Tong; Chen, Enhong (2023-06-01). "A Survey on Multimodal Large Language Models". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2306.13549|2306.13549]]</span> [[//arxiv.org/archive/cs.CV cs.CV]].</cite></ref>

एलएलएम से मल्टीमॉडल मॉडल बनाने की एक सामान्य विधि एक प्रशिक्षित एनकोडर के आउटपुट को "टोकनाइज़" करना है। सीधे तौर पर, कोई एक एलएलएम का निर्माण कर सकता है जो छवियों को इस प्रकार समझ सकता है: एक प्रशिक्षित एलएलएम लें, और एक प्रशिक्षित छवि एनकोडर लें <math>E</math> . एक छोटा बहुस्तरीय परसेप्ट्रॉन बनाएं <math>f</math>, ताकि किसी भी छवि के लिए <math>y</math>, पोस्ट-प्रोसेस्ड वेक्टर <math>f(E(y))</math> एन्कोडेड टोकन के समान आयाम हैं। वह एक "छवि टोकन" है। फिर, कोई टेक्स्ट टोकन और इमेज टोकन को इंटरलीव कर सकता है। फिर कंपाउंड मॉडल को एक छवि-पाठ डेटासेट पर परिष्कृत किया जाता है। मॉडल को बेहतर बनाने के लिए इस बुनियादी निर्माण को अधिक परिष्कार के साथ लागू किया जा सकता है। स्थिरता में सुधार के लिए छवि एन्कोडर को फ़्रीज़ किया जा सकता है। <ref>{{Cite arXiv|arxiv=2301.12597|class=cs.CV|first=Junnan|last=Li|first2=Dongxu|last2=Li|title=BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models|date=2023-01-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFLiLiSavareseHoi2023">Li, Junnan; Li, Dongxu; Savarese, Silvio; Hoi, Steven (2023-01-01). "BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2301.12597|2301.12597]]</span> [[//arxiv.org/archive/cs.CV cs.CV]].</cite></ref>

फ्लेमिंगो ने टोकनाइजेशन विधि की प्रभावशीलता का प्रदर्शन किया, स्क्रैच से प्रशिक्षित मॉडल की तुलना में दृश्य प्रश्न उत्तर पर बेहतर प्रदर्शन करने के लिए पूर्व-प्रशिक्षित भाषा मॉडल और छवि एनकोडर की एक जोड़ी को ठीक किया। <ref>{{Cite journal|last=Alayrac|first=Jean-Baptiste|last2=Donahue|first2=Jeff|last3=Luc|first3=Pauline|last4=Miech|first4=Antoine|last5=Barr|first5=Iain|last6=Hasson|first6=Yana|last7=Lenc|first7=Karel|last8=Mensch|first8=Arthur|last9=Millican|first9=Katherine|date=2022-12-06|title=Flamingo: a Visual Language Model for Few-Shot Learning|url=https://proceedings.neurips.cc/paper_files/paper/2022/hash/960a172bc7fbf0177ccccbb411a7d800-Abstract-Conference.html|journal=Advances in Neural Information Processing Systems|language=en|volume=35|pages=23716–23736|arxiv=2204.14198}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFAlayracDonahueLucMiech2022">Alayrac, Jean-Baptiste; Donahue, Jeff; Luc, Pauline; Miech, Antoine; Barr, Iain; Hasson, Yana; Lenc, Karel; Mensch, Arthur; Millican, Katherine; Reynolds, Malcolm; Ring, Roman; Rutherford, Eliza; Cabi, Serkan; Han, Tengda; Gong, Zhitao (2022-12-06). [https://proceedings.neurips.cc/paper_files/paper/2022/hash/960a172bc7fbf0177ccccbb411a7d800-Abstract-Conference.html "Flamingo: a Visual Language Model for Few-Shot Learning"]. ''Advances in Neural Information Processing Systems''. '''35''': 23716–23736. [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2204.14198|2204.14198]]</span>.</cite></ref> Google PaLM मॉडल को टोकननाइजेशन विधि का उपयोग करके मल्टीमॉडल मॉडल PaLM-E में परिष्कृत किया गया और रोबोटिक नियंत्रण पर लागू किया गया। <ref>{{Cite arXiv|arxiv=2303.03378|class=cs.LG|first=Danny|last=Driess|first2=Fei|last2=Xia|title=PaLM-E: An Embodied Multimodal Language Model|date=2023-03-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFDriessXiaSajjadiLynch2023">Driess, Danny; Xia, Fei; Sajjadi, Mehdi S. M.; Lynch, Corey; Chowdhery, Aakanksha; Ichter, Brian; Wahid, Ayzaan; Tompson, Jonathan; Vuong, Quan; Yu, Tianhe; Huang, Wenlong; Chebotar, Yevgen; Sermanet, Pierre; Duckworth, Daniel; Levine, Sergey (2023-03-01). "PaLM-E: An Embodied Multimodal Language Model". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2303.03378|2303.03378]]</span> [[//arxiv.org/archive/cs.LG cs.LG]].</cite></ref> छवि इनपुट, <ref>{{Cite arXiv|arxiv=2304.08485|class=cs.CV|first=Haotian|last=Liu|first2=Chunyuan|last2=Li|title=Visual Instruction Tuning|date=2023-04-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFLiuLiWuLee2023">Liu, Haotian; Li, Chunyuan; Wu, Qingyang; Lee, Yong Jae (2023-04-01). "Visual Instruction Tuning". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2304.08485|2304.08485]]</span> [[//arxiv.org/archive/cs.CV cs.CV]].</cite></ref> और वीडियो इनपुट की अनुमति देने के लिए टोकननाइजेशन विधि का उपयोग करके LLaMA मॉडल को मल्टीमॉडल भी बना दिया गया है। <ref>{{Cite arXiv|arxiv=2306.02858|class=cs.CL|first=Hang|last=Zhang|first2=Xin|last2=Li|title=Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding|date=2023-06-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFZhangLiBing2023">Zhang, Hang; Li, Xin; Bing, Lidong (2023-06-01). "Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2306.02858|2306.02858]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref>

GPT-4 इनपुट के रूप में टेक्स्ट और छवि दोनों का उपयोग कर सकता है, <ref>{{Cite arXiv|arxiv=2303.08774|class=cs.CL|last=OpenAI|title=GPT-4 Technical Report|date=2023-03-27}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFOpenAI2023">OpenAI (2023-03-27). "GPT-4 Technical Report". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2303.08774|2303.08774]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> जबकि [[Google Gemini|Google जेमिनी के]] मल्टीमॉडल होने की उम्मीद है। <ref>{{Citation|last=Pichai|first=Sundar|title=Google Keynote (Google I/O '23)|url=https://www.youtube.com/watch?v=cNfINi5CNbY&t=931s|at=timestamp 15:31|language=en|access-date=2023-07-02}}<cite class="citation cs2" data-ve-ignore="true" id="CITEREFPichai">Pichai, Sundar, [https://www.youtube.com/watch?v=cNfINi5CNbY&t=931s ''Google Keynote (Google I/O '23)''], timestamp 15:31<span class="reference-accessdate">, retrieved <span class="nowrap">2023-07-02</span></span></cite></ref>

== गुण ==
 
=== पूर्वप्रशिक्षण डेटासेट(तथ्यसमूह) ===
 
बड़े भाषा मॉडल (एलएलएम) आम तौर पर बड़ी मात्रा में पाठ्य डेटा पर पूर्व-प्रशिक्षित होते हैं जो विभिन्न प्रकार के डोमेन और भाषाओं में फैले होते हैं। <ref name="lhUaC">{{Cite arXiv|arxiv=2305.10403|class=cs.CL|first=Rohan|last=Anil|first2=Andrew M.|last2=Dai|title=PaLM 2 Technical Report}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFAnilDaiFiratJohnson2023">Anil, Rohan; et&nbsp;al. (2023). "PaLM 2 Technical Report". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2305.10403|2305.10403]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> प्री-ट्रेनिंग डेटा के कुछ प्रसिद्ध स्रोतों में कॉमन क्रॉल, द पाइल, मैसिवटेक्स्ट, <ref name="azhOi">{{Cite web|url=https://paperswithcode.com/dataset/massivetext|title=Papers with Code - MassiveText Dataset|website=paperswithcode.com|language=en|access-date=2023-04-26}}<cite class="citation web cs1" data-ve-ignore="true">[https://paperswithcode.com/dataset/massivetext "Papers with Code - MassiveText Dataset"]. ''paperswithcode.com''<span class="reference-accessdate">. Retrieved <span class="nowrap">2023-04-26</span></span>.</cite></ref> [[विकिपीडिया]] और [[गिटहब]] शामिल हैं। जबकि अधिकांश ओपन-सोर्स एलएलएम सार्वजनिक रूप से उपलब्ध डेटा का उपयोग करते हैं, निजी डेटा का उपयोग पूर्व-प्रशिक्षण के लिए भी किया जा सकता है। <ref name="ysMpp">{{Cite arXiv|arxiv=2303.17564|class=cs.LG|first=Shijie|last=Wu|first2=Ozan|last2=Irsoy|title=BloombergGPT: A Large Language Model for Finance}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFWuIrsoyLuDabravolski2023">Wu, Shijie; Irsoy, Ozan; Lu, Steven; Dabravolski, Vadim; Dredze, Mark; Gehrmann, Sebastian; Kambadur, Prabhanjan; Rosenberg, David; Mann, Gideon (2023). "BloombergGPT: A Large Language Model for Finance". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2303.17564|2303.17564]]</span> [[//arxiv.org/archive/cs.LG cs.LG]].</cite></ref> प्री-ट्रेनिंग डेटा विभिन्न चरणों के माध्यम से कच्चे पाठ को प्रीप्रोसेस करके प्राप्त किया जाता है, जैसे डी-डुप्लीकेशन, उच्च-विषाक्तता अनुक्रमों को फ़िल्टर करना, निम्न-गुणवत्ता वाले डेटा को त्यागना, और बहुत कुछ। <ref name="aYNg4">{{Cite arXiv|arxiv=2104.08758|class=cs.CL|first=Jesse|last=Dodge|first2=Maarten|last2=Sap|title=Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFDodgeSapMarasovićAgnew2021">Dodge, Jesse; Sap, Maarten; Marasović, Ana; Agnew, William; Ilharco, Gabriel; Groeneveld, Dirk; Mitchell, Margaret; Gardner, Matt (2021). "Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2104.08758|2104.08758]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> यह अनुमान लगाया गया है कि भाषा डेटा का स्टॉक सालाना 7% बढ़ता है, और उच्च गुणवत्ता वाला भाषा डेटा 2022 अक्टूबर तक 4.6-17 ट्रिलियन शब्दों के भीतर है। <ref name="Uq5gm">{{Cite arXiv|arxiv=2211.04325|class=cs.LG|first=Pablo|last=Villalobos|first2=Jaime|last2=Sevilla|title=Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning|date=2022-10-25}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFVillalobosSevillaHeimBesiroglu2022">Villalobos, Pablo; Sevilla, Jaime; Heim, Lennart; Besiroglu, Tamay; Hobbhahn, Marius; Ho, Anson (2022-10-25). "Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2211.04325|2211.04325]]</span> [[//arxiv.org/archive/cs.LG cs.LG]].</cite></ref> एलएलएम में पूर्व-प्रशिक्षण डेटा के व्यापक उपयोग से डेटा संदूषण होता है, <ref name="qbFw1">{{Cite arXiv|arxiv=2005.14165|class=cs.CL|first=Tom B.|last=Brown|first2=Benjamin|last2=Mann|title=Language Models are Few-Shot Learners}}<cite class="citation arxiv cs1" data-ve-ignore="true">Brown, Tom B.; et&nbsp;al. (2020). "Language Models are Few-Shot Learners". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2005.14165|2005.14165]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> जो तब होता है जब मूल्यांकन डेटा को पूर्व-प्रशिक्षण डेटा में शामिल किया जाता है, जिससे बेंचमार्क मूल्यांकन के दौरान मॉडल प्रदर्शन प्रभावित होता है।
 
=== स्केलिंग कानून और आकस्मिक क्षमताएं ===
{{मुख्य|तंत्रिका स्केलिंग कानून}}निम्नलिखित चार हाइपर-पैरामीटर एलएलएम की विशेषता बताते हैं: 
 
* (पूर्व-)प्रशिक्षण की लागत ( <small><math>C</math></small> ),
* [[कृत्रिम तंत्रिका नेटवर्क]] का आकार, जैसे मापदंडों की संख्या <small><math>N</math></small> (अर्थात् इसकी परतों में न्यूरॉन्स की मात्रा, उनके बीच भार की मात्रा और पूर्वाग्रह),
* इसके (पूर्व-)प्रशिक्षण डेटासेट का आकार (अर्थात कॉर्पस में टोकन की संख्या, <small><math>D</math></small> ),
* (पूर्व)प्रशिक्षण के बाद प्रदर्शन।
 
वे सरल सांख्यिकीय कानूनों से संबंधित हैं, जिन्हें "स्केलिंग कानून" कहा जाता है। एलएलएम के लिए एक विशेष स्केलिंग कानून (" चिन्चिला स्केलिंग ") एक युग के लिए ऑटोरेग्रेसिव रूप से प्रशिक्षित होता है, लॉग-लॉग लर्निंग रेट शेड्यूल के साथ, यह बताता है कि: <ref name="fJta3">{{Cite arXiv|arxiv=2203.15556|class=cs.CL|first=Jordan|last=Hoffmann|first2=Sebastian|last2=Borgeaud|title=Training Compute-Optimal Large Language Models|date=2022-03-29}}<cite class="citation arxiv cs1" data-ve-ignore="true">Hoffmann, Jordan; Borgeaud, Sebastian; Mensch, Arthur; Buchatskaya, Elena; Cai, Trevor; Rutherford, Eliza; Casas, Diego de Las; Hendricks, Lisa Anne; Welbl, Johannes; Clark, Aidan; Hennigan, Tom; Noland, Eric; Millican, Katie; Driessche, George van den; Damoc, Bogdan (2022-03-29). "Training Compute-Optimal Large Language Models". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2203.15556|2203.15556]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref>
<small><math display="block">\begin{cases}
C = C_0 ND\\
L = \frac{A}{N^\alpha} + \frac{B}{D^{\beta}} + L_0
\end{cases}</math></small> 
जहां चर हैं
 
* <small><math>C</math></small> मॉडल के प्रशिक्षण की लागत FLOPs में है।
* <small><math>N</math></small> मॉडल में पैरामीटरों की संख्या है.
* <small><math>D</math></small> प्रशिक्षण सेट में टोकन की संख्या है।
* <small><math>L</math></small> परीक्षण डेटासेट पर प्रशिक्षित एलएलएम द्वारा प्राप्त प्रति टोकन ( नैट /टोकन) का औसत नकारात्मक लॉग-संभावना हानि है।
 
और सांख्यिकीय हाइपर-पैरामीटर हैं
 
* <small><math> C_0 = 6</math></small>, जिसका अर्थ है कि एक टोकन पर प्रशिक्षित करने के लिए प्रति पैरामीटर 6 FLOPs की लागत आती है। <ref name="kaplan-scaling">{{Cite arXiv|arxiv=2001.08361|class=cs.LG|first=Jared|last=Kaplan|first2=Sam|last2=McCandlish|title=Scaling Laws for Neural Language Models}}<cite class="citation arxiv cs1" data-ve-ignore="true">Kaplan, Jared; McCandlish, Sam; Henighan, Tom; Brown, Tom B.; Chess, Benjamin; Child, Rewon; Gray, Scott; Radford, Alec; Wu, Jeffrey; Amodei, Dario (2020). "Scaling Laws for Neural Language Models". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2001.08361|2001.08361]]</span> [[//arxiv.org/archive/cs.LG cs.LG]].</cite></ref> ध्यान दें कि प्रशिक्षण लागत अनुमान लागत से बहुत अधिक है, जहां एक टोकन पर अनुमान लगाने के लिए प्रति पैरामीटर 1 से 2 एफएलओपी की लागत आती है।
* <small><math>\alpha = 0.34, \beta = 0.28, A = 406.4, B = 410.7, L_0 = 1.69</math></small>
 
[[File:LLM_emergent_benchmarks.png|अंगूठाकार|बिंदु(बिंदुओं) पर जिन्हें विराम कहा जाता है, <ref name="IYm4Q" /> रेखाएं अपना ढलान बदलती हैं, लॉग-लॉग प्लॉट पर चापों से जुड़े रैखिक खंडों की एक श्रृंखला के रूप में दिखाई देती हैं।]]
जब कोई y-अक्ष से सबसे अच्छा प्रदर्शन घटाता है जिसे x-अक्ष मात्रा के अनंत स्केलिंग के साथ भी प्राप्त किया जा सकता है, तो बड़े मॉडल का प्रदर्शन, विभिन्न कार्यों पर मापा जाता है, अन्य (छोटे आकार और) का एक रैखिक एक्सट्रपलेशन प्रतीत होता है लॉग-लॉग प्लॉट पर मध्यम आकार) मॉडल का प्रदर्शन। हालाँकि, कभी-कभी रेखा का ढलान एक ढलान से दूसरे बिंदु पर स्थानांतरित हो जाता है जिसे डाउनस्ट्रीम स्केलिंग कानूनों में ब्रेक के रूप में संदर्भित किया जाता है <ref name="IYm4Q">{{Cite arXiv|arxiv=2210.14891|class=cs.LG|first=Ethan|last=Caballero|first2=Kshitij|last2=Gupta|title=Broken Neural Scaling Laws}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFCaballeroGuptaRishKrueger2022">Caballero, Ethan; Gupta, Kshitij; Rish, Irina; Krueger, David (2022). "Broken Neural Scaling Laws". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2210.14891|2210.14891]]</span> [[//arxiv.org/archive/cs.LG cs.LG]].</cite></ref>, जो चापों से जुड़े रैखिक खंडों की एक श्रृंखला के रूप में दिखाई देता है; ऐसा लगता है कि बड़े मॉडल इस बिंदु पर "आकस्मिक क्षमताएं" प्राप्त कर लेते हैं। <ref name="emergentpaper"/> <ref name="JM6s1">{{Cite web|url=https://www.jasonwei.net/blog/emergence|title=137 emergent abilities of large language models|website=Jason Wei|language=en-US|access-date=2023-06-24}}<cite class="citation web cs1" data-ve-ignore="true">[https://www.jasonwei.net/blog/emergence "137 emergent abilities of large language models"]. ''Jason Wei''<span class="reference-accessdate">. Retrieved <span class="nowrap">2023-06-24</span></span>.</cite></ref> इन क्षमताओं को प्रोग्राम-इन या डिज़ाइन किए जाने के बजाय खोजा जाता है, कुछ मामलों में एलएलएम को सार्वजनिक रूप से तैनात किए जाने के बाद ही। <ref name="Bowman">{{Cite arXiv|arxiv=2304.00612|class=cs.CL|first=Samuel R.|last=Bowman|title=Eight Things to Know about Large Language Models}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFBowman2023">Bowman, Samuel R. (2023). "Eight Things to Know about Large Language Models". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2304.00612|2304.00612]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref>
 
उभरती क्षमताओं में शामिल हैं:
 
* रिपोर्ट किए गए अंकगणित, [[अंतर्राष्ट्रीय ध्वन्यात्मक वर्णमाला]] को डिकोड करना, किसी शब्द के अक्षरों को सुलझाना, संदर्भ में शब्द को स्पष्ट करना,<ref name="emergentpaper"/><ref name="57FEA">{{Cite journal|last1=Pilehvar|first1=Mohammad Taher|last2=Camacho-Collados|first2=Jose|date=June 2019|title=WiC: the Word-in-Context Dataset for Evaluating Context-Sensitive Meaning Representations|url=https://aclanthology.org/N19-1128|journal=Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)|location=Minneapolis, Minnesota|publisher=Association for Computational Linguistics|pages=1267–1273|doi=10.18653/v1/N19-1128|s2cid=102353817}}</ref><ref name="TEIkA">{{Cite web|url=https://pilehvar.github.io/wic/|title=WiC: The Word-in-Context Dataset|website=pilehvar.github.io|access-date=2023-06-27}}</ref> पाठ में दर्शाए गए स्थानिक शब्दों, कार्डिनल दिशाओं और रंग शब्दों को परिवर्तित करना (उदाहरण के लिए, [0, 0, 1; 0, 0, 0; 0, 0, 0] पर "उत्तर-पूर्व" का उत्तर देना),<ref name="zgy1i">{{Cite journal|last1=Patel|first1=Roma|last2=Pavlick|first2=Ellie|date=2021-10-06|title=Mapping Language Models to Grounded Conceptual Spaces|url=https://openreview.net/forum?id=gJcEM8sxHK|language=en}}</ref> और अन्य।
* चेन-ऑफ़-थॉट प्रॉम्प्टिंग : चेन-ऑफ़-थॉट प्रॉम्प्टिंग द्वारा मॉडल आउटपुट में सुधार तभी किया जाता है जब मॉडल का आकार 62B से अधिक हो। छोटे मॉडल बेहतर प्रदर्शन करते हैं जब उन्हें बिना किसी विचार के तुरंत उत्तर देने के लिए कहा जाता है। <ref name="Imb98">''[https://www.notion.so/A-Closer-Look-at-Large-Language-Models-Emergent-Abilities-493876b55df5479d80686f68a1abd72f A Closer Look at Large Language Models Emergent Abilities]'' (Yao Fu, Nov 20, 2022)</ref>
* [[हिंग्लिश]] (हिंदी और अंग्रेजी का एक संयोजन) के पैराग्राफ में आपत्तिजनक सामग्री की पहचान करना, और [[स्वाहिली भाषा|किस्वाहिली]] कहावतों के समान अंग्रेजी समकक्ष तैयार करना। <ref name="CeQVF">{{Cite web|url=https://www.quantamagazine.org/the-unpredictable-abilities-emerging-from-large-ai-models-20230316/|title=The Unpredictable Abilities Emerging From Large AI Models|last=Ornes|first=Stephen|date=March 16, 2023|website=Quanta Magazine}}<cite class="citation web cs1" data-ve-ignore="true" id="CITEREFOrnes2023">Ornes, Stephen (March 16, 2023). [https://www.quantamagazine.org/the-unpredictable-abilities-emerging-from-large-ai-models-20230316/ "The Unpredictable Abilities Emerging From Large AI Models"]. ''Quanta Magazine''.</cite></ref>
 
शेफ़र ''एट. अल.'' तर्क है कि उभरती हुई क्षमताएँ अप्रत्याशित रूप से अर्जित नहीं की जाती हैं, बल्कि एक सुचारु स्केलिंग कानून के अनुसार पूर्वानुमानित रूप से अर्जित की जाती हैं। लेखकों ने बहुविकल्पीय प्रश्नों को हल करने वाले एलएलएम के एक खिलौना सांख्यिकीय मॉडल पर विचार किया, और दिखाया कि यह सांख्यिकीय मॉडल, अन्य प्रकार के कार्यों के लिए संशोधित, इन कार्यों पर भी लागू होता है। <ref name="C775b">{{Cite arXiv|arxiv=2304.15004|class=cs.AI|first=Rylan|last=Schaeffer|first2=Brando|last2=Miranda|title=Are Emergent Abilities of Large Language Models a Mirage?|date=2023-04-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFSchaefferMirandaKoyejo2023">Schaeffer, Rylan; Miranda, Brando; Koyejo, Sanmi (2023-04-01). "Are Emergent Abilities of Large Language Models a Mirage?". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2304.15004|2304.15004]]</span> [[//arxiv.org/archive/cs.AI cs.AI]].</cite></ref>
 
होने देना <math>x</math> पैरामीटर गिनती की संख्या हो, और <math>y</math> मॉडल का प्रदर्शन हो:
<small><div>
* When <math>y = \text{average } Pr(\text{correct token})</math>, then <math>(\log x, y)</math> is an exponential curve (before it hits the plateau at one), which looks like emergence.
* When <math>y = \text{average } \log(Pr(\text{correct token}))</math>, then the <math>(\log x, y)</math> plot is a straight line (before it hits the plateau at zero), which does not look like emergence.
* When <math>y = \text{average } Pr(\text{the most likely token is correct})</math>, then <math>(\log x, y)</math> is a step-function, which looks like emergence.
</div></small>

== व्याख्या ==

बड़े भाषा मॉडल अपने आप में "ब्लैक बॉक्स" हैं, और यह स्पष्ट नहीं है कि वे भाषाई कार्य कैसे कर सकते हैं। एलएलएम कैसे काम करता है, इसे समझने के लिए कई विधियाँ हैं।

यंत्रवत व्याख्या का उद्देश्य प्रतीकात्मक एल्गोरिदम की खोज करके एलएलएम को [[उत्क्रम अभियांत्रिकी|रिवर्स-इंजीनियर करना]] है जो एलएलएम द्वारा किए गए अनुमान का अनुमान लगाता है। एक उदाहरण ओथेलो-जीपीटी है, जहां एक छोटे ट्रांसफार्मर को कानूनी ओथेलो चाल की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। यह पाया गया है कि ओथेलो बोर्ड का एक रैखिक प्रतिनिधित्व है, और प्रतिनिधित्व को संशोधित करने से अनुमानित कानूनी ओथेलो चालें सही तरीके से बदल जाती हैं। <ref name="IZSIr">{{Cite arXiv|arxiv=2210.13382|class=cs.LG|first=Kenneth|last=Li|first2=Aspen K.|last2=Hopkins|title=Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task|date=2022-10-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFLiHopkinsBauViégas2022">Li, Kenneth; Hopkins, Aspen K.; Bau, David; Viégas, Fernanda; Pfister, Hanspeter; Wattenberg, Martin (2022-10-01). "Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2210.13382|2210.13382]]</span> [[//arxiv.org/archive/cs.LG cs.LG]].</cite></ref> <ref name="RLik9">{{Cite web|url=https://thegradient.pub/othello/|title=Large Language Model: world models or surface statistics?|date=2023-01-21|website=The Gradient|language=en|access-date=2023-06-12}}<cite class="citation web cs1" data-ve-ignore="true">[https://thegradient.pub/othello/ "Large Language Model: world models or surface statistics?"]. ''The Gradient''. 2023-01-21<span class="reference-accessdate">. Retrieved <span class="nowrap">2023-06-12</span></span>.</cite></ref> दूसरे उदाहरण में, एक छोटे ट्रांसफार्मर को कारेल प्रोग्राम पर प्रशिक्षित किया जाता है। ओथेलो-जीपीटी उदाहरण के समान, कारेल प्रोग्राम शब्दार्थ का एक रैखिक प्रतिनिधित्व है, और प्रतिनिधित्व को संशोधित करने से आउटपुट सही तरीके से बदल जाता है। मॉडल सही प्रोग्राम भी तैयार करता है जो प्रशिक्षण सेट की तुलना में औसतन छोटे होते हैं। <ref name="Hln1l">{{Cite arXiv|arxiv=2305.11169|class=cs.LG|first=Charles|last=Jin|first2=Martin|last2=Rinard|title=Evidence of Meaning in Language Models Trained on Programs|date=2023-05-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFJinRinard2023">Jin, Charles; Rinard, Martin (2023-05-01). "Evidence of Meaning in Language Models Trained on Programs". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2305.11169|2305.11169]]</span> [[//arxiv.org/archive/cs.LG cs.LG]].</cite></ref>

एक अन्य उदाहरण में, लेखकों ने [[मॉड्युलर गणित|मॉड्यूलर अंकगणितीय जोड़]] पर छोटे ट्रांसफार्मर को प्रशिक्षित किया। परिणामी मॉडल रिवर्स-इंजीनियर किए गए थे, और यह पता चला कि उन्होंने [[डिस्क्रीट फुरिअर रूपान्तर|असतत फूरियर ट्रांसफॉर्म का]] उपयोग किया था। <ref name="oYGlo">{{Cite arXiv|arxiv=2301.05217|class=cs.LG|first=Neel|last=Nanda|first2=Lawrence|last2=Chan|title=Progress measures for grokking via mechanistic interpretability|date=2023-01-01}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFNandaChanLieberumSmith2023">Nanda, Neel; Chan, Lawrence; Lieberum, Tom; Smith, Jess; Steinhardt, Jacob (2023-01-01). "Progress measures for grokking via mechanistic interpretability". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2301.05217|2301.05217]]</span> [[//arxiv.org/archive/cs.LG cs.LG]].</cite></ref>

=== समझ और बुद्धि ===
2022 के एक सर्वेक्षण में जब एनएलपी शोधकर्ताओं से पूछा गया कि क्या (बिना ट्यून किए गए) एलएलएम "कुछ गैर-तुच्छ अर्थों में प्राकृतिक भाषा को (कभी भी) समझ सकते हैं" तो वे समान रूप से विभाजित थे। <ref name="debate understanding">{{Cite journal|last=Mitchell|first=Melanie|last2=Krakauer|first2=David C.|date=28 March 2023|title=The debate over understanding in AI's large language models|journal=Proceedings of the National Academy of Sciences|volume=120|issue=13|pages=e2215907120|arxiv=2210.13966|bibcode=2023PNAS..12015907M|doi=10.1073/pnas.2215907120|pmc=10068812|pmid=36943882}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFMitchellKrakauer2023">Mitchell, Melanie; Krakauer, David C. (28 March 2023). "The debate over understanding in AI's large language models". ''Proceedings of the National Academy of Sciences''. '''120''' (13): e2215907120. [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2210.13966|2210.13966]]</span>. [[बिबकोड|Bibcode]]:[https://ui.adsabs.harvard.edu/abs/2023PNAS..12015907M 2023PNAS..12015907M]. [[डिजिटल वस्तु अभिज्ञापक|doi]]:[[doi:10.1073/pnas.2215907120|10.1073/pnas.2215907120]]. [[पीएमसी (पहचानकर्ता)|PMC]]&nbsp;10068812. [[पबमेड|PMID]]&nbsp;[https://pubmed.ncbi.nlm.nih.gov/36943882 36943882].</cite></ref> "एलएलएम समझ" के समर्थकों का मानना है कि कुछ एलएलएम क्षमताएं, जैसे गणितीय तर्क, कुछ अवधारणाओं को "समझने" की क्षमता दर्शाती हैं। माइक्रोसॉफ्ट की एक टीम ने 2023 में तर्क दिया कि GPT-4 "गणित, कोडिंग, दृष्टि, चिकित्सा, कानून, मनोविज्ञान और अन्य जैसे नवीन और कठिन कार्यों को हल कर सकता है" और GPT-4 को "एक कृत्रिम सामान्य बुद्धि प्रणाली के प्रारंभिक (अभी तक अधूरा) संस्करण के रूप में देखा जा सकता है": "क्या कोई तर्कसंगत रूप से कह सकता है कि एक प्रणाली जो सॉफ्टवेयर इंजीनियरिंग उम्मीदवारों के लिए परीक्षा उत्तीर्ण करती है वह ''वास्तव में'' बुद्धिमान नहीं है?" <ref name="O8Upd">{{Cite news|url=https://www.nytimes.com/2023/05/16/technology/microsoft-ai-human-reasoning.html|title=Microsoft Says New A.I. Shows Signs of Human Reasoning|last=Metz|first=Cade|date=16 May 2023|work=The New York Times}}<cite class="citation news cs1" data-ve-ignore="true" id="CITEREFMetz2023">Metz, Cade (16 May 2023). [https://www.nytimes.com/2023/05/16/technology/microsoft-ai-human-reasoning.html "Microsoft Says New A.I. Shows Signs of Human Reasoning"]. ''The New York Times''.</cite></ref> <ref name="microsoft sparks">{{Cite arXiv|arxiv=2303.12712|class=cs.CL|first=Sébastien|last=Bubeck|first2=Varun|last2=Chandrasekaran|title=Sparks of Artificial General Intelligence: Early experiments with GPT-4|date=2023}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFBubeckChandrasekaranEldanGehrke2023">Bubeck, Sébastien; Chandrasekaran, Varun; Eldan, Ronen; Gehrke, Johannes; Horvitz, Eric; Kamar, Ece; Lee, Peter; Lee, Yin Tat; Li, Yuanzhi; Lundberg, Scott; Nori, Harsha; Palangi, Hamid; Ribeiro, Marco Tulio; Zhang, Yi (2023). "Sparks of Artificial General Intelligence: Early experiments with GPT-4". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2303.12712|2303.12712]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> कुछ शोधकर्ता एलएलएम को "एलियन इंटेलिजेंस" के रूप में वर्णित करते हैं। <ref name="rEEmH">{{Cite news|url=https://www.zdnet.com/article/chatgpt-is-more-like-an-alien-intelligence-than-a-human-brain-says-futurist/|title=ChatGPT is more like an 'alien intelligence' than a human brain, says futurist|date=2023|work=ZDNET|access-date=12 June 2023|language=en}}<cite class="citation news cs1" data-ve-ignore="true">[https://www.zdnet.com/article/chatgpt-is-more-like-an-alien-intelligence-than-a-human-brain-says-futurist/ "ChatGPT is more like an 'alien intelligence' than a human brain, says futurist"]. ''ZDNET''. 2023<span class="reference-accessdate">. Retrieved <span class="nowrap">12 June</span> 2023</span>.</cite></ref>  उदाहरण के लिए, अनुमान के सीईओ कॉनर लीही अनट्यून किए गए एलएलएम को गूढ़ एलियन " शॉगगोथ्स " की तरह मानते हैं, और मानते हैं कि आरएलएचएफ ट्यूनिंग एलएलएम के आंतरिक कामकाज को अस्पष्ट करते हुए एक "मुस्कुराहट वाला मुखौटा" बनाता है: "यदि आप इसे बहुत दूर नहीं धकेलते हैं, तो स्माइली चेहरा बना रहता है। लेकिन फिर आप इसे [एक अप्रत्याशित] संकेत देते हैं, और अचानक आपको पागलपन, अजीब विचार प्रक्रियाओं और स्पष्ट रूप से गैर-मानवीय समझ का यह विशाल आधार दिखाई देता है।" <ref name="rAFIZ">{{Cite news|url=https://www.nytimes.com/2023/05/30/technology/shoggoth-meme-ai.html|title=Why an Octopus-like Creature Has Come to Symbolize the State of A.I.|last=Roose|first=Kevin|date=30 May 2023|work=The New York Times|access-date=12 June 2023}}<cite class="citation news cs1" data-ve-ignore="true" id="CITEREFRoose2023">Roose, Kevin (30 May 2023). [https://www.nytimes.com/2023/05/30/technology/shoggoth-meme-ai.html "Why an Octopus-like Creature Has Come to Symbolize the State of A.I."] ''The New York Times''<span class="reference-accessdate">. Retrieved <span class="nowrap">12 June</span> 2023</span>.</cite></ref> <ref name="4luKE">{{Cite news|url=https://time.com/6271657/a-to-z-of-artificial-intelligence/|title=The A to Z of Artificial Intelligence|date=13 April 2023|work=Time Magazine|access-date=12 June 2023|language=en}}<cite class="citation news cs1" data-ve-ignore="true">[https://time.com/6271657/a-to-z-of-artificial-intelligence/ "The A to Z of Artificial Intelligence"]. ''Time Magazine''. 13 April 2023<span class="reference-accessdate">. Retrieved <span class="nowrap">12 June</span> 2023</span>.</cite></ref>

इसके विपरीत, "एलएलएम में समझ की कमी" स्कूल के कुछ समर्थकों का मानना है कि मौजूदा एलएलएम "बस मौजूदा लेखन को रीमिक्स और पुनर्संयोजित कर रहे हैं",  या मौजूदा एलएलएम में भविष्यवाणी कौशल, तर्क कौशल, एजेंसी और व्याख्यात्मकता में कमी की ओर इशारा करते हैं। <ref name="debate understanding"/> उदाहरण के लिए, [[जीपीटी4]] में योजना बनाने और वास्तविक समय में सीखने में स्वाभाविक कमी है। <ref name="microsoft sparks">{{Cite arXiv|arxiv=2303.12712|class=cs.CL|first=Sébastien|last=Bubeck|first2=Varun|last2=Chandrasekaran|title=Sparks of Artificial General Intelligence: Early experiments with GPT-4|date=2023}}</ref> जेनरेटिव एलएलएम को आत्मविश्वास से उन तथ्यों के दावों पर जोर देते हुए देखा गया है जो उनके प्रशिक्षण डेटा द्वारा उचित नहीं लगते हैं, एक ऐसी घटना जिसे " मतिभ्रम " कहा गया है। <ref name="hallucination-survey">{{Cite journal|last=Ji|first=Ziwei|last2=Lee|first2=Nayeon|last3=Frieske|first3=Rita|last4=Yu|first4=Tiezheng|last5=Su|first5=Dan|last6=Xu|first6=Yan|last7=Ishii|first7=Etsuko|last8=Bang|first8=Yejin|last9=Dai|first9=Wenliang|date=November 2022|title=Survey of Hallucination in Natural Language Generation|url=https://dl.acm.org/doi/pdf/10.1145/3571730|format=pdf|journal=ACM Computing Surveys|publisher=[[Association for Computing Machinery]]|volume=55|issue=12|pages=1–38|arxiv=2202.03629|doi=10.1145/3571730|access-date=15 January 2023}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFJiLeeFrieskeYu2022">Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin; Dai, Wenliang; Madotto, Andrea; Fung, Pascale (November 2022). [https://dl.acm.org/doi/pdf/10.1145/3571730 "Survey of Hallucination in Natural Language Generation"] <span class="cs1-format">(pdf)</span>. ''ACM Computing Surveys''. [[संगणक तंत्र संस्था|Association for Computing Machinery]]. '''55''' (12): 1–38. [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2202.03629|2202.03629]]</span>. [[डिजिटल वस्तु अभिज्ञापक|doi]]:[[doi:10.1145/3571730|10.1145/3571730]]. [[S2CID (पहचानकर्ता)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:246652372 246652372]<span class="reference-accessdate">. Retrieved <span class="nowrap">15 January</span> 2023</span>.</cite></ref> न्यूरोसाइंटिस्ट टेरेंस सेजनोव्स्की ने तर्क दिया है कि "एलएलएम की बुद्धिमत्ता पर विशेषज्ञों की अलग-अलग राय बताती है कि प्राकृतिक बुद्धिमत्ता पर आधारित हमारे पुराने विचार अपर्याप्त हैं"। <ref name="debate understanding"/>
== मूल्यांकन ==

=== विकलता ===
किसी भाषा मॉडल के प्रदर्शन का सबसे अधिक इस्तेमाल किया जाने वाला माप किसी दिए गए पाठ कोष पर उसकी [[विकलता]] है। विकलता इस बात का माप है कि कोई मॉडल किसी डेटासेट की सामग्री की कितनी अच्छी तरह भविष्यवाणी करने में सक्षम है; मॉडल डेटासेट को जितनी अधिक संभावना प्रदान करेगा, उलझन उतनी ही कम होगी। गणितीय रूप से, उलझन को प्रति टोकन औसत नकारात्मक लॉग संभावना के घातांक के रूप में परिभाषित किया गया है:
<math display="block">\log(\text{Perplexity}) = -\frac{1}{N} \sum_{i=1}^N \log(Pr(\text{token}_i | \text{context for token}_i))</math>

यहाँ <math>N</math> टेक्स्ट कॉर्पस में टोकन की संख्या है, और "टोकन के लिए संदर्भ <math>i</math> " प्रयुक्त एलएलएम के विशिष्ट प्रकार पर निर्भर करता है। यदि एलएलएम ऑटोरेग्रेसिव है, तो "टोकन के लिए संदर्भ <math>i</math> "टोकन से पहले प्रदर्शित होने वाला पाठ का खंड है <math>i</math> . यदि एलएलएम छिपा हुआ है, तो "टोकन के लिए संदर्भ <math>i</math> "टोकन के आसपास पाठ का खंड है <math>i</math> .

क्योंकि भाषा मॉडल उनके प्रशिक्षण डेटा पर हावी हो सकते हैं, मॉडल का मूल्यांकन आमतौर पर अनदेखे डेटा के परीक्षण सेट पर उनकी विकलता के आधार पर किया जाता है। <ref name="jm"/> यह बड़े भाषा मॉडल के मूल्यांकन के लिए विशेष चुनौतियाँ प्रस्तुत करता है। जैसे-जैसे उन्हें वेब से बड़े पैमाने पर निकाले गए पाठ के बड़े संग्रह पर प्रशिक्षित किया जाता है, यह संभावना बढ़ती जा रही है कि मॉडल के प्रशिक्षण डेटा में अनजाने में किसी दिए गए परीक्षण सेट के हिस्से शामिल हो जाते हैं। <ref name="few-shot-learners">{{Cite journal|last=Brown|first=Tom B.|last2=Mann|first2=Benjamin|last3=Ryder|first3=Nick|last4=Subbiah|first4=Melanie|last5=Kaplan|first5=Jared|last6=Dhariwal|first6=Prafulla|last7=Neelakantan|first7=Arvind|last8=Shyam|first8=Pranav|last9=Sastry|first9=Girish|date=Dec 2020|editor-last=Larochelle|editor-first=H.|editor2-last=Ranzato|editor2-first=M.|editor3-last=Hadsell|editor3-first=R.|editor4-last=Balcan|editor4-first=M.F.|editor5-last=Lin|editor5-first=H.|title=Language Models are Few-Shot Learners|url=https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf|journal=Advances in Neural Information Processing Systems|publisher=Curran Associates, Inc.|volume=33|pages=1877–1901}}<cite class="citation journal cs1" data-ve-ignore="true" id="CITEREFBrownMannRyderSubbiah2020">Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario (Dec 2020). Larochelle, H.; Ranzato, M.; Hadsell, R.; Balcan, M.F.; Lin, H. (eds.). [https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf "Language Models are Few-Shot Learners"] <span class="cs1-format">(PDF)</span>. ''Advances in Neural Information Processing Systems''. Curran Associates, Inc. '''33''': 1877–1901.</cite></ref>

=== कार्य-विशिष्ट डेटासेट और बेंचमार्क ===
अधिक विशिष्ट डाउनस्ट्रीम कार्यों पर भाषा मॉडल की क्षमताओं का मूल्यांकन करने के लिए बड़ी संख्या में परीक्षण डेटासेट और बेंचमार्क भी विकसित किए गए हैं। परीक्षण को सामान्य ज्ञान, सामान्य ज्ञान तर्क और गणितीय समस्या-समाधान सहित विभिन्न क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया जा सकता है।

मूल्यांकन डेटासेट की एक व्यापक श्रेणी प्रश्न उत्तर डेटासेट है, जिसमें प्रश्नों के जोड़े और सही उत्तर शामिल हैं, उदाहरण के लिए, ("क्या सैन जोस शार्क ने स्टेनली कप जीता है?", "नहीं")। <ref name="boolq">{{Cite arXiv|arxiv=1905.10044|class=cs.CL|first=Christopher|last=Clark|first2=Kenton|last2=Lee|title=BoolQ: Exploring the Surprising Difficulty of Natural Yes/No Questions}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFClarkLeeChangKwiatkowski2019">Clark, Christopher; Lee, Kenton; Chang, Ming-Wei; Kwiatkowski, Tom; Collins, Michael; Toutanova, Kristina (2019). "BoolQ: Exploring the Surprising Difficulty of Natural Yes/No Questions". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:1905.10044|1905.10044]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> एक प्रश्न उत्तर देने वाले कार्य को "खुली किताब" माना जाता है यदि मॉडल के संकेत में वह पाठ शामिल है जिससे अपेक्षित उत्तर प्राप्त किया जा सकता है (उदाहरण के लिए, पिछले प्रश्न को कुछ पाठ के साथ जोड़ा जा सकता है जिसमें वाक्य शामिल है "शार्क एक बार स्टेनली कप फाइनल में आगे बढ़े हैं, 2016 में पिट्सबर्ग पेंगुइन से हार गए।" <ref name="boolq" />). अन्यथा, कार्य को "बंद किताब" माना जाता है, और मॉडल को प्रशिक्षण के दौरान रखे गए ज्ञान पर आधारित होना चाहिए। <ref name="survey">{{Cite arXiv|arxiv=2303.18223|class=cs.CL|author=Wayne Xin Zhao|first2=Kun|last2=Zhou|title=A Survey of Large Language Models}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFWayne_Xin_ZhaoZhouLiTang2023">Wayne Xin Zhao; Zhou, Kun; Li, Junyi; Tang, Tianyi; Wang, Xiaolei; Hou, Yupeng; Min, Yingqian; Zhang, Beichen; Zhang, Junjie; Dong, Zican; Du, Yifan; Yang, Chen; Chen, Yushuo; Chen, Zhipeng; Jiang, Jinhao; Ren, Ruiyang; Li, Yifan; Tang, Xinyu; Liu, Zikang; Liu, Peiyu; Nie, Jian-Yun; Wen, Ji-Rong (2023). "A Survey of Large Language Models". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2303.18223|2303.18223]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> आमतौर पर उपयोग किए जाने वाले प्रश्न उत्तर डेटासेट के कुछ उदाहरणों में ट्रुथफुलक्यूए, वेब क्वेश्चन्स, ट्रिवियाक्यूए और एसक्यूएडी शामिल हैं। <ref name="survey" />

मूल्यांकन डेटासेट पाठ पूर्णता का रूप भी ले सकता है, जिसमें मॉडल किसी संकेत को पूरा करने के लिए सबसे संभावित शब्द या वाक्य का चयन करता है, उदाहरण के लिए: "ऐलिस बॉब की मित्र थी। ऐलिस अपने दोस्त, ____ से मिलने गई थी। <ref name="few-shot-learners"/>

कुछ समग्र बेंचमार्क भी विकसित किए गए हैं जो विभिन्न मूल्यांकन डेटासेट और कार्यों की विविधता को जोड़ते हैं। उदाहरणों में GLUE, SuperGLUE, MMLU, BIG-बेंच और HELM शामिल हैं। <ref name="Huyen">{{Cite web|url=https://thegradient.pub/understanding-evaluation-metrics-for-language-models/|title=Evaluation Metrics for Language Modeling|last=Huyen|first=Chip|date=18 October 2019|website=The Gradient}}<cite class="citation web cs1" data-ve-ignore="true" id="CITEREFHuyen2019">Huyen, Chip (18 October 2019). [https://thegradient.pub/understanding-evaluation-metrics-for-language-models/ "Evaluation Metrics for Language Modeling"]. ''The Gradient''.</cite></ref> <ref name="survey">{{Cite arXiv|arxiv=2303.18223|class=cs.CL|author=Wayne Xin Zhao|first2=Kun|last2=Zhou|title=A Survey of Large Language Models}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFWayne_Xin_ZhaoZhouLiTang2023">Wayne Xin Zhao; Zhou, Kun; Li, Junyi; Tang, Tianyi; Wang, Xiaolei; Hou, Yupeng; Min, Yingqian; Zhang, Beichen; Zhang, Junjie; Dong, Zican; Du, Yifan; Yang, Chen; Chen, Yushuo; Chen, Zhipeng; Jiang, Jinhao; Ren, Ruiyang; Li, Yifan; Tang, Xinyu; Liu, Zikang; Liu, Peiyu; Nie, Jian-Yun; Wen, Ji-Rong (2023). "A Survey of Large Language Models". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2303.18223|2303.18223]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref>

शेष पर पर्यवेक्षित फाइन-ट्यूनिंग करने के बाद मूल्यांकन डेटासेट के रुके हुए हिस्से पर परिणामों की रिपोर्ट करना पहले मानक था। पूर्व-प्रशिक्षित मॉडल का सीधे तौर पर प्रॉम्प्टिंग तकनीकों के माध्यम से मूल्यांकन करना अब अधिक आम हो गया है, हालांकि शोधकर्ता विशेष कार्यों के लिए प्रॉम्प्ट तैयार करने के तरीके के विवरण में भिन्न होते हैं, विशेष रूप से इस संबंध में कि हल किए गए कार्यों के कितने उदाहरण प्रॉम्प्ट से जुड़े हैं (यानी ''एन'' -शॉट प्रॉम्प्टिंग में ''एन'' का मूल्य)।

==== प्रतिकूल रूप से निर्मित मूल्यांकन ====
बड़े भाषा मॉडलों के सुधार की तीव्र गति के कारण, मूल्यांकन बेंचमार्क को कम जीवनकाल का सामना करना पड़ा है, अत्याधुनिक मॉडल तेजी से मौजूदा बेंचमार्क को "संतृप्त" कर रहे हैं, मानव एनोटेटर्स के प्रदर्शन को पार कर रहे हैं, जिससे बेंचमार्क को और अधिक चुनौतीपूर्ण कार्यों के साथ बदलने या बढ़ाने के प्रयास किए जा रहे हैं। <ref name="bigbench">{{Cite arXiv|arxiv=2206.04615|class=cs.CL|first=Aarohi|last=Srivastava|first2=Abhinav|last2=Rastogi|title=Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFSrivastavaRastogiRaoAbu_Awal_Md_Shoeb2022">Srivastava, Aarohi; et&nbsp;al. (2022). "Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2206.04615|2206.04615]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref> इसके अलावा, "शॉर्टकट लर्निंग" के मामले भी हैं जिनमें एआई कभी-कभी सही प्रतिक्रियाओं का अनुमान लगाने के लिए सतही परीक्षण प्रश्न शब्दों में सांख्यिकीय सहसंबंधों का उपयोग करके बहुविकल्पीय परीक्षणों पर "धोखा" देते हैं, बिना पूछे गए वास्तविक प्रश्न को समझे बिना। <ref name="debate understanding"/>

कुछ डेटासेट का निर्माण प्रतिकूल रूप से किया गया है, विशेष समस्याओं पर ध्यान केंद्रित करते हुए, जिन पर मौजूदा भाषा मॉडल मनुष्यों की तुलना में असामान्य रूप से खराब प्रदर्शन करते हैं। एक उदाहरण ट्रूथफुलक्यूए डेटासेट है, एक प्रश्न उत्तर देने वाला डेटासेट जिसमें 817 प्रश्न हैं, जो भाषा मॉडल उन झूठों की नकल करके गलत उत्तर देने के लिए अतिसंवेदनशील होते हैं जिन्हें प्रशिक्षण के दौरान उन्हें बार-बार उजागर किया गया था। उदाहरण के लिए, एक एलएलएम इस प्रश्न का उत्तर "नहीं" दे सकता है "क्या आप एक बूढ़े कुत्ते को नई तरकीबें सिखा सकते हैं?" अंग्रेजी मुहावरे के संपर्क में आने के कारण ''[[wiktionary:you can't teach an old dog new tricks|आप एक बूढ़े कुत्ते को नई तरकीबें नहीं सिखा सकते]]'', भले ही यह अक्षरशः सत्य नहीं है। <ref name="truthfulqa">{{Cite arXiv|arxiv=2109.07958|class=cs.CL|first=Stephanie|last=Lin|first2=Jacob|last2=Hilton|title=TruthfulQA: Measuring How Models Mimic Human Falsehoods}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFLinHiltonEvans2021">Lin, Stephanie; Hilton, Jacob; Evans, Owain (2021). "TruthfulQA: Measuring How Models Mimic Human Falsehoods". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:2109.07958|2109.07958]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref>

प्रतिकूल मूल्यांकन डेटासेट का एक अन्य उदाहरण स्वैग और उसके उत्तराधिकारी, हेलास्वैग, समस्याओं का संग्रह है जिसमें एक पाठ मार्ग को पूरा करने के लिए कई विकल्पों में से एक का चयन करना होगा। गलत पूर्णताएँ एक भाषा मॉडल से नमूनाकरण और क्लासिफायर के एक सेट के साथ फ़िल्टर करके उत्पन्न की गईं। परिणामी समस्याएं मनुष्यों के लिए मामूली हैं, लेकिन जिस समय डेटासेट बनाए गए थे, उस समय अत्याधुनिक भाषा मॉडल में उनकी सटीकता कम थी। उदाहरण के लिए:
<blockquote>
हमें एक फिटनेस सेंटर का चिन्ह दिखाई देता है। फिर हम एक आदमी को कैमरे से बात करते और व्यायाम गेंद पर बैठे और लेटे हुए देखते हैं। मनुष्य...<br>क) दर्शाता है कि गेंदों को ऊपर और नीचे चलाकर कुशल व्यायाम कार्य को कैसे बढ़ाया जाए।<br>ख) अपने सभी हाथ और पैर हिलाता है और बहुत सारी मांसपेशियाँ बनाता है।<br>ग) फिर गेंद खेलता है और हम एक ग्राफिक्स और हेज ट्रिमिंग प्रदर्शन देखते हैं।<br>घ) गेंद पर और बात करते समय उठक-बैठक करता है। <ref name="hellaswag">{{Cite arXiv|arxiv=1905.07830|class=cs.CL|first=Rowan|last=Zellers|first2=Ari|last2=Holtzman|title=HellaSwag: Can a Machine Really Finish Your Sentence?}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFZellersHoltzmanBiskFarhadi2019">Zellers, Rowan; Holtzman, Ari; Bisk, Yonatan; Farhadi, Ali; Choi, Yejin (2019). "HellaSwag: Can a Machine Really Finish Your Sentence?". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:1905.07830|1905.07830]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref>
</blockquote>
बीईआरटी सबसे संभावित समापन के रूप में (बी) का चयन करता है, हालांकि सही उत्तर (डी) है। <ref name="hellaswag">{{Cite arXiv|arxiv=1905.07830|class=cs.CL|first=Rowan|last=Zellers|first2=Ari|last2=Holtzman|title=HellaSwag: Can a Machine Really Finish Your Sentence?}}<cite class="citation arxiv cs1" data-ve-ignore="true" id="CITEREFZellersHoltzmanBiskFarhadi2019">Zellers, Rowan; Holtzman, Ari; Bisk, Yonatan; Farhadi, Ali; Choi, Yejin (2019). "HellaSwag: Can a Machine Really Finish Your Sentence?". [[आर्काइव लेखकोष|arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[[arxiv:1905.07830|1905.07830]]</span> [[//arxiv.org/archive/cs.CL cs.CL]].</cite></ref>

== व्यापक प्रभाव ==

2023 में, ''नेचर बायोमेडिकल इंजीनियरिंग ने'' लिखा था कि बड़े भाषा मॉडल द्वारा बनाए गए पाठ से मानव-लिखित पाठ को "सटीक रूप से अलग करना अब संभव नहीं है", और यह कि "यह लगभग निश्चित है कि सामान्य-उद्देश्य वाले बड़े भाषा मॉडल तेजी से फैलेंगे... यह एक सुरक्षित शर्त है कि वे समय के साथ कई उद्योगों को बदल देंगे।" <ref name="ZDTUM">{{Cite journal|date=7 March 2023|title=Prepare for truly useful large language models|journal=Nature Biomedical Engineering|language=en|volume=7|issue=2|pages=85–86|doi=10.1038/s41551-023-01012-6|pmid=36882584}}<cite class="citation journal cs1" data-ve-ignore="true">"Prepare for truly useful large language models". ''Nature Biomedical Engineering''. '''7''' (2): 85–86. 7 March 2023. [[डिजिटल वस्तु अभिज्ञापक|doi]]:[[doi:10.1038/s41551-023-01012-6|10.1038/s41551-023-01012-6]]. [[पबमेड|PMID]]&nbsp;[https://pubmed.ncbi.nlm.nih.gov/36882584 36882584]. [[S2CID (पहचानकर्ता)|S2CID]]&nbsp;[https://api.semanticscholar.org/CorpusID:257403466 257403466].</cite></ref> [[गोल्डमन सॅक्स|गोल्डमैन सैक्स ने]] 2023 में सुझाव दिया था कि जेनेरेटिव भाषा एआई अगले दस वर्षों में वैश्विक सकल घरेलू उत्पाद में 7% की वृद्धि कर सकती है, और वैश्विक स्तर पर स्वचालन के कारण 300 मिलियन नौकरियां पैदा हो सकती हैं। <ref name="81w7x">{{Cite news|url=https://www.economist.com/finance-and-economics/2023/05/07/your-job-is-probably-safe-from-artificial-intelligence|title=Your job is (probably) safe from artificial intelligence|date=7 May 2023|work=The Economist|access-date=18 June 2023}}<cite class="citation news cs1" data-ve-ignore="true">[https://www.economist.com/finance-and-economics/2023/05/07/your-job-is-probably-safe-from-artificial-intelligence "Your job is (probably) safe from artificial intelligence"]. ''The Economist''. 7 May 2023<span class="reference-accessdate">. Retrieved <span class="nowrap">18 June</span> 2023</span>.</cite></ref> <ref name="zIM6Y">{{Cite web|url=https://www.goldmansachs.com/intelligence/pages/generative-ai-could-raise-global-gdp-by-7-percent.html|title=Generative AI Could Raise Global GDP by 7%|website=Goldman Sachs|access-date=18 June 2023}}<cite class="citation web cs1" data-ve-ignore="true">[https://www.goldmansachs.com/intelligence/pages/generative-ai-could-raise-global-gdp-by-7-percent.html "Generative AI Could Raise Global GDP by 7%"]. ''Goldman Sachs''<span class="reference-accessdate">. Retrieved <span class="nowrap">18 June</span> 2023</span>.</cite></ref> कुछ टिप्पणीकारों ने आकस्मिक या जानबूझकर गलत सूचना के निर्माण, या अन्य प्रकार के दुरुपयोग पर चिंता व्यक्त की। <ref name="nD6kH">{{Cite news|url=https://www.japantimes.co.jp/news/2023/05/01/business/tech/ai-fake-news-content-farms/|title=AI chatbots have been used to create dozens of news content farms|last=Alba|first=Davey|date=1 May 2023|work=The Japan Times|access-date=18 June 2023}}<cite class="citation news cs1" data-ve-ignore="true" id="CITEREFAlba2023">Alba, Davey (1 May 2023). [https://www.japantimes.co.jp/news/2023/05/01/business/tech/ai-fake-news-content-farms/ "AI chatbots have been used to create dozens of news content farms"]. ''The Japan Times''<span class="reference-accessdate">. Retrieved <span class="nowrap">18 June</span> 2023</span>.</cite></ref> उदाहरण के लिए, बड़े भाषा मॉडल की उपलब्धता जैव-आतंकवाद को अंजाम देने के लिए आवश्यक कौशल-स्तर को कम कर सकती है; जैव सुरक्षा शोधकर्ता केविन एस्वेल्ट ने सुझाव दिया है कि एलएलएम रचनाकारों को रोगजनकों को बनाने या बढ़ाने पर अपने प्रशिक्षण डेटा पेपर से बाहर रखना चाहिए। <ref name="PKiPY">{{Cite journal|date=14 June 2023|title=Could chatbots help devise the next pandemic virus?|url=https://www.science.org/content/article/could-chatbots-help-devise-next-pandemic-virus|journal=Science|language=en|doi=10.1126/science.adj2463}}<cite class="citation journal cs1" data-ve-ignore="true">[https://www.science.org/content/article/could-chatbots-help-devise-next-pandemic-virus "Could chatbots help devise the next pandemic virus?"]. ''Science''. 14 June 2023. [[डिजिटल वस्तु अभिज्ञापक|doi]]:[[doi:10.1126/science.adj2463|10.1126/science.adj2463]].</cite></ref>

==सूची==
{| class="wikitable sortable"
|-
! नाम !! रिलीज़ की तारीख{{efn|यह वह तारीख है जब मॉडल की वास्तुकला का वर्णन करने वाला दस्तावेज़ पहली बार जारी किया गया था।}} !! विकासक !! मापदण्डों की संख्या{{efn|कई मामलों में, शोधकर्ता अलग-अलग आकार वाले मॉडल के कई संस्करण जारी या रिपोर्ट करते हैं।  इन मामलों में, सबसे बड़े मॉडल का आकार यहां सूचीबद्ध है।}} !! कॉर्पस का आकार 
!प्रशिक्षण का ख़र्च (petaFLOP-day)!! License{{efn|This is the license of the pre-trained model weights. In almost all cases the training code itself is open-source or can be easily replicated.}} !! Notes
|-
| [[BERT (language model)|BERT]] || {{dts|2018}} || [[Google]] || {{sort|340000000|340 million}}<ref name=bert-paper/> || {{sort|3300000000|3.3 billion}} words<ref name=bert-paper/> 
|{{sort|9|9}}<ref name="bHZJ2">{{Cite web |last=Prickett |first=Nicole Hemsoth |date=2021-08-24 |title=Cerebras Shifts Architecture To Meet Massive AI/ML Models |url=https://www.nextplatform.com/2021/08/24/cerebras-shifts-architecture-to-meet-massive-ai-ml-models/ |access-date=2023-06-20 |website=The Next Platform |language=en-US}}</ref>|| {{yes|Apache 2.0}}<ref name="bert-web">{{Cite web|url=https://github.com/google-research/bert|title=BERT|date=March 13, 2023|via=GitHub}}</ref>
| An early and influential language model,<ref name="Manning-2022" /> but encoder-only and thus not built to be prompted or generative<ref name="Ir545">{{cite arXiv |last1=Patel |first1=Ajay |last2=Li |first2=Bryan |last3=Rasooli |first3=Mohammad Sadegh |last4=Constant |first4=Noah |last5=Raffel |first5=Colin |last6=Callison-Burch |first6=Chris |title=Bidirectional Language Models Are Also Few-shot Learners |date=2022 |class=cs.LG |eprint=2209.14500}}</ref>
|-
| XLNet || {{dts|2019}} || [[Google]] || {{sort|340000000|~340 million}}<ref name="45rAm">{{Cite web|url=https://www.kdnuggets.com/bert-roberta-distilbert-xlnet-which-one-to-use.html|title=BERT, RoBERTa, DistilBERT, XLNet: Which one to use?}}{{Dead link|date=नवंबर 2023 |bot=InternetArchiveBot }}</ref> || {{sort|3300000000|33 billion}} words 
| ||
| An alternative to BERT; designed as encoder-only<ref name="gAbNO">{{Cite web|url=https://analyticsindiamag.com/google-introduces-new-architecture-to-reduce-cost-of-transformers/|title=Google Introduces New Architecture To Reduce Cost Of Transformers|first=Amit Raja|last=Naik|date=September 23, 2021|website=Analytics India Magazine}}</ref><ref name="LX3rI">{{cite arXiv |last1=Yang |first1=Zhilin |last2=Dai |first2=Zihang |last3=Yang |first3=Yiming |last4=Carbonell |first4=Jaime |last5=Salakhutdinov |first5=Ruslan |last6=Le |first6=Quoc V. |title=XLNet: Generalized Autoregressive Pretraining for Language Understanding |date=2 January 2020 |class=cs.CL |eprint=1906.08237}}</ref>
|-
| [[GPT-2]] || {{dts|2019}} || [[OpenAI]] || {{sort|1500000000|1.5 billion}}<ref name="15Brelease"/> || 40GB<ref name="5T8u5">{{cite web |title=Better language models and their implications |url=https://openai.com/research/better-language-models |website=openai.com}}</ref> (~{{sort|10000000000|10 billion}} tokens)<ref name="LambdaLabs">{{cite web |title=OpenAI's GPT-3 Language Model: A Technical Overview |url=https://lambdalabs.com/blog/demystifying-gpt-3 |website=lambdalabs.com |date=3 June 2020 |language=en}}</ref> 
|17<ref name=":1">{{Cite web |title=Parameter, Compute and Data Trends in Machine Learning |url=https://docs.google.com/spreadsheets/d/1AAIebjNsnJj_uKALHbXNfn3_YsT6sHXtCU0q7OIPuc4/edit?usp=embed_facebook |access-date=2023-06-20 |website=Google Docs |language=en-US}}</ref>|| {{yes|MIT}}<ref name="Sudbe">{{cite web|work=GitHub|title=gpt-2|url=https://github.com/openai/gpt-2|access-date=13 March 2023}}</ref>
| general-purpose model based on transformer architecture
|-
| [[GPT-3]] || {{dts|2020}} || OpenAI || {{sort|175000000000|175 billion}}<ref name="Wiggers" /> || {{sort|300000000000|300 billion}} tokens<ref name="LambdaLabs" /> 
|3640<ref name=":2">Table D.1 in {{Cite arXiv |last1=Brown |first1=Tom B. |last2=Mann |first2=Benjamin |last3=Ryder |first3=Nick |last4=Subbiah |first4=Melanie |last5=Kaplan |first5=Jared |last6=Dhariwal |first6=Prafulla |last7=Neelakantan |first7=Arvind |last8=Shyam |first8=Pranav |last9=Sastry |first9=Girish |last10=Askell |first10=Amanda |last11=Agarwal |first11=Sandhini |last12=Herbert-Voss |first12=Ariel |last13=Krueger |first13=Gretchen |last14=Henighan |first14=Tom |last15=Child |first15=Rewon |date=May 28, 2020 |title=Language Models are Few-Shot Learners |eprint=2005.14165v4 |first16=Aditya |last16=Ramesh |first17=Daniel M. |last17=Ziegler |first18=Jeffrey |last18=Wu |first19=Clemens |last19=Winter |first20=Christopher |last20=Hesse |first21=Mark |last21=Chen |first22=Eric |last22=Sigler |first23=Mateusz |last23=Litwin |first24=Scott |last24=Gray |first25=Benjamin |last25=Chess |first26=Jack |last26=Clark |first27=Christopher |last27=Berner |first28=Sam |last28=McCandlish |first29=Alec |last29=Radford |first30=Ilya |last30=Sutskever |first31=Dario |last31=Amodei|class=cs.CL}}</ref>|| {{partial success|public web API}}
| A fine-tuned variant of GPT-3, termed GPT-3.5, was made available to the public through a web interface called [[चैटजीपीटी|ChatGPT]] in 2022.<ref name=chatgpt-blog/>
|-
| GPT-Neo || {{dts|March 2021}} || [[EleutherAI]] || {{sort|2700000000|2.7 billion}}<ref name="gpt-neo">{{Cite web|url=https://github.com/EleutherAI/gpt-neo|title=GPT Neo|date=March 15, 2023|via=GitHub}}</ref> || 825 GiB<ref name="Pile">{{cite arXiv |last1=Gao |first1=Leo |last2=Biderman |first2=Stella |last3=Black |first3=Sid |last4=Golding |first4=Laurence |last5=Hoppe |first5=Travis |last6=Foster |first6=Charles |last7=Phang |first7=Jason |last8=He |first8=Horace |last9=Thite |first9=Anish |last10=Nabeshima |first10=Noa |last11=Presser |first11=Shawn |last12=Leahy |first12=Connor |title=The Pile: An 800GB Dataset of Diverse Text for Language Modeling |eprint=2101.00027|date=31 December 2020 |class=cs.CL}}</ref> 
|90<ref name=":1" />|| {{yes|MIT}}<ref name=vb-gpt-neo/>
| The first of [[EleutherAI#GPT models|a series of free GPT-3 alternatives]] released by EleutherAI. GPT-Neo outperformed an equivalent-size GPT-3 model on some benchmarks, but was significantly worse than the largest GPT-3.<ref name=vb-gpt-neo/>
|-
| [[GPT-J]] || {{dts|June 2021}} || [[EleutherAI]] || {{sort|6000000000|6 billion}}<ref name="JxohJ">{{Cite web |title=GPT-J-6B: An Introduction to the Largest Open Source GPT Model {{!}} Forefront |url=https://www.forefront.ai/blog-posts/gpt-j-6b-an-introduction-to-the-largest-open-sourced-gpt-model |access-date=2023-02-28 |website=www.forefront.ai |language=en |archive-date=9 मार्च 2023 |archive-url=https://web.archive.org/web/20230309205439/https://www.forefront.ai/blog-posts/gpt-j-6b-an-introduction-to-the-largest-open-sourced-gpt-model |url-status=dead }}</ref> || 825 GiB<ref name="Pile" /> 
|200<ref name=":3">{{Cite arXiv |last1=Dey |first1=Nolan |last2=Gosal |first2=Gurpreet |last3=Zhiming |last4=Chen |last5=Khachane |first5=Hemant |last6=Marshall |first6=William |last7=Pathria |first7=Ribhu |last8=Tom |first8=Marvin |last9=Hestness |first9=Joel |date=2023-04-01 |title=Cerebras-GPT: Open Compute-Optimal Language Models Trained on the Cerebras Wafer-Scale Cluster |class=cs.LG |eprint=2304.03208}}</ref>|| {{yes|Apache 2.0}}
| GPT-3-style language model
|-
| Megatron-Turing NLG || {{dts|October 2021}}<ref name="BwnW5">{{cite web |last1=Alvi |first1=Ali |last2=Kharya |first2=Paresh |title=Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the World's Largest and Most Powerful Generative Language Model |url=https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/ |website=Microsoft Research |date=11 October 2021}}</ref> || [[Microsoft]] and [[Nvidia]] || {{sort|530000000000|530 billion}}<ref name=mtnlg-preprint/> || {{sort|338600000000|338.6 billion}} tokens<ref name=mtnlg-preprint/> 
|16000<ref name=":1" />|| {{no|Restricted web access}}
| Standard architecture but trained on a supercomputing cluster.
|-
| Ernie 3.0 Titan || {{dts|December 2021}} || [[Baidu]] || {{sort|260000000000|260 billion}}<ref name="qeOB8">{{Cite arXiv|title=ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation|first1=Shuohuan|last1=Wang|first2=Yu|last2=Sun|first3=Yang|last3=Xiang|first4=Zhihua|last4=Wu|first5=Siyu|last5=Ding|first6=Weibao|last6=Gong|first7=Shikun|last7=Feng|first8=Junyuan|last8=Shang|first9=Yanbin|last9=Zhao|first10=Chao|last10=Pang|first11=Jiaxiang|last11=Liu|first12=Xuyi|last12=Chen|first13=Yuxiang|last13=Lu|first14=Weixin|last14=Liu|first15=Xi|last15=Wang|first16=Yangfan|last16=Bai|first17=Qiuliang|last17=Chen|first18=Li|last18=Zhao|first19=Shiyong|last19=Li|first20=Peng|last20=Sun|first21=Dianhai|last21=Yu|first22=Yanjun|last22=Ma|first23=Hao|last23=Tian|first24=Hua|last24=Wu|first25=Tian|last25=Wu|first26=Wei|last26=Zeng|first27=Ge|last27=Li|first28=Wen|last28=Gao|first29=Haifeng|last29=Wang|date=December 23, 2021|class=cs.CL |eprint=2112.12731}}</ref> || 4 Tb 
| || {{no|Proprietary}}
| Chinese-language LLM. [[Ernie Bot]] is based on this model.
|-
| Claude<ref name="i8jc4">{{cite web |title=Product |url=https://www.anthropic.com/product |website=Anthropic |access-date=14 March 2023 |language=en}}</ref> || {{dts|December 2021}} || [[Anthropic]] || {{sort|52000000000|52 billion}}<ref name="AnthroArch">{{cite arXiv |last1=Askell |first1=Amanda |last2=Bai |first2=Yuntao |last3=Chen |first3=Anna |last4=Drain |first4=Dawn |last5=Ganguli |first5=Deep |last6=Henighan |first6=Tom |last7=Jones |first7=Andy |last8=Joseph |first8=Nicholas |last9=Mann |first9=Ben |last10=DasSarma |first10=Nova |last11=Elhage |first11=Nelson |last12=Hatfield-Dodds |first12=Zac |last13=Hernandez |first13=Danny |last14=Kernion |first14=Jackson |last15=Ndousse |first15=Kamal |last16=Olsson |first16=Catherine |last17=Amodei |first17=Dario |last18=Brown |first18=Tom |last19=Clark |first19=Jack |last20=McCandlish |first20=Sam |last21=Olah |first21=Chris |last22=Kaplan |first22=Jared |display-authors=3 |title=A General Language Assistant as a Laboratory for Alignment |eprint=2112.00861 |date=9 December 2021 |class=cs.CL}}</ref> || {{sort|400000000000|400 billion}} tokens<ref name="AnthroArch" /> 
| || {{partial success|Closed beta}}
| Fine-tuned for desirable behavior in conversations.<ref name="RZqhw">{{cite arXiv |last1=Bai |first1=Yuntao |last2=Kadavath |first2=Saurav |last3=Kundu |first3=Sandipan |last4=Askell |first4=Amanda |last5=Kernion |first5=Jackson |last6=Jones |first6=Andy |last7=Chen |first7=Anna |last8=Goldie |first8=Anna |last9=Mirhoseini |first9=Azalia |last10=McKinnon |first10=Cameron |last11=Chen |first11=Carol |last12=Olsson |first12=Catherine |last13=Olah |first13=Christopher |last14=Hernandez |first14=Danny |last15=Drain |first15=Dawn |last16=Ganguli |first16=Deep |last17=Li |first17=Dustin |last18=Tran-Johnson |first18=Eli |last19=Perez |first19=Ethan |last20=Kerr |first20=Jamie |last21=Mueller |first21=Jared |last22=Ladish |first22=Jeffrey |last23=Landau |first23=Joshua |last24=Ndousse |first24=Kamal |last25=Lukosuite |first25=Kamile |last26=Lovitt |first26=Liane |last27=Sellitto |first27=Michael |last28=Elhage |first28=Nelson |last29=Schiefer |first29=Nicholas |last30=Mercado |first30=Noemi |last31=DasSarma |first31=Nova |last32=Lasenby |first32=Robert |last33=Larson |first33=Robin |last34=Ringer |first34=Sam |last35=Johnston |first35=Scott |last36=Kravec |first36=Shauna |last37=Showk |first37=Sheer El |last38=Fort |first38=Stanislav |last39=Lanham |first39=Tamera |last40=Telleen-Lawton |first40=Timothy |last41=Conerly |first41=Tom |last42=Henighan |first42=Tom |last43=Hume |first43=Tristan |last44=Bowman |first44=Samuel R. |last45=Hatfield-Dodds |first45=Zac |last46=Mann |first46=Ben |last47=Amodei |first47=Dario |last48=Joseph |first48=Nicholas |last49=McCandlish |first49=Sam |last50=Brown |first50=Tom |last51=Kaplan |first51=Jared |display-authors=3 |title=Constitutional AI: Harmlessness from AI Feedback |eprint=2212.08073 |date=15 December 2022 |class=cs.CL}}</ref>
|-
| GLaM (Generalist Language Model) || {{dts|December 2021}} || Google || {{sort|1200000000000|1.2 trillion}}<ref name=glam-blog/> || {{sort|1600000000000|1.6 trillion}} tokens<ref name=glam-blog/> 
| 5600<ref name="glam-blog" />|| {{no|Proprietary}}
| Sparse mixture-of-experts model, making it more expensive to train but cheaper to run inference compared to GPT-3.
|-
| Gopher || {{dts|December 2021}} || [[DeepMind]] || {{sort|280000000000|280 billion}}<ref name="mD5eE">{{cite web |title=Language modelling at scale: Gopher, ethical considerations, and retrieval |url=https://www.deepmind.com/blog/language-modelling-at-scale-gopher-ethical-considerations-and-retrieval |website=www.deepmind.com |access-date=20 March 2023 |language=en}}</ref> || {{sort|300000000000|300 billion}} tokens<ref name="hoffman" /> 
|5833<ref name=":4">Table 20 of ''[https://storage.googleapis.com/pathways-language-model/PaLM-paper.pdf PaLM: Scaling Language Modeling with Pathways]''</ref>|| {{no|Proprietary}}
| 
|-
| [[LaMDA]] (Language Models for Dialog Applications) || {{dts|January 2022}} || Google || {{sort|137000000000|137 billion}}<ref name=lamda-blog/> ||  1.56T words,<ref name=lamda-blog/> {{sort|168000000000|168 billion}} tokens<ref name="hoffman" /> 
|4110<ref name="DMs9Z">{{Cite arXiv |last1=Thoppilan |first1=Romal |last2=De Freitas |first2=Daniel |last3=Hall |first3=Jamie |last4=Shazeer |first4=Noam |last5=Kulshreshtha |first5=Apoorv |last6=Cheng |first6=Heng-Tze |last7=Jin |first7=Alicia |last8=Bos |first8=Taylor |last9=Baker |first9=Leslie |last10=Du |first10=Yu |last11=Li |first11=YaGuang |last12=Lee |first12=Hongrae |last13=Zheng |first13=Huaixiu Steven |last14=Ghafouri |first14=Amin |last15=Menegali |first15=Marcelo |date=2022-01-01 |title=LaMDA: Language Models for Dialog Applications |class=cs.CL |eprint=2201.08239}}</ref>|| {{no|Proprietary}}
| Specialized for response generation in conversations.
|-
| GPT-NeoX || {{dts|February 2022}} || [[EleutherAI]] || {{sort|20000000000|20 billion}}<ref name="gpt-neox-20b">{{cite conference |title=GPT-NeoX-20B: An Open-Source Autoregressive Language Model |conference=Proceedings of BigScience Episode #5 -- Workshop on Challenges & Perspectives in Creating Large Language Models |date=2022-05-01 |last1=Black |first1=Sidney |last2=Biderman |first2=Stella |last3=Hallahan |first3=Eric |display-authors=etal |volume=Proceedings of BigScience Episode #5 -- Workshop on Challenges & Perspectives in Creating Large Language Models |pages=95–136 |url=https://aclanthology.org/2022.bigscience-1.9/ |access-date=2022-12-19}}</ref> || 825 GiB<ref name="Pile" /> 
|740<ref name=":3" />|| {{yes|Apache 2.0}}
| based on the Megatron architecture
|-
| [[Chinchilla AI|Chinchilla]] || {{dts|March 2022}} || [[DeepMind]] || {{sort|70000000000|70 billion}}<ref name=chinchilla-blog/> || {{sort|1400000000000|1.4 trillion}} tokens<ref name=chinchilla-blog/><ref name="hoffman">{{cite arXiv |last1=Hoffmann |first1=Jordan |last2=Borgeaud |first2=Sebastian |last3=Mensch |first3=Arthur |last4=Buchatskaya |first4=Elena |last5=Cai |first5=Trevor |last6=Rutherford |first6=Eliza |last7=Casas |first7=Diego de Las |last8=Hendricks |first8=Lisa Anne |last9=Welbl |first9=Johannes |last10=Clark |first10=Aidan |last11=Hennigan |first11=Tom |last12=Noland |first12=Eric |last13=Millican |first13=Katie |last14=Driessche |first14=George van den |last15=Damoc |first15=Bogdan |last16=Guy |first16=Aurelia |last17=Osindero |first17=Simon |last18=Simonyan |first18=Karen |last19=Elsen |first19=Erich |last20=Rae |first20=Jack W. |last21=Vinyals |first21=Oriol |last22=Sifre |first22=Laurent |title=Training Compute-Optimal Large Language Models |eprint=2203.15556 |date=29 March 2022 |class=cs.CL |display-authors=3}}</ref> 
|6805<ref name=":4" />|| {{no|Proprietary}}
| Reduced-parameter model trained on more data. Used in the [[Sparrow (bot)|Sparrow]] bot.
|-
| [[PaLM]] (Pathways Language Model) || {{dts|April 2022}} || Google || {{sort|540000000000|540 billion}}<ref name=palm-blog/> || {{sort|768000000000|768 billion}} tokens<ref name=chinchilla-blog/> 
|29250<ref name=":4" />|| {{no|Proprietary}}
| aimed to reach the practical limits of model scale
|-
| OPT (Open Pretrained Transformer) || {{dts|May 2022}} || [[Meta Platforms|Meta]] || {{sort|175000000000|175 billion}}<ref name="jlof8">{{cite web |title=Democratizing access to large-scale language models with OPT-175B |url=https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/ |website=ai.facebook.com |language=en}}</ref> || {{sort|180000000000|180 billion}} tokens<ref name="QjTIc">{{cite arXiv |last1=Zhang |first1=Susan |last2=Roller |first2=Stephen |last3=Goyal |first3=Naman |last4=Artetxe |first4=Mikel |last5=Chen |first5=Moya |last6=Chen |first6=Shuohui |last7=Dewan |first7=Christopher |last8=Diab |first8=Mona |last9=Li |first9=Xian |last10=Lin |first10=Xi Victoria |last11=Mihaylov |first11=Todor |last12=Ott |first12=Myle |last13=Shleifer |first13=Sam |last14=Shuster |first14=Kurt |last15=Simig |first15=Daniel |last16=Koura |first16=Punit Singh |last17=Sridhar |first17=Anjali |last18=Wang |first18=Tianlu |last19=Zettlemoyer |first19=Luke |title=OPT: Open Pre-trained Transformer Language Models |eprint=2205.01068 |date=21 June 2022|class=cs.CL}}</ref> 
|310<ref name=":3" />|| {{partial success|Non-commercial research}}{{efn|The smaller models including 66B are publicly available, while the 175B model is available on request.}}
| GPT-3 architecture with some adaptations from Megatron
|-
|YaLM 100B || {{dts|June 2022}} || [[Yandex]] || {{sort|100000000000|100 billion}}<ref name="yalm-repo">{{Citation |last1=Khrushchev |first1=Mikhail |title=YaLM 100B |date=2022-06-22 |url=https://github.com/yandex/YaLM-100B |access-date=2023-03-18 |last2=Vasilev |first2=Ruslan |last3=Petrov |first3=Alexey |last4=Zinov |first4=Nikolay}}</ref>
|| 1.7TB<ref name="yalm-repo" /> || |2500<ref name=":1" /> || {{Yes|Apache 2.0}} || English-Russian model based on Microsoft's Megatron-LM.
|-
| Minerva || {{dts|June 2022}} || Google || {{sort|540000000000|540 billion}}<ref name="minerva-paper" /> || 38.5B tokens from webpages filtered for mathematical content and from papers submitted to the arXiv preprint server<ref name="minerva-paper">{{cite arXiv |last1=Lewkowycz |first1=Aitor |last2=Andreassen |first2=Anders |last3=Dohan |first3=David |last4=Dyer |first4=Ethan |last5=Michalewski |first5=Henryk |last6=Ramasesh |first6=Vinay |last7=Slone |first7=Ambrose |last8=Anil |first8=Cem |last9=Schlag |first9=Imanol |last10=Gutman-Solo |first10=Theo |last11=Wu |first11=Yuhuai |last12=Neyshabur |first12=Behnam |last13=Gur-Ari |first13=Guy |last14=Misra |first14=Vedant |title=Solving Quantitative Reasoning Problems with Language Models |date=30 June 2022 |class=cs.CL |eprint=2206.14858}}</ref>  
|32000<ref name=":1" />|| {{no|Proprietary}}
| LLM trained for solving "mathematical and scientific questions using step-by-step reasoning".<ref name="FfCNK">{{cite web |title=Minerva: Solving Quantitative Reasoning Problems with Language Models |url=https://ai.googleblog.com/2022/06/minerva-solving-quantitative-reasoning.html |website=ai.googleblog.com |date=30 June 2022 |access-date=20 March 2023 |language=en}}</ref> Minerva is based on PaLM model, further trained on mathematical and scientific data.
|-
| [[BLOOM (language model)|BLOOM]] || {{dts|July 2022}} || Large collaboration led by [[Hugging Face]] || {{sort|175000000000|175 billion}}<ref name="bigger-better">{{cite journal |journal=Nature |last=Ananthaswamy|first=Anil |title=In AI, is bigger always better? |date=8 March 2023 |volume=615 |issue=7951 |pages=202–205 |doi=10.1038/d41586-023-00641-w |pmid=36890378 |bibcode=2023Natur.615..202A |s2cid=257380916 |url=https://www.nature.com/articles/d41586-023-00641-w}}</ref> || {{sort|350000000000|350 billion}} tokens (1.6TB)<ref name="B8wB2">{{cite web |title=bigscience/bloom · Hugging Face |url=https://huggingface.co/bigscience/bloom |website=huggingface.co}}</ref> 
|2100<ref name=":1" />|| {{yes|Responsible AI}}
| Essentially GPT-3 but trained on a multi-lingual corpus (30% English excluding programming languages)
|-
| Galactica || {{dts|November 2022}} || [[Meta Platforms|Meta]] || {{sort|120000000000|120 billion}} || {{sort|350000000000|106 billion}} tokens<ref name="37sY6">{{cite arXiv |last1=Taylor |first1=Ross |last2=Kardas |first2=Marcin |last3=Cucurull |first3=Guillem |last4=Scialom |first4=Thomas |last5=Hartshorn |first5=Anthony |last6=Saravia |first6=Elvis |last7=Poulton |first7=Andrew |last8=Kerkez |first8=Viktor |last9=Stojnic |first9=Robert |title=Galactica: A Large Language Model for Science |date=16 November 2022 |class=cs.CL |eprint=2211.09085}}</ref> 
|unknown|| {{partial success|CC-BY-NC-4.0}}
| Trained on scientific text and modalities.
|-
| AlexaTM (Teacher Models) || {{dts|November 2022}} || [[Amazon (company)|Amazon]] || {{sort|20000000000|20 billion}}<ref name="u5szh">{{cite web |title=20B-parameter Alexa model sets new marks in few-shot learning |url=https://www.amazon.science/blog/20b-parameter-alexa-model-sets-new-marks-in-few-shot-learning |website=Amazon Science |language=en |date=2 August 2022}}</ref> || {{sort|1300000000000|1.3 trillion}}<ref name="HaA7l">{{cite arXiv |last1=Soltan |first1=Saleh |last2=Ananthakrishnan |first2=Shankar |last3=FitzGerald |first3=Jack |last4=Gupta |first4=Rahul |last5=Hamza |first5=Wael |last6=Khan |first6=Haidar |last7=Peris |first7=Charith |last8=Rawls |first8=Stephen |last9=Rosenbaum |first9=Andy |last10=Rumshisky |first10=Anna |last11=Prakash |first11=Chandana Satya |last12=Sridhar |first12=Mukund |last13=Triefenbach |first13=Fabian |last14=Verma |first14=Apurv |last15=Tur |first15=Gokhan |last16=Natarajan |first16=Prem |display-authors=3|title=AlexaTM 20B: Few-Shot Learning Using a Large-Scale Multilingual Seq2Seq Model |eprint=2208.01448 |date=3 August 2022|class=cs.CL}}</ref> 
| || {{partial success|public web API}}<ref name="rpehM">{{cite web |title=AlexaTM 20B is now available in Amazon SageMaker JumpStart {{!}} AWS Machine Learning Blog |url=https://aws.amazon.com/blogs/machine-learning/alexatm-20b-is-now-available-in-amazon-sagemaker-jumpstart/ |website=aws.amazon.com |access-date=13 March 2023 |date=17 November 2022}}</ref>
| bidirectional sequence-to-sequence architecture
|-
| [[LLaMA]] (Large Language Model Meta AI) || {{dts|February 2023}} || [[Meta Platforms|Meta]] || {{sort|65000000000|65 billion}}<ref name=llama-blog/> || {{sort|1400000000000|1.4 trillion}}<ref name=llama-blog/> 
|6300<ref name=":5">{{Cite web |title=The Falcon has landed in the Hugging Face ecosystem |url=https://huggingface.co/blog/falcon |access-date=2023-06-20 |website=huggingface.co}}</ref><ref name=":1" />|| {{partial success|Non-commercial research}}{{efn|Facebook's license and distribution scheme restricted access to approved researchers, but the model weights were leaked and became widely available.}}
| Trained on a large 20-language corpus to aim for better performance with fewer parameters.<ref name=llama-blog/> Researchers from Stanford University trained a fine-tuned model based on LLaMA weights, called Alpaca.<ref name="KBedq">{{Cite web|url=https://crfm.stanford.edu/2023/03/13/alpaca.html|title=Stanford CRFM|website=crfm.stanford.edu}}</ref>
|-
| [[GPT-4]] || {{dts|March 2023}} || OpenAI || Exact number unknown, approximately {{sort|1000000000000|1 trillion}} {{efn|As stated in Technical report: "Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method ..."<ref name="GPT4Tech">{{Cite web |date=2023 |title=GPT-4 Technical Report |url=https://cdn.openai.com/papers/gpt-4.pdf |website=[[OpenAI]] |access-date=March 14, 2023 |archive-date=March 14, 2023 |archive-url=https://web.archive.org/web/20230314190904/https://cdn.openai.com/papers/gpt-4.pdf |url-status=live}}</ref> Approximate number in the comparison chart that compares the relative storage, from the same report.}} || Unknown 
|| 240000 (estimated)<ref name=":1" />|| {{partial success|public web API}}
| Available for ChatGPT Plus users and used in [[GPT-4#Usage|several products]].
|-
|Cerebras-GPT
|{{dts|March 2023}}
|Cerebras
|{{sort|13000000000|13 billion}}<ref name="D0k2a">{{Cite web|url=https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/|title=Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models|first=Nolan|last=Dey|date=March 28, 2023|website=Cerebras}}</ref>
| 
|270<ref name=":3" />|| {{yes|Apache 2.0}}
| Trained with Chinchilla formula.
|-
| Falcon || {{dts|March 2023}} || [[Technology Innovation Institute]] || {{sort|40000000000|40 billion}}<ref name="falcon">{{cite web |title=Abu Dhabi-based TII launches its own version of ChatGPT |url=https://fastcompanyme.com/news/abu-dhabi-based-tii-launches-its-own-version-of-chatgpt/ |website=tii.ae}}</ref> || 1 trillion tokens, from RefinedWeb (filtered web text corpus)<ref name="Xb1gq">{{Cite arXiv |last1=Penedo |first1=Guilherme |last2=Malartic |first2=Quentin |last3=Hesslow |first3=Daniel |last4=Cojocaru |first4=Ruxandra |last5=Cappelli |first5=Alessandro |last6=Alobeidli |first6=Hamza |last7=Pannier |first7=Baptiste |last8=Almazrouei |first8=Ebtesam |last9=Launay |first9=Julien |date=2023-06-01 |title=The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only |class=cs.CL |eprint=2306.01116}}</ref> plus some "curated corpora".<ref name="gzTNw">{{Cite web |date=2023-06-09 |title=tiiuae/falcon-40b · Hugging Face |url=https://huggingface.co/tiiuae/falcon-40b |access-date=2023-06-20 |website=huggingface.co}}</ref> 
|2800<ref name=":5" />|| {{yes|Apache 2.0}}<ref name="Wmlcs">[https://www.businesswire.com/news/home/20230531005608/en/UAE’s-Falcon-40B-World’s-Top-Ranked-AI-Model-from-Technology-Innovation-Institute-is-Now-Royalty-Free UAE’s Falcon 40B, World’s Top-Ranked AI Model from Technology Innovation Institute, is Now Royalty-Free], 31 May 2023</ref>
| Training cost around 2700 petaFLOP-days, 75% that of GPT-3.
|-
| BloombergGPT || {{dts|March 2023}} || [[Bloomberg L.P.]] || {{sort|50000000000|50 billion}} || 363 billion token dataset based on Bloomberg's data sources, plus 345 billion tokens from general purpose datasets<ref name="nGOSu">{{Cite arXiv|title=BloombergGPT: A Large Language Model for Finance|first1=Shijie|last1=Wu|first2=Ozan|last2=Irsoy|first3=Steven|last3=Lu|first4=Vadim|last4=Dabravolski|first5=Mark|last5=Dredze|first6=Sebastian|last6=Gehrmann|first7=Prabhanjan|last7=Kambadur|first8=David|last8=Rosenberg|first9=Gideon|last9=Mann|date=March 30, 2023|class=cs.LG |eprint=2303.17564}}</ref> 
| || {{no|Proprietary}}
| LLM trained on financial data from proprietary sources, that "outperforms existing models on financial tasks by significant margins without sacrificing performance on general LLM benchmarks" 
|-
| PanGu-Σ || {{dts|March 2023}} || [[Huawei]] || {{sort|1085000000000|1.085 trillion}} || 329 billion tokens<ref name="9WSFw">{{Cite arXiv|title=PanGu-Σ: Towards Trillion Parameter Language Model with Sparse Heterogeneous Computing|first1=Xiaozhe|last1=Ren|first2=Pingyi|last2=Zhou|first3=Xinfan|last3=Meng|first4=Xinjing|last4=Huang|first5=Yadao|last5=Wang|first6=Weichao|last6=Wang|first7=Pengfei|last7=Li|first8=Xiaoda|last8=Zhang|first9=Alexander|last9=Podolskiy|first10=Grigory|last10=Arshinov|first11=Andrey|last11=Bout|first12=Irina|last12=Piontkovskaya|first13=Jiansheng|last13=Wei|first14=Xin|last14=Jiang|first15=Teng|last15=Su|first16=Qun|last16=Liu|first17=Jun|last17=Yao|date=March 19, 2023|class=cs.CL |eprint=2303.10845}}</ref> 
| || {{no|Proprietary}}
| 
|-
| OpenAssistant<ref name="JiOl8">{{Cite arXiv |last1=Köpf |first1=Andreas |last2=Kilcher |first2=Yannic |last3=von Rütte |first3=Dimitri |last4=Anagnostidis |first4=Sotiris |last5=Tam |first5=Zhi-Rui |last6=Stevens |first6=Keith |last7=Barhoum |first7=Abdullah |last8=Duc |first8=Nguyen Minh |last9=Stanley |first9=Oliver |last10=Nagyfi |first10=Richárd |last11=ES |first11=Shahul |last12=Suri |first12=Sameer |last13=Glushkov |first13=David |last14=Dantuluri |first14=Arnav |last15=Maguire |first15=Andrew |date=2023-04-14 |title=OpenAssistant Conversations -- Democratizing Large Language Model Alignment |class=cs.CL |eprint=2304.07327}}</ref> || {{dts|March 2023}} || [[LAION]] || {{sort|17000000000|17 billion}} || 1.5 trillion tokens 
| || {{yes|Apache 2.0}}
| Trained on crowdsourced open data
|-
| [[PaLM|PaLM 2]] (Pathways Language Model 2) || {{dts|May 2023}} || Google || {{sort|340000000000|340 billion}}<ref name="cnbc-20230516">{{cite web |last=Elias |first=Jennifer |url=https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html |title=Google's newest A.I. model uses nearly five times more text data for training than its predecessor |work=[[CNBC]] |date=16 May 2023 |access-date=18 May 2023}}</ref> || {{sort|3600000000000|3.6 trillion}} tokens<ref name="cnbc-20230516" /> 
|85000<ref name=":5" />|| {{no|Proprietary}}
| Used in [[Bard (chatbot)|Bard chatbot]].<ref name="pWyLA">{{Cite web|url=https://blog.google/technology/ai/google-palm-2-ai-large-language-model/|title=Introducing PaLM 2|date=May 10, 2023|website=Google}}</ref>
|-
| Llama 2 || {{dts|July 2023}} || Meta || {{sort|70000000000|70 billion}}<ref name="meta-20230719">{{Cite web | url = https://ai.meta.com/llama/ | title = Introducing Llama 2: The Next Generation of Our Open Source Large Language Model | access-date = 2023-07-19 | website = Meta AI | language = en | date = 2023}}</ref> || {{sort|2000000000000|2 trillion}} tokens<ref name="meta-20230719" /> 
| || {{partial success|Llama 2 license}}
| Successor of LLaMA.
|}

== अग्रिम पठन==
* [[Dan Jurafsky|Jurafsky, Dan]], Martin, James. H. [https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf ''Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition''], 3rd Edition draft, 2023. 
* {{cite arXiv |eprint=2207.09238 |class=cs.LG |first1=Mary |last1=Phuong |first2=Marcus |last2=Hutter |title=Formal Algorithms for Transformers |date=2022}}
* {{cite arXiv |eprint=2303.10130 |class=econ.GN |first1=Tyna |last1=Eloundou |first2=Sam |last2=Manning |title=GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models |last3=Mishkin |first3=Pamela |last4=Rock |first4=Daniel |year=2023}}
* {{cite arXiv |last1=Eldan |first1=Ronen |last2=Li |first2=Yuanzhi |title=TinyStories: How Small Can Language Models Be and Still Speak Coherent English? |date=2023 |class=cs.CL |eprint=2305.07759}}
* {{cite journal |last1=Frank |first1=Michael C. |title=Baby steps in evaluating the capacities of large language models |journal=Nature Reviews Psychology |date=27 June 2023 |pages=1–2 |doi=10.1038/s44159-023-00211-x |s2cid=259713140 |url=https://www.nature.com/articles/s44159-023-00211-x |access-date=2 July 2023 |language=en |issn=2731-0574}}
* {{cite arXiv |last1=Zhao |first1=Wayne Xin |last2=Zhou |first2=Kun |last3=Li |first3=Junyi |display-authors=1 |title=A Survey of Large Language Models |date=2023 |class=cs.CL |eprint=2303.18223 }}
* {{cite arXiv |last1=Kaddour |first1=Jean |display-authors=etal |title=Challenges and Applications of Large Language Models |date=2023 |class=cs.CL |eprint=2307.10169 }}

== टिप्पणियां==
{{notelist}}

== सन्दर्भ ==
{{टिप्पणीसूची}}
[[श्रेणी: बड़े भाषा मॉडल]]