AI का संक्षिप्त इतिहास

docs.scrimba.com

जब ChatGPT 2022 के अंत में आया, तो ऐसा लगा कि AI रातोंरात प्रकट हो गया था। एक हफ्ता पहले लगभग कोई भी सादी भाषा में कंप्यूटर से बात नहीं कर रहा था; अगले हफ्ते, सभी थे। यह एक आकर्षक कहानी है, और यह एक तरीके से गलत भी है जो महत्वपूर्ण है, क्योंकि यह छुपाता है कि ये सिस्टम कहां से आए हैं।

चैट बॉक्स नया था। इसके नीचे का विज्ञान नहीं था। जो आप उपयोग कर रहे हैं वह लगभग सत्तर साल के काम का दृश्यमान सिरा है, विचारों का एक स्टैक जहां हर एक आखिरी वाले को जो छत तक पहुंची थी उसे तोड़ता है। उस रास्ते को जानना तुच्छ नहीं है। यह आपको बताता है कि इस क्षेत्र के कौन से हिस्से टिकाऊ हैं और कौन से फैशन हैं, जो हर सुर्खी का पीछा करने और जो आप करते हैं उसे समझने के बीच का अंतर है।

कंप्यूटर को नियम बताना

इस क्षेत्र का जन्मदिन है। 1956 में शोधकर्ताओं का एक छोटा समूह Dartmouth College में एक अब-प्रसिद्ध ग्रीष्मकालीन कार्यशाला में मिला और विचार को इसका नाम दिया: कृत्रिम बुद्धिमत्ता। कुछ साल पहले, 1950 में, Alan Turing, ब्रिटिश गणितज्ञ जिसने कंप्यूटिंग को स्वयं आविष्कार करने में मदद की थी, ने पहले से ही उस सवाल को रखा था जो अभी भी इस क्षेत्र पर लटका हुआ है, क्या मशीन आपको कभी समझा सकती है कि वह सोच रही है (एक विचार जिसे अब Turing test के रूप में जाना जाता है)।

पहला जवाब दशकों तक चला और एक समझदारी भरे विचार पर आधारित था: अगर आप चाहते हैं कि कंप्यूटर बुद्धिमान हो, तो बुद्धिमत्ता के नियम हाथ से लिख दें। विशेषज्ञों ने अपने ज्ञान को लंबी if-this-then-that सूचियों के रूप में समझाया, और इन्हें चलाने वाले कार्यक्रमों को expert systems कहा जाता था। संकीर्ण, सुव्यवस्थित समस्याओं के लिए, जैसे किसी विशेष प्रकार की बीमारी का निदान करना या मशीन को आदेश में कॉन्फ़िगर करना, वे काम करते थे।

फिर वे एक दीवार से टकराए, और वह दीवार उस युग का सबक है। असली दुनिया के पास बहुत सारे नियम हैं, और उनमें से अधिकांश को कोई भी बता नहीं सकता। आप एक बिल्ली को एक कुत्ते से तुरंत बताते हैं, लेकिन यह सटीक नियम लिखने का प्रयास करें जो उन्हें अलग करता है और आप सप्ताह भर इसमें व्यस्त रहेंगे और फिर भी मामलों को मिस करेंगे। हाथ से कोडित ज्ञान वास्तविकता की गड़बड़ी तक मापता नहीं है, और उस छत को तोड़ना अगले विचार के लिए क्या था।

Junoकंप्यूटर को नियम बताना तो AI बिल्कुल भी नया नहीं है, नाम 1956 का है, और Turing ने 1950 में बड़ा सवाल पूछा था। पहला विचार प्राकृतिक था: अगर आप चाहते हैं कि कंप्यूटर स्मार्ट हो, तो सभी नियमों को हाथ से लिख दें। यह सुव्यवस्थित छोटी समस्याओं के लिए काम करता था और असली समस्याओं पर टूट गया, क्योंकि एक बिल्ली को एक कुत्ते से अलग करने का सटीक नियम लिखने का प्रयास करें। आप नहीं कर सकते, और वह यहां पूरा सबक है।

Junoकंप्यूटर को नियम बताना शुरुआती दशकों का मुख्य बिंदु: लोगों ने if-then नियमों के रूप में बुद्धिमत्ता को हाथ से लिखने का प्रयास किया, expert systems। संकीर्ण, सुव्यवस्थित समस्याओं के लिए ठीक है, गड़बड़ाहट भरी समस्याओं के लिए बेकार है। कारण महत्वपूर्ण है क्योंकि यह बार-बार वापस आता है: अधिकांश वास्तविक दुनिया का ज्ञान हाथ से बताने के लिए बहुत विशाल और बहुत अस्पष्ट है। वह दीवार वह थी जिसके चारों ओर हर बाद का विचार बनाया गया था।

Junoकंप्यूटर को नियम बताना AI को 1956 में इसका नाम मिला, Turing के 1950 के सवाल के ऊपर, तो कोई भी इसे बिल्कुल नया कहना अगर उसने बहुत कुछ नहीं पढ़ा है। पहला दृष्टिकोण बुद्धिमत्ता के नियमों को हाथ से लिखना था। यह खिलौना समस्याओं पर टिक गया और असली समस्याओं पर ढह गया, उसी कारण से जो हमेशा करता है: आप दुनिया के गड़बड़ाहट भरे हिस्सों को हाथ से नहीं लिख सकते। याद रखें कि अगली बार जब कोई कहे कि उन्हें यह सब मैप हो गया है।

इसके बजाय उन्हें सीखने दें

अगर आप नियम नहीं लिख सकते, तो विकल्प मशीन को उन्हें खोजने देना है। कंप्यूटर को यह बताने के बजाय कि एक बिल्ली को कुत्ते से कैसे अलग किया जाए, आप इसे हजारों लेबल किए गए उदाहरण दिखाते हैं और इसे पैटर्न को स्वयं काम करने देते हैं। यह मशीन लर्निंग है, और यह नौकरी को पलट देता है: आप प्रोग्रामिंग का जवाब बंद कर देते हैं और डेटा सरबराह करना शुरू करते हैं, फिर प्रोग्राम को नियम का अनुमान लगाने दें।

वहां का रास्ता चिकना नहीं था। दो बार इस क्षेत्र ने वह करने का वादा किया जो वह कर नहीं सकता था, पैसा सूख गया, और प्रगति वर्षों तक रुक गई। उन खिंचावों को AI winters के रूप में याद किया जाता है, और वे इतिहास की सबसे तेज चेतावनी हैं। AI को पहले ओवरहाइप किया गया है, एक से अधिक बार, और हर चक्र उतना ही निश्चित महसूस होता था जितना यह करता है। वह तकनीक जो अंत में भुगतान करी थी वह शायद ही कभी उस समय सबसे जोर से वादे करने वाली थी।

Junoइसके बजाय उन्हें सीखने दें यहां चतुर फ्लिप है: नियम लिखने के बजाय, आप मशीन को भारी उदाहरण दिखाते हैं और इसे पैटर्न को काम करने देते हैं। वह मशीन लर्निंग है। वहां का रास्ता चिकना नहीं था, AI winters नामक लंबे ठंडे खिंचाव थे जहां सभी को उत्साह हो गया, पैसा सूख गया, और प्रगति रुक गई। याद रखने योग्य है जब यह सब बहुत निश्चित महसूस होता है: यह पहले निश्चित महसूस हुआ है।

Junoइसके बजाय उन्हें सीखने दें मशीन लर्निंग नौकरी को पलट देता है: उत्तर लिखना बंद करें, डेटा सरबराह करें, प्रोग्राम को नियम का अनुमान लगाने दें। ले जाने के लिए उपयोगी फ्रेम। लेकिन इतिहास में एक चेतावनी बेक की हुई है, AI winters, दो खिंचाव जहां क्षेत्र ने ओवरप्रॉमिस किया और फंडिंग ढह गई। AI को पहले ओवरहाइप किया गया है, एक से अधिक बार, और सबसे जोर से वादा उस समय शायद ही कभी तकनीक थी जो भुगतान करी।

Junoइसके बजाय उन्हें सीखने दें अगर आप नियम नहीं लिख सकते, तो मशीन को उदाहरणों से खोजने दें। वह धुरी है, और यह एक अच्छी है। जो मैं वास्तव में चाहता हूं कि आप रखें वह दूसरा आधा है: AI winters। दो बार क्षेत्र ने चंद्रमा का वादा किया, पैसा वाष्पित हुआ, और सब कुछ वर्षों के लिए जम गया। हर चक्र इस तरह अपरिहार्य महसूस होता था। मैंने इसी कारण से कमरे में सबसे जोर से आवाज पर भरोसा करना बंद कर दिया।

डीप लर्निंग सफल होता है

शुरुआती मशीन लर्निंग अभी भी लोगों पर निर्भर था ताकि डेटा की किन विशेषताओं को हाथ से चुना जाए, हाथ से कोडिंग समस्या का अपना छोटा संस्करण। ब्रेक एक पुराने विचार से आया जिसे अंत में वह चाहिए था: तंत्रिका नेटवर्क, मोटे तौर पर मस्तिष्क की कोशिकाओं द्वारा संकेत कैसे पास करते हैं इस पर प्रेरित, जो कच्चे डेटा से सीधे अपनी विशेषताओं को सीखते हैं।

वह विचार 1950 के दशक से आसपास था और कभी काफी अच्छी तरह से काम नहीं किया। 2012 के आसपास दो चीजें बदल गईं। एक डिजिटाइज़ किए गए इंटरनेट से अचानक पर्याप्त डेटा था, और वीडियो गेम के लिए बनाए गए ग्राफिक्स चिप्स से सस्ती कंप्यूटिंग शक्ति थी, इन नेटवर्क को एक आकार पर प्रशिक्षित करने के लिए जो भुगतान किया। एक तंत्रिका नेटवर्क (AlexNet) ने एक प्रमुख image-recognition contest को एक विस्तृत मार्जिन से जीता, और क्षेत्र लगभग तुरंत दृष्टिकोण के चारों ओर पुनर्गठित किया। यह डीप लर्निंग है, इसके बाद आने वाली सब चीजों का इंजन।

उस सफलता का आकार अक्सर दोहराया जाता है नाम देने के लिए: विचार नया नहीं था, डेटा और कंप्यूट थे। बहुत सी AI प्रगति एक अचानक छलांग की तरह दिखती है और वास्तव में एक पुराना विचार है जो संसाधनों से मिलता है कि यह प्रतीक्षा कर रहा था।

Junoडीप लर्निंग सफल होता है तंत्रिका नेटवर्क मोटे तौर पर मस्तिष्क की कोशिकाओं द्वारा संकेत कैसे पास करते हैं इस पर प्रेरित हैं, और नीट चीज यह है कि वे स्वयं के लिए यह समझते हैं कि डेटा के किन बिट्स मायने रखते हैं। विचार 1950 के दशक से है, लेकिन यह वास्तव में 2012 के आसपास काम करता था, एक बार पर्याप्त डेटा था और इसे सही तरीके से प्रशिक्षित करने के लिए सस्ती कंप्यूटिंग शक्ति थी। एक नेटवर्क ने एक छवि प्रतियोगिता को कुचल दिया और पूरा क्षेत्र एक डाइम में बदल गया। पुराना विचार, नया ईंधन, एक पैटर्न जो आप फिर से देखेंगे।

Junoडीप लर्निंग सफल होता है डीप लर्निंग की चाल: तंत्रिका नेटवर्क कच्चे डेटा से अपनी विशेषताओं को सीखते हैं लोगों को हाथ से चुने जाने के बजाय। यह 2012 के आसपास क्लिक किया गया जब दो चीजें दिखाई दीं, एक डिजिटाइज़ किए गए इंटरनेट के डेटा के लायक और गेमिंग चिप्स से सस्ती GPU कंप्यूट, और एक नेटवर्क एक बड़ी छवि प्रतियोगिता को एक विस्तृत मार्जिन से जीता। सबक है: बहुत सी "अचानक" AI प्रगति एक पुराना विचार है जो अंत में उन संसाधनों से मिलता है कि यह प्रतीक्षा कर रहा था।

Junoडीप लर्निंग सफल होता है तंत्रिका नेटवर्क 1950 के दशक से हैं और आधी सदी के लिए वहां बैठे हुए नहीं-काफी-काम कर रहे हैं। फिर 2012 के आसपास डेटा और सस्ती कंप्यूट अंत में पकड़े, एक मॉडल एक छवि प्रतियोगिता को शर्मनाक मार्जिन से जीता, और सभी रातोंरात विचार को फिर से खोजा। वह आकार है अधिकांश "breakthroughs" जो मैंने देखे हैं: विचार पुराना था, संसाधन नए थे। मुझे डेमो से मोहित होने से बचाता है।

ट्रांसफॉर्मर

डीप लर्निंग छवियों पर मजबूत था। भाषा कठिन थी, क्योंकि अर्थ इस बात पर निर्भर करता है कि शब्द पूरे वाक्य या पैराग्राफ में कैसे संबंधित हैं, और पहले के नेटवर्क पाठ को एक शब्द में एक बार पढ़ते थे और किसी भी दूरी पर धागो को खो देते थे।

2017 में एक शोध पत्र ने ट्रांसफॉर्मर नामक डिजाइन का परिचय दिया, जो attention नामक एक तंत्र के चारों ओर बनाया गया: शब्द दर शब्द पढ़ने के बजाय, यह तौलता है कि हर शब्द एक बार सभी अन्य शब्दों से कैसे संबंधित है। यह एक छोटा वास्तुकला विस्तार की तरह लगता है। यह अनलॉक था। एक ट्रांसफॉर्मर पाठ की विशाल मात्रा पर कुशलतापूर्वक प्रशिक्षित करता है, और यह अधिक पाठ और बड़ा नेटवर्क दिया जाता है तो सुधार करता रहा। वह अंतिम संपत्ति, कि स्केल भुगतान करता रहा बजाय चपटा होने के, तब से सब कुछ सेट करता है।

इस पुस्तिका में हर मॉडल, और ChatGPT जैसे उपकरणों के पीछे चैट बॉक्स, एक ट्रांसफॉर्मर दिल में है। जब आप How LLMs work तक पहुंचते हैं, तो भविष्यवाणी लूप जो आप वहां सीखते हैं वह यह आर्किटेक्चर अपनी एक नौकरी कर रहा है।

Junoट्रांसफॉर्मर भाषा कठिन थी, क्योंकि अर्थ इस बात पर निर्भर करता है कि शब्द पूरे वाक्य में कैसे जुड़ते हैं, और पुराने नेटवर्क एक शब्द में एक बार पढ़ते थे और धागो को खो देते थे। फिर 2017 में ट्रांसफॉर्मर आया, attention नामक एक चाल के साथ जो देखता है कि हर शब्द एक बार सभी अन्य शब्दों से कैसे संबंधित है। वह अनलॉक था। हर मॉडल जो आप पूरा करेंगे, चैट बॉक्स सहित, एक ट्रांसफॉर्मर नीचे है। काफी जंगली, सही है?

Junoट्रांसफॉर्मर 2017 ट्रांसफॉर्मर आर्किटेक्चर है जो यहां आप जो कुछ भी स्पर्श करेंगे। इसका कदम attention है: हर शब्द एक बार सभी अन्य शब्दों से कैसे संबंधित है यह तौलें, बजाय बाएं दाएं पढ़ने के और भूल जाने के। वह वास्तव में मायने रखता है कि यह अधिक पाठ और कंप्यूट को चलाता है, बजाय चपटा होने के। वह "scale keeps paying" संपत्ति पूरे युग को सेट करता है।

Junoट्रांसफॉर्मर छवियां हल हो गई थीं; भाषा नहीं, क्योंकि अर्थ इस बात में जीता है कि शब्द दूरी पर कैसे संबंधित हैं और पुराने नेटवर्क एक शब्द में एक बार पढ़ते थे। 2017 ट्रांसफॉर्मर ने इसे attention के साथ ठीक किया, हर शब्द को एक बार सभी अन्य के विरुद्ध तौलते हुए। एक फुटनोट की तरह लगता है, अनलॉक था। वह संपत्ति जो खेल को बदल गई उसे कागज पर उबाऊ: यह स्केल करते समय सुधार करता रहा। तब से सब कुछ वह एक विचार है, स्केल किया जाता है जब तक यह महंगा नहीं हो गया।

LLM युग और ChatGPT पल

ट्रांसफॉर्मर हाथ में, एक प्रश्न लिया: क्या होता है अगर आप इसे बड़ा करते हैं और इसे अधिक खिलाते हैं? उत्तर, 2018 से मॉडल की एक पंक्ति में दोहराया, यह है कि यह अधिक सक्षम तरीकों में बढ़ता रहा जिसे किसी ने हाथ से प्रोग्राम नहीं किया था। अगले शब्द की भविष्यवाणी करने के लिए प्रशिक्षित, सार्वजनिक इंटरनेट के अधिकांश में, ये मॉडल व्याकरण, तथ्य, अनुवाद, और एक मोटा तर्क भी सीखते हैं क्योंकि उस एकल कार्य के दुष्प्रभाव। ये बड़े भाषा मॉडल हैं, और अगला अध्याय इस बारे में है कि वह भविष्यवाणी वास्तव में कैसे काम करती है।

तो यह 2022 के अंत में अचानक महसूस क्यों हुआ? क्योंकि अधिकांश लोगों ने जो मिला वह नया मॉडल नहीं था, यह एक नया दरवाजा था। अंतर्निहित क्षमता वर्षों तक शोध प्रयोगशालाओं और डेवलपर उपकरणों के अंदर निर्माण कर रहा था। ChatGPT ने इसे एक सादा चैट बॉक्स में लपेटा जिसे कोई भी खोल सकता था, मुक्त, कोई सेटअप के साथ। प्रौद्योगिकी दशक के लिए आ रही थी; इंटरफेस एक बार में आया, और वह वह हिस्सा है जिसे जनता ने शुरुआत के रूप में अनुभव किया।

JunoLLM युग और ChatGPT पल ट्रांसफॉर्मर को बड़ा करें, इसे अधिकांश इंटरनेट खिलाएं, और कुछ आश्चर्यजनक होता है: कुछ भी से नहीं बल्कि अगले शब्द की भविष्यवाणी करने से, यह व्याकरण, तथ्य, यहां तक ​​कि एक मोटा तर्क भी अपने आप से पकड़ता है। वह बड़े भाषा मॉडल हैं। और 2022 में ChatGPT? वह एक नया आविष्कार नहीं था, यह एक नया दरवाजा था, एक सादा चैट बॉक्स जिसने अंत में सभी को अंदर जाने दिया। प्रौद्योगिकी दशक के लिए आ रही थी; दरवाजा एक बार खुल गया।

JunoLLM युग और ChatGPT पल ट्रांसफॉर्मर को स्केल करें, सार्वजनिक इंटरनेट पर अगले शब्द की भविष्यवाणी करने के लिए प्रशिक्षित करें, और व्याकरण, तथ्य, और मोटा तर्क दुष्प्रभाव के रूप में बाहर आता है। वह एक LLM है। 2022 के अंत के लिए पुनर्विचार: ChatGPT नई प्रौद्योगिकी नहीं था, यह एक नया इंटरफेस था। क्षमता वर्षों के लिए प्रयोगशालाओं में निर्माण कर रही थी; सादा चैट बॉक्स ने इसे रातोंरात सभी के सामने रखा, और वह हिस्सा है जिसे जनता ने शुरुआत के रूप में अनुभव किया।

JunoLLM युग और ChatGPT पल इसे बड़ा करें, इसे इंटरनेट खिलाएं, और एक अगली शब्द भविष्यवाणीकर्ता चुपचाप कुछ में बदल जाता है जो लिखता है, अनुवाद करता है, और एक फैशन के बाद कारण बताता है। वह LLMs हैं। लोग सोचते हैं कि दुनिया नवंबर 2022 में बदल गई। यह नहीं; इंटरफेस किया। क्षमता वर्षों के लिए शोध और dev उपकरणों में बना रहा था, और ChatGPT ने इसे चैट बॉक्स में लपेटा जिसे कोई भी खोल सकता था। नया दरवाजा, पुरानी इमारत।

दशकों पर खड़ा होना

रास्ते को अंत तक रखें और आकार स्पष्ट है। हाथ से लिखे हुए नियमों ने मशीनों को रास्ता दिया जो डेटा से सीखते हैं, जो नेटवर्क को रास्ता दिया जो अपनी विशेषताओं को सीखते हैं, जो ट्रांसफॉर्मर और खोज को रास्ता दिया कि स्केल भुगतान करता रहता है। हर कदम पिछले वाले को छत को तोड़ देता है, लगभग सत्तर साल में। आज के मॉडल उस इतिहास की टिप हैं, इसकी शुरुआत नहीं।

यह अपने लिए एक इतिहास पाठ नहीं है। यह कारण है कि यह पुस्तिका सुर्खियों के बजाय fundamentals के साथ शुरू होती है। क्षेत्र उत्साह और सर्दी के चक्रों में चलता है, और इस महीने शीर्ष पर मॉडल को बदल दिया जाएगा। जो प्रतिस्थापित नहीं होता है वह यह समझ है कि ये सिस्टम कैसे काम करते हैं, उसी तरह जैसे हर युग के विचार उन पर बनाए गए उत्पादों को समाप्त कर दिए। रास्ते का सम्मान करें, टिकाऊ परत सीखें, और अगली लॉन्च कुछ बन जाती है जिसे आप रख सकते हैं बजाय कुछ जो आपको नॉक करता है।

अगला अध्याय, Using AI well, जहां ये सिस्टम आए हैं से कहां जाता है कि वास्तव में उनके साथ कैसे काम किया जाए: जहां AI आपके दिन में एक स्थान अर्जित करता है, जहां यह नहीं करता है, और अपने निर्णय को कैसे रखें जबकि बाकी क्षेत्र अपना सिर खो देता है।

Junoदशकों पर खड़ा होना इसे सब कुछ बाहर रखें और आकार सुंदर है: हाथ से लिखे हुए नियमों ने डेटा से सीखने का रास्ता दिया, फिर नेटवर्क जो अपनी विशेषताओं को सीखते हैं, फिर ट्रांसफॉर्मर और स्केल, हर एक आखिरी को छत को तोड़ देता है, लगभग सत्तर साल में। आज के मॉडल सब का टिप हैं, शुरुआत नहीं। यही कारण है कि हम यहां कैसे चीजें काम करती हैं सीखते हैं, सुर्खियां नहीं, क्योंकि समझ वह हिस्सा है जो चारों ओर रहता है।

Junoदशकों पर खड़ा होना अंत तक: नियम, फिर डेटा से सीखना, फिर स्वचालित रूप से सीखी गई विशेषताएं, फिर ट्रांसफॉर्मर और खोज कि स्केल भुगतान करता रहता है, हर कदम पिछली दीवार के पास, सत्तर साल में। आज के मॉडल टिप हैं, मूल नहीं। fundamentals बनाम सुर्खियों के लिए पूरा तर्क वह है: इस महीने शीर्ष पर मॉडल को बदल दिया जाता है, इन सिस्टम के कैसे काम करते हैं यह समझ नहीं होता है।

Junoदशकों पर खड़ा होना सत्तर साल, चार बड़ा कदम, हर एक पहले को छत को तोड़ता है। आज के मॉडल उस इतिहास का टिप हैं, शुरुआत नहीं, लॉन्च पोस्ट जो कुछ भी कहते हैं। मैं सुर्खियों के बजाय मशीन के साथ शुरू करता हूं एक कारण के लिए: मैंने उत्पाद को शीर्ष पर बार-बार प्रतिस्थापित देखा है, और जो कभी प्रतिस्थापित नहीं किया गया था वह यह समझ है कि यह कैसे काम करता है। टिकाऊ परत सीखें। रैंकिंग किसी और की समस्या है।