Skip to content
This page has been auto-translated and may contain errors.View in English

खुले और बंद मॉडल

docs.scrimba.com

तकनीकी रूप से, एक मॉडल प्रशिक्षित वजन (वह संख्याएं जो इसने प्रशिक्षण के दौरान सीखीं) का एक बड़ा ढेर है जो अगले टोकन की भविष्यवाणी करता है। यह अध्याय उन वजन तक पहुंचने के दो तरीकों के बारे में है, बंद मॉडल जिन्हें आप एक API के माध्यम से किराए पर लेते हैं और ओपन-वेट मॉडल जिन्हें आप स्वयं चला सकते हैं, और इस बारे में कि प्रत्येक वास्तव में कहां चलता है। डिफ़ॉल्ट जिसकी ओर सभी को इशारा किया जाता है वह एक होस्ट की गई बंद मॉडल है, और प्रदाताओं के पास विकल्पों को हाइलाइट करने का कोई कारण नहीं है, इसलिए पूरे मेनू को जानना और यह जानना कि प्रत्येक भाग कब मायने रखता है, यह जानने लायक है।

ओपन वेट, बंद वेट

एक AI मॉडल तक पहुंचने के दो तरीके हैं, और अंतर इस बात पर आता है कि मॉडल वास्तव में कहां रहता है।

पहला तरीका एक बंद मॉडल है, जिसे कभी-कभी मालिकाना कहा जाता है। आप इसे केवल कंपनी की API के माध्यम से प्राप्त करते हैं, जो एक प्रकार का ऑनलाइन द्वार है: आप पाठ भेजते हैं, आप पाठ वापस पाते हैं, और यह पूरा व्यवस्था है। मॉडल के वेट, प्रशिक्षित संख्याओं का विशाल ढेर जो इसे काम करता है, कंपनी के सर्वर पर बंद रहता है। आप कुछ भी स्वामित्व में नहीं ले रहे हैं, केवल एक्सेस किराए पर ले रहे हैं।

दूसरा तरीका एक ओपन-वेट मॉडल है। यहां कंपनी उन वजन को प्रकाशित करती है, इसलिए आप अपनी स्वयं की प्रति डाउनलोड कर सकते हैं और इसे हार्डवेयर पर चला सकते हैं जिसे आप नियंत्रित करते हैं। इसे एक अपार्टमेंट किराए पर लेने के रूप में सोचें जिसकी वायरिंग आपको कभी देखने की अनुमति नहीं होगी, बनाम भवन की योजनाओं की एक प्रति के मालिक होने के रूप में।

अधिकांश लोग एक बंद API से शुरू करते हैं क्योंकि यह प्रवेश द्वार का सबसे आसान रास्ता है, और यह शुरू करने के लिए एक अच्छी जगह है। ओपन विकल्प वास्तविक है और जानने लायक है, इसलिए आप समझते हैं कि किराए पर लेना एक विकल्प है और एकमात्र रास्ता नहीं है।

Junoओपन वेट, बंद वेट एक बंद मॉडल कंपनी के सर्वर पर रहता है और आप इसे उनकी API के माध्यम से प्राप्त करते हैं, इसलिए आप एक्सेस किराए पर ले रहे हैं। एक ओपन-वेट मॉडल के पास इसकी संख्याएं प्रकाशित होती हैं, इसलिए आप एक प्रति डाउनलोड कर सकते हैं और इसे स्वयं चला सकते हैं। एक बंद API से शुरू करना बिल्कुल ठीक है, लेकिन यह जानने में मदद करता है कि दूसरा द्वार मौजूद है।

पूरा अंतर एक प्रश्न पर आता है: वजन किसके पास है? एक बंद या मालिकाना मॉडल के साथ, वजन कभी प्रदाता को नहीं छोड़ता है और आप मॉडल से केवल एक API के माध्यम से बात करते हैं। एक ओपन-वेट मॉडल के साथ, वजन एक लाइसेंस के तहत प्रकाशित होता है जिसे आप डाउनलोड कर सकते हैं और जहां चाहें चला सकते हैं।

यहां सावधान रहें, क्योंकि "ओपन-वेट" "ओपन सोर्स" के समान नहीं है। लगभग हर "ओपन" LLM प्रशिक्षित वजन जारी करता है लेकिन प्रशिक्षण डेटा और प्रशिक्षण कोड को वापस रखता है, इसलिए आप शुरुआत से पूरी तरह से मॉडल को पुन: पेश नहीं कर सकते। कुछ लाइसेंस उपयोग प्रतिबंध भी रखते हैं, ऐसी चीजें जैसे कि कंपनी के आकार की सीमा जो इसका व्यावसायिक रूप से उपयोग कर सकती है, या अनुमत उपयोगों की सीमाएं। प्रतिबद्ध होने से पहले लाइसेंस पढ़ें; "ओपन" एक स्पेक्ट्रम है, एक बाइनरी नहीं।

क्षमता पर, फ्रंटियर बंद मॉडल (किसी भी समय उपलब्ध सबसे सक्षम मॉडल) अक्सर सार्वजनिक बेंचमार्क में नेतृत्व करते हैं। लेकिन मजबूत ओपन-वेट मॉडल वास्तविक कार्यों के एक बड़े हिस्से के लिए काफी करीब हैं, और अंतर समय के साथ कम होता जा रहा है। व्यावहारिक कदम यह मानना नहीं है कि आपको बिल्कुल शीर्ष मॉडल की आवश्यकता है। कई काम एक ओपन के साथ ठीक हैं, और आप इसे अपने कार्य के विरुद्ध परीक्षण करके पता लगाते हैं बजाय एक लीडरबोर्ड के।

Junoओपन वेट, बंद वेट बंद का अर्थ API-केवल है वजन प्रदाता पर रहते हैं; ओपन-वेट का अर्थ है प्रकाशित वजन जिसे आप डाउनलोड कर सकते हैं और चला सकते हैं। ओपन-वेट ओपन सोर्स नहीं है, क्योंकि प्रशिक्षण डेटा और कोड आमतौर पर निजी रहते हैं और लाइसेंस उपयोग को प्रतिबंधित कर सकता है, इसलिए इसे पढ़ें। फ्रंटियर बंद मॉडल बेंचमार्क में नेतृत्व करते हैं, लेकिन एक मजबूत ओपन-वेट मॉडल पर्याप्त वास्तविक काम को संभालता है, इसलिए कार्य पर चुनें।

"ओपन" वास्तव में आपको क्या देता है नियंत्रण है और ताले-इन का अंत। आप सटीक वजन को पिन कर सकते हैं ताकि मॉडल आपके अधीन चुपचाप कभी न बदले, इसके व्यवहार का निरीक्षण कर सकते हैं, और इसे कहीं भी चला सकते हैं जहां आपके पास हार्डवेयर है। यह एक वास्तविक लाभ है जब पुनरुत्पादनशीलता या डेटा निवास महत्वपूर्ण होता है।

इसका मतलब यह नहीं है कि यह आपको एक मुफ्त दोपहर का भोजन देता है। ओपन-वेट लगभग हमेशा वजन-प्लस-लाइसेंस का अर्थ है न कि ओपन-सोर्स: कोई प्रशिक्षण डेटा नहीं, अक्सर गैर-तुच्छ लाइसेंस शर्तें। इसलिए अनुपालन और लाइसेंसिंग समीक्षा आपकी प्लेट पर वास्तविक काम बन जाते हैं, और एक अनुकूल-सुनने वाला मॉडल अभी भी वाणिज्यिक उपयोग या पुनर्वितरण को प्रतिबंधित कर सकता है जो देर से सतह पर आता है यदि आप पढ़ना छोड़ देते हैं।

फ्रंटियर क्षमता अंतराल भी कठिनतम कार्यों के लिए वास्तविक है, भले ही यह सिकुड़ जाए। इसलिए आपके सामने के कार्य पर चुनें, लेबल पर नहीं। दिनचर्या के कार्यों के बड़े हिस्से के लिए एक ओपन-वेट मॉडल काफी है; कठिनाई के किनारे के लिए बंद फ्रंटियर अभी भी जीत सकता है।

जो बात मुझे खुद को याद रखनी है: "ओपन" को वजन और लाइसेंस दोनों के संपत्ति के रूप में मानें, और दोनों को पढ़ें। "मैं इसे डाउनलोड कर सकता हूं" "मैं इसके साथ कुछ भी कर सकता हूं" के समान वाक्य नहीं है, और उन दोनों के बीच का अंतराल मेरे को पहले काटा है।

Junoओपन वेट, बंद वेट ओपन वेट आपको नियंत्रण और ताले-इन से एक भागे खरीदते हैं: पिन किए गए संस्करण, निरीक्षणीय व्यवहार, कहीं भी चलाएं। वे आपको ओपन सोर्स नहीं खरीदते हैं, इसलिए लाइसेंस और अनुपालन समीक्षा के लिए बजट करें, क्योंकि एक मैत्रीपूर्ण दिखने वाला लाइसेंस अभी भी वाणिज्यिक उपयोग को प्रतिबंधित कर सकता है। कार्य पर चुनें, लेबल पर नहीं, और कभी "मैं इसे डाउनलोड कर सकता हूं" को "मैं इसके साथ कुछ भी कर सकता हूं" के रूप में न पढ़ें।

मॉडल कहां चलता है

एक विश्वास तैर रहा है कि एक ओपन मॉडल चुनना मतलब है कि आपको अपने स्वयं के सर्वर सेट अप करने हैं और यह चीज स्वयं चलानी है। यह सच नहीं है, और इसे जल्दी स्पष्ट करना लायक है।

एक मॉडल दो जगहों में से एक में चल सकता है। एक होस्ट की गई मॉडल के साथ, कोई कंपनी इसे अपनी मशीनों पर चलाती है और आप इसे एक API कॉल के साथ वेब पर पहुंचते हैं, जो एक छोटी सी अनुरोध है जो आपका कोड भेजता है और वापस एक जवाब पाता है। आप कभी भी मशीन को छूते नहीं जो इसे चलाता है। स्व-होस्टिंग के साथ, आप मॉडल को स्वयं चलाते हैं, अपने स्वयं के कंप्यूटर या अपने स्वयं के सर्वर पर।

यहां वह हिस्सा है जो लोग मिस करते हैं। एक ओपन मॉडल आपको स्व-होस्टिंग में मजबूर नहीं करता है। आप एक होस्टिंग कंपनी के माध्यम से एक ओपन मॉडल का उपयोग कर सकते हैं एक बंद के समान ही आरामदायक तरीके से: आप एक अनुरोध भेजते हैं, आप एक उत्तर पाते हैं, और कोई और मशीन चलाता रहता है। स्व-होस्टिंग एक विकल्प है जिसे आप ले सकते हैं, एक नियम नहीं जिसे आपको पालन करना है।

Junoमॉडल कहां चलता है एक मॉडल या तो किसी और की मशीन पर चलता है जिसे आप वेब पर पहुंचते हैं, या एक मशीन पर जिसे आप स्वयं चलाते हैं। ओपन मॉडल दोनों तरीके जा सकते हैं, इसलिए एक को चुनना मतलब नहीं है कि आपको अचानक सर्वर का प्रबंधन करना है। आप एक होस्टिंग कंपनी को एक ओपन मॉडल चलाने दे सकते हैं, बिल्कुल जैसे आप एक बंद को करेंगे।

यह दो-बॉक्स मानसिक मॉडल को छोड़ने में मदद करता है, क्योंकि एक मॉडल कहां चलता है यह वास्तव में एक स्पेक्ट्रम है। एक छोर पर, एक बंद मॉडल इसके प्रदाता की API के माध्यम से कहा जाता है। बीच में, एक ओपन-वेट मॉडल एक तीसरे पक्ष के होस्ट द्वारा आपके लिए चलाया जाता है। दूसरे छोर पर, एक ओपन-वेट मॉडल जिसे आप स्वयं चलाते हैं, जो स्व-होस्टिंग है: आप मशीन की आपूर्ति करते हैं और वह प्रोग्राम चलाते हैं जो मॉडल को सेवा देता है।

वह कारण जो उस स्पेक्ट्रम के साथ आगे बढ़ता है सस्ता है: एक व्यापक रूप से अपनाई गई चैट-संदेश API आकृति एक de-facto मानदंड बन गई है, और कई ओपन-मॉडल होस्ट और स्व-होस्ट की गई सर्वर उसी आकृति को उजागर करते हैं। तो प्रदाताओं के बीच स्विच करना अक्सर ज्यादातर एक आधार URL और मॉडल नाम का परिवर्तन है न कि एक पुनर्लेखन (कोड से मॉडल को कॉल करना देखें)। मॉडल को कॉल करने के बारे में कुछ भी आप सीखते हैं वह एक विक्रेता के लिए लॉक नहीं है।

एक नज़र में, स्व-होस्टिंग का मतलब है कि आप हार्डवेयर (एक सक्षम GPU, या एक किराए पर GPU सर्वर) प्रदान करते हैं और मॉडल के सामने एक सेवा कार्यक्रम चलाते हैं। इसे वास्तविक काम मानें जिसके लिए आप साइन अप कर रहे हैं। हम यहां निर्णय स्तर पर रहते हैं और सेटअप में गहराई से नहीं जाते।

Junoमॉडल कहां चलता है एक स्पेक्ट्रम के बारे में सोचें: प्रदाता के माध्यम से बंद, एक तीसरे पक्ष के होस्ट के माध्यम से ओपन, या ओपन स्व-होस्ट किया गया। क्योंकि बहुत सारे एंडपॉइंट एक चैट-संदेश API आकृति साझा करते हैं, उनके बीच कूदना आमतौर पर base_url और मॉडल-नाम स्वैप है, एक पुनर्लेखन नहीं। स्व-होस्टिंग दूर का अंत है जहां आप हार्डवेयर और सेवा के मालिक हैं, इसलिए इसे इरादे से पहुंचें, डिफ़ॉल्ट से नहीं।

स्व-होस्टिंग अवसंरचना है, एक दुष्परिणाम नहीं। जिस क्षण आप मॉडल को स्वयं चलाते हैं आप क्षमता योजना, लोड के तहत स्केलिंग, अपटाइम, सुरक्षा पैच, और मॉडल अपडेट के मालिक हैं। "यह मेरे लैपटॉप पर चलता है" एक डेमो है; उत्पादन एक अलग बिल है।

मध्य पथ जो अधिकांश टीमें छोड़ती हैं वह एक प्रबंधित ओपन-मॉडल होस्ट है। आप ओपन-मॉडल अपसाइड पाते हैं (फ्रंटियर बंद से कम लागत, एक विशिष्ट मॉडल संस्करण को पिन करने की क्षमता, आपका डेटा कहां बैठता है इसके लिए विकल्प, कोई एकल-विक्रेता ताला-इन नहीं) बिना GPUs को स्वयं खड़े किए। de-facto चैट API आकृति आपका बीमा है: अपना कोड उस इंटरफेस में रखें और होस्ट स्विच करना, या बाद में एक मॉडल को घर में खींचना, एक माइग्रेशन के बजाय एक कॉन्फिग परिवर्तन रहता है।

मैंने एक "त्वरित स्व-होस्ट" को एक त्रैमासिक खा जाते देखा है, इसलिए मैं सच्ची स्व-होस्टिंग के लिए आरक्षित करता हूं जब एक विशिष्ट दबाव वास्तव में इसकी मांग करता है: डेटा निवास नियम, पैमाने अर्थशास्त्र जो आपके पक्ष में फ्लिप करता है, या एक मॉडल जिसे आपको अंत तक नियंत्रित करना चाहिए। उन में से एक के अभाव में, प्रबंधित ओपन या होस्ट किया गया बंद उत्तर है।

Junoमॉडल कहां चलता है अपने स्वयं के मॉडल को चलाना मतलब है क्षमता, अपटाइम, पैच, और अपडेट के मालिक होना, इसलिए इसमें भटकें नहीं। टीमों को जो पथ याद आता है वह एक प्रबंधित ओपन-मॉडल होस्ट है: ओपन-मॉडल अर्थशास्त्र और नियंत्रण GPU बेबीसिटिंग के बिना। कोड को मानक चैट API में करें और प्रदाता परिवर्तन कॉन्फिग रहते हैं, माइग्रेशन नहीं। सच्ची स्व-होस्टिंग को डेटा निवास, स्केल गणित, या कठिन मॉडल नियंत्रण जैसे एक ठोस कारण के लिए सहेजें।

जब प्रत्येक समझदारी बनाता है

यहां पूरी पसंद को रखने का एक सरल तरीका है। एक बंद, होस्ट की गई मॉडल किराए पर ले रहा है: सेटअप करने के लिए कुछ भी नहीं है, आप उपलब्ध सर्वश्रेष्ठ गुणवत्ता पाते हैं, और आप इसका उपयोग हर बार थोड़ा भुगतान करते हैं। एक ओपन मॉडल जिसे आप स्वयं चलाते हैं वह मालिक होने के करीब है: आप अधिक नियंत्रण और अधिक गोपनीयता पाते हैं, और कोई प्रदाता को कोई प्रति-उपयोग बिल नहीं है, लेकिन आप इसे चलाते रहने का काम लेते हैं।

अधिकांश लोग एक API के माध्यम से किराए पर लेने से शुरू करने के लिए सही हैं, और अधिकांश को कभी इससे अधिक की आवश्यकता नहीं है। किराए पर लेने से शुरू करना सामान्य, समझदारी वाला पथ है।

इस अध्याय का बिंदु यह नहीं था कि आप अपने स्वयं को चलाने में स्विच करें। यह केवल यह था कि आप जान सकें कि पसंद आपकी है, इसलिए यदि आपकी जरूरतें एक दिन बदलती हैं, तो आप विकल्प को यह समझने के लिए पहचानेंगे कि यह क्या है।

एक मॉडल चुने जाने के साथ, अगला सवाल यह है कि आप इससे कैसे बात करते हैं। अगला अध्याय, Prompting, आपको चुने हुए मॉडल को स्टीयर करने के बारे में है ताकि यह आपको वास्तव में चाहता है दे।

Junoजब प्रत्येक समझदारी बनाता है इसे किराए पर लेने बनाम मालिक होने के रूप में सोचें: एक होस्ट की गई बंद मॉडल किराए पर ले रहा है, एक ओपन मॉडल जिसे आप स्वयं चलाते हैं वह मालिक होने के करीब है। एक API के माध्यम से किराए पर लेना शुरू करने के लिए सही जगह है, और अधिकांश लोग खुशी से वहां रहते हैं। आप अब जानते हैं कि दूसरा द्वार मौजूद है, जो पूरा बिंदु है। अगला Prompting है, जहां हम आपके द्वारा चुने गए मॉडल को स्टीयर करना सीखते हैं।

जब आपको वास्तव में चुनना है, तो कारकों को मोटे तौर पर इस क्रम में तौलें। पहले, क्षमता: क्या एक होस्ट किया गया फ्रंटियर मॉडल इस कार्य पर अपना वजन कमाता है, या एक मजबूत ओपन-वेट मॉडल पहले से ही पर्याप्त है? दूसरा, डेटा संवेदनशीलता: क्या यह डेटा एक प्रदाता की शर्तों के तहत आपकी सीमा छोड़ सकता है, या डेटा निवास (इस बारे में नियम कि डेटा को भौतिक रूप से कहां रहने और संसाधित होने की अनुमति है) इसे बाहर नियम?

तीसरा, लागत वक्र। एक प्रति-टोकन API शुरू करने के लिए सस्ता है और कम मात्रा पर सस्ता रहता है, लेकिन यह स्थिर उच्च मात्रा पर महंगा हो सकता है, जहां निश्चित-लागत स्व-होस्टिंग जीत सकता है। चौथा, नियंत्रण: क्या आपको संस्करणों भर में सटीक व्यवहार को पिन करने की आवश्यकता है, या एक विक्रेता के लिए लॉक हो जाने से बचना चाहिए?

कदम हर बार समान है। एक होस्ट किया गया API से शुरू करें, क्योंकि यह कुछ काम करने के लिए सबसे तेज़ पथ है। फिर केवल तब दोबारा सोचें जब एक विशिष्ट दबाव वास्तव में दिखाई देता है: पैमाने पर लागत, एक गोपनीयता या अनुपालन आवश्यकता, या एक वास्तविक क्षमता या नियंत्रण की आवश्यकता।

सबूत पर निर्णय लें, डिफ़ॉल्ट या विचारधारा पर नहीं। एक बार आपका मॉडल सेट हो जाए, Prompting वह है कि आप इससे विश्वसनीय आउटपुट कैसे पाते हैं।

Junoजब प्रत्येक समझदारी बनाता है क्षमता की आवश्यकता, डेटा संवेदनशीलता, लागत वक्र, और नियंत्रण को क्रम में तौलें। एक होस्ट किया गया API पर शुरू करें क्योंकि यह काम करने का सबसे तेज़ पथ है, फिर केवल तब दोबारा सोचें जब एक ठोस दबाव दिखाई देता है, जैसे उच्च मात्रा पर लागत या एक डेटा निवास नियम। सबूत पर स्विच करें, अनुमान पर नहीं। फिर Prompting में सिर करें इसे जो आप चुने हैं उसे व्यवहार करना सीखने के लिए।

सादा संस्करण। अधिकांश टीमों के लिए एक होस्ट किया गया बंद API सही डिफ़ॉल्ट है, और एक ओपन-वेट मॉडल को स्व-होस्ट करना एक लागत-और-नियंत्रण निर्णय है, गंभीरता का एक बैज नहीं। यह एक निश्चित पैमाने के पास भुगतान करता है, या एक अनुपालन या डेटा-निवास बाधा के तहत, और इससे बहुत पहले नहीं।

तो मोटे तौर पर जानिए कि आपकी मात्रा के लिए लागत वक्र कहां पार करता है, क्योंकि वह पार करने का बिंदु पूरा वित्तीय तर्क है। जान सकें कि आपके डेटा नियमों को वास्तव में क्या चाहिए, वे अस्पष्ट रूप से कैसे महसूस करते हैं इसके विपरीत, जो सुरक्षा और सीमाएं और आप जो भेजते हैं उसके प्रश्न में आता है। और जानिए कि ओपन वेट भी आपको एक प्रदाता की अनुमति के बिना अपनी शर्तों पर स्वतंत्र रूप से सूक्ष्म-ट्यून करने देते हैं (सूक्ष्म-ट्यूनिंग देखें)। विक्रेता ताला-इन से बचना, एक प्रदाता की कीमतों, शर्तों, और मॉडल जीवनचक्र के लिए बांधा जाना, एक ही गणना का हिस्सा है।

इस सब को सीखने का कारण यह नहीं है कि आप जाएं और स्व-होस्ट करें। मैंने लोगों को अपने स्वयं के स्टैक को खड़े करने और इसे साबित करने के लिए बिंदु करते देखा है और दूसरे ऑन-कॉल सप्ताह तक पछताते हैं। यह है कि डिफ़ॉल्ट पथ होस्ट किया गया बंद मॉडल है, और प्रदाताओं के पास आपको विकल्पों की ओर इशारा करने का कोई कारण नहीं है, इसलिए एक इंजीनियर जो पूरे मेनू को जानता है वह एक विरासत के बजाय एक जानबूझकर पसंद करता है।

मॉडल प्रश्न को इसके गुणों पर संभाला, Prompting जहां अच्छे आउटपुट प्राप्त करने का दिन-प्रतिदिन का काम शुरू होता है।

Junoजब प्रत्येक समझदारी बनाता है अधिकांश टीमों के लिए होस्ट किया गया बंद API सही डिफ़ॉल्ट है, और एक ओपन-वेट मॉडल को स्व-होस्ट करना एक लागत-और-नियंत्रण कॉल है जो एक निश्चित पैमाने के पास या एक अनुपालन बाधा के तहत भुगतान करता है, एक व्यक्तित्व लक्षण नहीं। जान सकें कि आपका लागत वक्र कहां पार करता है, जान सकें कि आपके डेटा नियमों को वास्तव में क्या मांग है, और याद रखें ओपन वेट आपको मुक्त सूक्ष्म-ट्यूनिंग और विक्रेता ताला-इन से एक निकास खरीदते हैं। मैंने साबित-ए-बिंदु स्व-होस्ट देखा है, और पश्चाताप वास्तविक है। पूरे मेनू जानें ताकि आप इरादे पर चुनें, फिर Prompting पर जाएं।