オープンモデルとクローズドモデル

docs.scrimba.com

モデルの根底にあるのは、大量の学習済みウェイト（訓練中に学習した数値）であり、次のトークンを予測します。本章では、これらのウェイトがあなたに届く2つの方法、つまりAPIを通じてレンタルするクローズドモデルと、自分で実行できるオープンウェイトモデル、そしてそれぞれが実際にどこで実行されるかについて説明します。デフォルトはホステッドクローズドモデルですが、プロバイダーは代替案をわざわざ強調する理由がないため、全体的な選択肢を知り、どの場合に各アプローチが重要なのかを理解することは価値があります。

オープンウェイト、クローズドウェイト

AIモデルを手に入れる方法は2つあり、その違いはモデルが実際にどこに存在するかに基づいています。

最初の方法はクローズドモデル、プロプライエタリとも呼ばれます。これには企業のAPIを通じてのみアクセスでき、APIはオンラインの玄関のようなものです。テキストを送信すると、テキストが返ってきます。それが全体の仕組みです。モデルのウェイト、つまりそれを機能させる大量の学習済み数値は、企業のサーバーにロックされたままになります。あなたはアクセスをレンタルしているのであり、何も所有していません。

2番目の方法はオープンウェイトモデルです。ここで企業はそのウェイトを公開するため、自分のコピーをダウンロードして、自分が管理するハードウェアで実行できます。これは、自分で決して見ることができない配線を持つアパートをレンタルすることと、建物の計画書のコピーを所有することの違いと考えてください。

ほとんどの人がクローズドAPIで始めるのは、それが最も簡単な入り口だからであり、それは完璧な始まりです。オープンオプションは現実的であり知る価値があるため、レンタルは唯一の道ではなく選択肢であることを理解できます。

Junoオープンウェイト、クローズドウェイト クローズドモデルは企業のサーバーに存在し、そのAPIを通じてアクセスするため、アクセスをレンタルしています。オープンウェイトモデルは数値が公開されており、コピーをダウンロードして自分で実行できます。クローズドAPIで始めるのは完璧に問題ありませんが、他の選択肢が存在することを知ると役立ちます。

全体的な区別は1つの質問に基づいています。ウェイトを保持しているのは誰か？クローズドまたはプロプライエタリモデルの場合、ウェイトはプロバイダーを離れることはなく、APIを通じてのみモデルと通信します。**オープンウェイト**モデルの場合、ウェイトはダウンロードして好きな場所で実行できるライセンスの下で公開されます。

ここで注意が必要です。「オープンウェイト」は「オープンソース」と同じではありません。ほぼすべての「オープン」LLMは学習済みウェイトをリリースしますが、訓練データと訓練コードは非公開にするため、ゼロからモデルを完全に再現することはできません。また、ライセンスは使用制限を伴う場合があります。たとえば、商用利用できる企業のサイズの上限や、許可された用途の制限などです。利用を開始する前にライセンスを読んでください。「オープン」はバイナリではなくスペクトラムです。

能力に関しては、フロンティアクローズドモデル（任意の時点で入手可能な最も能力の高いモデル）は、公開ベンチマークで先行することが多いです。しかし、強力なオープンウェイトモデルは十分に多くの実際のタスクに近く、その差は時間とともに縮まり続けています。実践的な動きは、絶対的なトップモデルが必要だと想定しないことです。多くのジョブはオープンモデルで十分に対応でき、リーダーボードではなく自分のタスクに対してテストすることでそれを発見します。

Junoオープンウェイト、クローズドウェイト クローズドはAPIのみでウェイトがプロバイダーに留まります。オープンウェイトは公開ウェイトをダウンロードして実行できることを意味します。オープンウェイトはオープンソースではありません。訓練データとコードは通常非公開のままで、ライセンスは使用を制限する可能性があるため、読んでください。フロンティアクローズドモデルはベンチマークで先行していますが、強力なオープンウェイトモデルは十分な実際の作業に対応しているため、タスクに基づいて選択してください。

「オープン」が実際に買うのは、制御と囲い込みからの脱却です。正確なウェイトをピンすることができるため、モデルが密かに変わることはなく、その動作を検査でき、ハードウェアがある場所ならどこでも実行できます。再現性やデータレジデンシーが重要な場合、これは実質的な利点です。

これが買わないのはタダ飯です。**オープンウェイト**はほぼ常にウェイト+ライセンスではなくオープンソースを意味します。訓練データがなく、多くの場合、非自明なライセンス条件があります。したがって、コンプライアンスとライセンスレビューは実際にあなたのプレートに入る仕事になり、わかりやすく見えるモデルでも、読むのをスキップすると後で出てくる方法で商用利用または再配布を制限できます。

フロンティア能力ギャップは、縮小したとしても、最も難しいタスクでも実際です。したがって、ラベルではなく、あなたの前にあるタスクに基づいて選択してください。ルーチンワークの大部分については、オープンウェイトモデルで十分です。難しさの端については、クローズドフロンティアがまだ勝つかもしれません。

自分自身に何度も思い出させなければならないこと。「オープン」をウェイトとライセンスの両方の特性として扱い、両方を読んでください。「ダウンロードできます」は「何でもできます」と同じ文ではなく、その2つのギャップは以前に私を噛んでいます。

Junoオープンウェイト、クローズドウェイト オープンウェイトは制御と囲い込みからの脱却を買います。ピンされたバージョン、検査可能な動作、どこでも実行できます。これらはオープンソースを買いません。ライセンスと仕様レビューの予算を立ててください。わかりやすく見えるライセンスでも、商用利用を禁止できるため。タスクに基づいて選択し、「ダウンロードできます」を「何でもできます」と読まないでください。

モデルが実行される場所

オープンモデルを選択することは、独自のサーバーをセットアップして自分でそれを実行する必要があることを意味するという信念が流れています。これは事実ではなく、早期に明確にする価値があります。

モデルは2つの場所のいずれかで実行できます。ホステッドモデルでは、企業が自分のマシンでそれを実行し、APIコールでウェブを通じてアクセスします。これは、コードが送出する小さなリクエストで、答えが返ってくる小さなリクエストです。そのマシンを実行しているコンピュータには決して触れません。セルフホスティングでは、自分のコンピュータまたは自分のサーバー上で、モデルを自分で実行します。

人々が見落とす部分はここです。オープンモデルはセルフホスティングを強要しません。クローズドモデルを使用するのと同じ快適な方法で、ホスティング企業を通じてオープンモデルを使用できます。リクエストを送信し、答えを取得します。誰かが機械を実行させ続けます。セルフホスティングは取ることができるオプションであり、従わなければならないルールではありません。

Junoモデルが実行される場所 モデルはウェブを通じてアクセスする他誰かのマシンで実行されるか、自分で実行するマシンで実行されます。オープンモデルはどちらの方法でも利用できるため、モデルを選択することは、突然サーバーを管理する必要があることを意味しません。ホスティング企業がオープンモデルを実行することができ、クローズドモデルと全く同じです。

2ボックスのメンタルモデルを削除するのに役立ちます。モデルが実行される場所は実際にはスペクトラムです。一方の端では、プロバイダーのAPIを通じて呼び出されるクローズドモデル。真ん中では、サードパーティのホストによって実行されるオープンウェイトモデル。もう一方の端では、自分で実行するオープンウェイトモデルであり、これは**セルフホスティング**です。マシンを供給し、モデルを提供するプログラムを実行します。

そのスペクトラムに沿って移動する理由は安い。広く採用されたチャットメッセージAPIの形状は事実上の標準になり、多くのオープンモデルホストとセルフホストサーバーがその同じ形状を公開します。したがって、プロバイダーを切り替えることは、多くの場合、ベースURLとモデル名の変更ではなく、書き換え（コードからのモデルの呼び出しを参照）です。モデルの呼び出しについて学ぶことは、1つのベンダーにロックされません。

一目で、セルフホスティングは、有能なGPUまたはレンタルGPUサーバーであるハードウェアを提供し、モデルの前に提供プログラムを実行することを意味します。これを、あなたが署名しているリアルワークとして扱ってください。私たちは決定レベルに留まり、セットアップにさらに深く進みません。

Junoモデルが実行される場所 スペクトラムを考えてください。プロバイダー経由でクローズド、サードパーティホスト経由でオープン、またはセルフホストオープン。多くのエンドポイントが1つのチャットメッセージAPI形状を共有しているため、それらの間をホップするのは、通常、base_urlとモデル名スワップであり、再書き込みではありません。セルフホスティングは、ハードウェアと提供を所有する遠い端です。目的を持ってそれに到達し、デフォルトではなく。

セルフホスティングはインフラストラクチャであり、サイドクエストではありません。モデルを自分で実行する瞬間、容量計画、負荷の下でのスケーリング、稼働時間、セキュリティパッチング、およびモデル更新を所有します。「ラップトップで実行される」はデモです。本番環境は異なる請求書です。

ほとんどのチームがスキップする中間パスは、マネージドオープンモデルホストです。オープンモデルのアップサイド（フロンティアクローズドよりも低コスト、特定のモデルバージョンをピンできる能力、データが配置される場所のオプション、単一ベンダーロックインなし）を取得しますが、自分でGPUを立ち上げます。事実上のチャットAPI形状はあなたの保険です。そのインターフェイスにコードを保つし、ホストを切り替えるか、モデルを後で社内に引き込むため、マイグレーションではなく設定変更のままです。

「クイックセルフホスト」が四半期を食べるのを見ています。そのため、実際のセルフホスティングは、特定の圧力が実際に要求するときのために予約します。データレジデンシールール、スケール経済があなたの好意でフリップしている、またはエンドツーエンドで制御する必要があるモデル。これらの1つがない場合、マネージドオープンまたはホステッドクローズドが答えです。

Junoモデルが実行される場所 自分のモデルを実行することは、容量、稼働時間、パッチング、および更新を所有することを意味しています。GPUベビーシッティングなしでオープンモデル経済と制御を取得するマネージドオープンモデルホストというパスに気付かないのはチーム。標準チャットAPIにコードを書くと、プロバイダーの変更は設定のままになり、マイグレーションではありません。データレジデンシー、スケール数学、またはハード制御のような具体的な理由のために実際のセルフホスティングを保存してください。

各アプローチが適切な場合

全体的な選択を保つための簡単な方法は以下の通りです。クローズドのホステッドモデルをレンタルしています。セットアップするものはなく、利用可能な最高の品質を取得し、それを使用するたびに少し支払います。自分で実行するオープンモデルは、所有に近いです。より多くの制御とより多くのプライバシーを取得し、プロバイダーに行く使用ごとの請求書はありませんが、それを実行させ続けるための作業を引き受けます。

ほとんどの人がAPIを通じてレンタルで始めるのは正しいであり、ほとんどは何もそれ以上必要としません。最初にレンタルするのは正常で、思慮深いパスです。

この章のポイントは、自分で実行するために切り替える必要があるということではありませんでした。あなたが選択肢を知るべきであり、したがって、あなたのニーズが一日変わるなら、あなたはそれが何であるかのためのオプションを認識するでしょう。

モデルが選ばれて、次の質問は、それとどのように話すかです。次の章であるプロンプティングは、あなたが着陸したモデルを操作し、それが実際に望むものを与えるようにすることについてです。

Juno各アプローチが適切な場合 レンタルと所有を考えてください。ホステッドクローズドモデルはレンタルであり、自分で実行するオープンモデルは所有に近いです。APIを通じてレンタルするのは始めるのに適切な場所であり、ほとんどの人は幸せにそこに留まります。あなたは現在、別のドアが存在することを知っています。これが全体のポイントです。次はプロンプティングです。ここで、あなたが選んだモデルを操作することを学びます。

実際に選択する必要がある場合、大体この順序で要因を検討してください。まず、能力。ホステッドフロンティアモデルはこのタスクで稼ぎ続けますか？または、強力なオープンウェイトモデルはすでに十分ですか？次に、データの感度。このデータはプロバイダーの利用規約の下であなたの境界を離れることができますか？または、データレジデンシー（データが物理的に存在し、処理される場所についてのルール）がそれを除外しますか？

3番目は、コストカーブ。トークンごとのAPIは低いボリュームで安いままですが、定期的な高いボリュームで高価になる可能性があり、固定コストのセルフホスティングが勝つことができます。4番目は、制御。バージョン間で正確な動作をピンする必要がありますか？または、1つのベンダーに関わることを避けることができますか？

移動はほとんどの時間と同じです。ホステッドAPIで始まります。何か動作していることへの最速パスだからです。その後、具体的な圧力が実際に表示されたときのみ再検討します。スケールでのコスト、プライバシーまたはコンプライアンス要件、またはリアル能力または制御の必要性。

証拠に基づいて決定し、デフォルトまたはイデオロギーに基づいていません。モデルが決まったら、プロンプティングはそれから信頼できる出力を得る方法です。

Juno各アプローチが適切な場合 必要な能力、データの感度、コストカーブ、制御の4つのことを順番に検討してください。ホステッドAPIで始まります。これにより、あなたは最速です。具体的な圧力が表示されたときのみ再検討します。高ボリュームのコストまたはデータレジデンシールールのような。証拠に基づいて切り替え、直感ではありません。その後、プロンプティングに向かい、あなたが選んだことを行わせます。

平原版。ほとんどのチームにとって、ホステッドクローズドAPIは正しいデフォルトであり、オープンウェイトモデルのセルフホスティングはコスト・コントロール決定であり、真剣さのバッジではありません。特定のスケールを超えるか、コンプライアンスまたはデータレジデンシーの制約の下で支払う必要があり、それ以前は多くはありません。

したがって、あなたのボリュームのコストカーブがどこで交差するか大体知ってください。その交差点は全体の財政的議論です。あなたのデータルールが実際に要求するものを知ってください。彼らが模糊に感じるものではなく、これは安全性と制限と、あなたが送信するものについての質問が入ってきます。そして、オープンウェイトはまた、プロバイダーの許可を求めることなく、あなた自身の条件で自由に微調整することができます（微調整を参照）。ベンダーロックイン（1つのプロバイダーの価格、利用規約、およびモデルライフサイクルに関わること）を避けることは、同じ計算の一部です。

これをすべて学ぶ理由は、セルフホストに行き、ポイントを証明し、2番目のオンコール週までに後悔するために行きます。それは、デフォルトパスはホステッドクローズドモデルであり、プロバイダーは代替案を指すほとんど理由がないため、全体のメニューを知っているエンジニアは、継承されたのではなく意図的な選択をします。

モデルの質問は、その長所に基づいて処理されました。プロンプティングは、良い出力を得ることの日々の仕事が始まります。

Juno各アプローチが適切な場合 ほとんどのチームについて、ホステッドクローズドAPIは正しいデフォルトであり、オープンウェイトモデルのセルフホスティングは、個性特性ではなく、特定のスケールを超えるか、コンプライアンス制約の下で支払う費用・制御呼び出しです。コストカーブがどこで交差するか知ってください。あなたのデータルールが本当に要求するものを知ってください。オープンウェイトは無料の微調整とベンダーロックインからの出口を購入することを覚えておいてください。ポイント証明セルフホストを見ていますし、後悔は本物です。全体のメニューを学び、目的で選択し、プロンプティングに進みます。