오픈 모델과 클로즈드 모델

docs.scrimba.com

근본적으로 모델은 훈련된 가중치(훈련 중에 학습한 숫자)의 거대한 더미로 다음 토큰을 예측합니다. 이 장은 그 가중치가 당신에게 도달하는 두 가지 방식, 즉 API를 통해 임차하는 클로즈드 모델과 직접 실행할 수 있는 오픈 가중치 모델에 대한 것이고, 각각 실제로 어디에서 실행되는지에 관한 것입니다. 기본값은 호스팅된 클로즈드 모델이고 제공업체들은 대안을 강조할 이유가 거의 없으므로, 전체 메뉴를 알고 각 부분이 언제 중요한지 아는 것이 가치 있습니다.

오픈 가중치, 클로즈드 가중치

AI 모델을 손에 넣는 방법에는 두 가지가 있으며, 차이점은 모델이 실제로 어디에 있는지로 귀결됩니다.

첫 번째 방식은 클로즈드 모델이며, 때로는 독점이라고도 합니다. 회사의 API를 통해서만 접근할 수 있으며, 이는 일종의 온라인 관문입니다. 텍스트를 보내면 텍스트를 받고, 그것이 전부입니다. 모델을 작동하게 하는 훈련된 숫자의 거대한 더미인 모델의 가중치는 회사의 서버에 잠겨 있습니다. 당신은 소유권이 아닌 접근권을 임차하고 있습니다.

두 번째 방식은 오픈 가중치 모델입니다. 여기서 회사는 그 가중치를 공개하므로, 자신의 복사본을 다운로드하고 자신이 제어하는 하드웨어에서 실행할 수 있습니다. 절대 볼 수 없는 배선을 가진 아파트를 임차하는 것과 건물의 설계도 사본을 소유하는 것으로 생각해보세요.

대부분의 사람들은 클로즈드 API로 시작합니다. 왜냐하면 그것이 가장 쉬운 입구이기 때문이고, 그것은 시작하기에 좋은 곳입니다. 오픈 옵션은 실제이고 알 가치가 있으므로, 임차가 선택이지 유일한 경로가 아님을 이해합니다.

Juno오픈 가중치, 클로즈드 가중치 클로즈드 모델은 회사의 서버에 있고 API를 통해 접근하므로 접근권을 임차합니다. 오픈 가중치 모델은 숫자가 공개되어 있어서 사본을 다운로드하고 직접 실행할 수 있습니다. 클로즈드 API로 시작하는 것은 완벽하게 좋지만, 다른 문이 존재한다는 것을 아는 것이 도움이 됩니다.

전체 구별은 한 가지 질문으로 귀결됩니다. 누가 가중치를 보유하는가? 클로즈드 또는 독점 모델의 경우, 가중치는 제공업체를 떠나지 않으며 API를 통해서만 모델과 대화합니다. 오픈 가중치 모델의 경우, 가중치는 라이선스에 따라 공개되며 원하는 곳 어디든 다운로드하고 실행할 수 있습니다.

여기서 조심하세요. "오픈 가중치"는 "오픈 소스"와 같지 않습니다. 거의 모든 "오픈" LLM은 훈련된 가중치를 공개하지만 훈련 데이터와 훈련 코드는 비공개로 유지하므로 처음부터 완전히 모델을 재현할 수 없습니다. 일부 라이선스는 상용 사용이 허용되는 회사 규모의 상한선이나 허용된 사용 제한과 같은 사용 제한도 있습니다. 약속하기 전에 라이선스를 읽으세요. "오픈"은 이진이 아닌 스펙트럼입니다.

기능 면에서, 프론티어 클로즈드 모델(주어진 시간에 사용 가능한 가장 유능한 모델)은 종종 공개 벤치마크를 주도합니다. 하지만 강력한 오픈 가중치 모델은 실제 작업의 상당 부분에 충분히 가깝고, 간격은 계속 좁혀집니다. 실질적인 움직임은 절대 최고의 모델이 필요하다고 가정하지 않는 것입니다. 많은 작업은 오픈 모델로 잘 처리되며, 리더보드가 아닌 자신의 작업에 대해 테스트함으로써 알아냅니다.

Juno오픈 가중치, 클로즈드 가중치 클로즈드는 API 전용이며 가중치는 제공업체에 남아 있습니다. 오픈 가중치는 공개된 가중치를 의미하며 다운로드하고 실행할 수 있습니다. 오픈 가중치는 오픈 소스가 아니며, 훈련 데이터와 코드가 일반적으로 비공개이고 라이선스가 사용을 제한할 수 있으므로 읽으세요. 프론티어 클로즈드 모델은 벤치마크를 주도하지만, 강력한 오픈 가중치 모델은 많은 실제 작업을 처리하므로 작업에 따라 선택하세요.

"오픈"이 실제로 사주는 것은 제어와 락인 종료입니다. 정확한 가중치를 고정할 수 있으므로 모델이 당신 아래에서 무음으로 변경되지 않으며, 동작을 검사할 수 있고, 하드웨어가 있는 곳 어디든 실행할 수 있습니다. 이는 재현성이나 데이터 레지던시가 중요할 때 실제 이점입니다.

그것이 사주지 않는 것은 공짜 점심입니다. **오픈 가중치**는 거의 항상 오픈 소스가 아닌 가중치 플러스 라이선스를 의미합니다. 훈련 데이터 없음, 종종 비자명한 라이선스 조건. 따라서 준수 및 라이선싱 검토는 당신의 실제 업무가 되고, 친절하게 보이는 모델도 읽기를 건너뛰면 나중에 나타나는 방식으로 상용 사용이나 재배포를 제한할 수 있습니다.

프론티어 기능 격차도 가장 어려운 작업에서는 실제이며, 비록 축소되고 있습니다. 따라서 라벨이 아닌 당신 앞의 작업에 따라 선택하세요. 일상적인 작업의 대부분에 오픈 가중치 모델은 충분합니다. 어려움의 가장자리에 클로즈드 프론티어가 여전히 이길 수 있습니다.

내가 자신에게 계속 상기시켜야 하는 것: "오픈"을 가중치와 라이선스의 특성으로 함께 취급하고 둘 다 읽으세요. "다운로드할 수 있습니다"는 "이것으로 무엇이든 할 수 있습니다"와 같은 문장이 아니며, 그 두 사이의 간격은 이전에 나를 물었습니다.

Juno오픈 가중치, 클로즈드 가중치 오픈 가중치는 제어와 락인 탈출을 사주며, 고정된 버전, 검사 가능한 동작, 어디서나 실행합니다. 그들은 오픈 소스를 사주지 않으므로, 친절하게 보이는 라이선스도 여전히 상용 사용을 금지할 수 있으므로 라이선싱과 준수 검토 예산을 세우세요. 라벨이 아닌 작업에 따라 선택하고, "다운로드할 수 있습니다"를 "이것으로 무엇이든 할 수 있습니다"로 읽지 마세요.

모델이 실행되는 위치

오픈 모델을 선택하면 자신의 서버를 설정하고 직접 실행해야 한다는 믿음이 떠다니고 있습니다. 그것은 사실이 아니며, 일찍 명확히 할 가치가 있습니다.

모델은 두 곳 중 하나에서 실행될 수 있습니다. 호스팅된 모델의 경우, 일부 회사가 자신의 머신에서 실행하고 API 호출(코드가 보내고 답변을 받는 작은 요청)로 웹을 통해 접근합니다. 실행되는 컴퓨터를 절대 건드리지 않습니다. 자체 호스팅의 경우, 모델을 직접 실행하며, 자신의 컴퓨터 또는 자신의 서버에서.

사람들이 놓치는 부분입니다. 오픈 모델이 자체 호스팅을 강요하지 않습니다. 클로즈드 모델을 사용하는 것과 같은 편안한 방식으로 호스팅 회사를 통해 오픈 모델을 사용할 수 있습니다. 요청을 보내고, 답변을 받고, 다른 누군가가 머신을 실행하게 합니다. 자체 호스팅은 따라야 할 규칙이 아닌 선택할 수 있는 옵션입니다.

Juno모델이 실행되는 위치 모델은 웹을 통해 접근하는 다른 사람의 머신에서 실행되거나, 당신이 직접 실행하는 머신에서 실행됩니다. 오픈 모델은 어느 쪽이든 갈 수 있으므로, 하나를 선택한다고 해서 갑자기 서버를 관리해야 하는 것은 아닙니다. 호스팅 회사가 클로즈드 모델처럼 오픈 모델을 실행하도록 하게 할 수 있습니다.

두 상자 정신 모델을 버리는 것이 도움이 됩니다. 왜냐하면 모델이 실행되는 위치는 실제로 스펙트럼이기 때문입니다. 한쪽 끝에는 제공업체의 API를 통해 호출되는 클로즈드 모델이 있습니다. 중간에 제삼자 호스트에 의해 실행되는 오픈 가중치 모델이 있습니다. 다른 쪽 끝에는 당신이 직접 실행하는 오픈 가중치 모델이 있으며, 이를 **자체 호스팅**이라고 합니다. 당신은 머신을 제공하고 모델을 제공하는 프로그램을 실행합니다.

그 스펙트럼을 따라 이동하는 이유가 저렴합니다. 널리 채택된 채팅 메시지 API 형태가 사실상의 표준이 되었으며, 많은 오픈 모델 호스트와 자체 호스팅 서버가 같은 형태를 드러냅니다. 따라서 제공업체를 전환하는 것은 종종 재작성이 아닌 기본 URL과 모델 이름의 변경입니다(코드에서 모델 호출 참조). 모델을 호출하는 방법에 대해 배우는 것은 하나의 공급업체에 잠기지 않습니다.

한눈에 자체 호스팅은 당신이 하드웨어(유능한 GPU 또는 임차한 GPU 서버)를 제공하고 모델 앞에 제공 프로그램을 실행한다는 의미입니다. 그것을 당신이 등록하는 실제 업무로 취급하세요. 우리는 여기에 결정 수준에서 머물러 있고 설정으로 더 깊게 들어가지 않습니다.

Juno모델이 실행되는 위치 스펙트럼으로 생각해보세요. 제공업체를 통한 클로즈드, 제삼자 호스트를 통한 오픈, 또는 자체 호스팅된 오픈. 많은 엔드포인트가 하나의 채팅 메시지 API 형태를 공유하기 때문에, 제공업체 간 호핑은 일반적으로 base_url과 모델 이름 스왑이지, 재작성이 아닙니다. 자체 호스팅은 당신이 하드웨어와 제공을 소유하는 먼 끝이므로, 기본값이 아닌 목적을 위해 손을 뻗으세요.

자체 호스팅은 인프라이지, 사이드 퀘스트가 아닙니다. 모델을 직접 실행하는 순간 당신은 용량 계획, 부하 아래 스케일링, 가동 시간, 보안 패칭, 그리고 모델 업데이트를 소유합니다. "내 노트북에서 실행됩니다"는 데모입니다. 프로덕션은 다른 청구서입니다.

대부분의 팀이 건너뛰는 중간 경로는 관리된 오픈 모델 호스트입니다. 오픈 모델의 상승(프론티어 클로즈드보다 낮은 비용, 특정 모델 버전을 고정할 수 있는 능력, 데이터가 있는 위치에 대한 옵션, 단일 공급업체 락인 없음)을 얻지만 GPU를 직접 관리하지 않습니다. 사실상의 채팅 API 형태는 당신의 보험입니다. 코드를 그 인터페이스에 유지하면 호스트 전환 또는 나중에 모델 가져오기가 마이그레이션이 아닌 설정 변경으로 유지됩니다.

나는 "빠른 자체 호스팅"이 분기를 먹는 것을 봤으므로, 나는 실제 자체 호스팅을 특정 압력이 실제로 요구할 때 예약합니다. 데이터 레지던시 규칙, 당신에게 유리하게 전환하는 규모 경제, 또는 당신이 끝까지 제어해야 하는 모델. 그 중 하나가 없으면 관리된 오픈 또는 호스팅된 클로즈드가 답입니다.

Juno모델이 실행되는 위치 자신의 모델을 실행하는 것은 용량, 가동 시간, 패칭, 그리고 업데이트를 소유한다는 의미이므로 그것으로 방황하지 마세요. 팀이 간과하는 경로는 관리된 오픈 모델 호스트입니다. GPU 아기 보기 없이 오픈 모델 경제와 제어를 얻으세요. 표준 채팅 API에 코드를 작성하고 제공업체 변경이 마이그레이션이 아닌 설정으로 유지됩니다. 데이터 레지던시, 규모 수학, 또는 힘든 모델 제어와 같은 구체적인 이유를 위해 실제 자체 호스팅을 저장하세요.

각각이 의미 있을 때

전체 선택을 유지하는 간단한 방법이 있습니다. 클로즈드, 호스팅된 모델은 임차입니다. 설정할 것이 없고, 사용 가능한 최고의 품질을 얻으며, 사용할 때마다 조금씩 지불합니다. 당신이 직접 실행하는 오픈 모델은 소유권에 더 가깝습니다. 더 많은 제어와 더 많은 개인 정보를 얻으며, 제공업체에 가는 사용 당 청구서가 없지만, 실행 상태를 유지하는 업무를 가집니다.

대부분의 사람들은 API를 통해 임차로 시작하는 것이 맞으며, 대부분은 그 이상이 필요하지 않습니다. 먼저 임차하는 것이 정상적이고 현명한 경로입니다.

이 장의 요점은 자신을 실행하는 것으로 전환해야 한다는 것이 아니었습니다. 단지 선택이 당신의 것이라는 것을 알아야 하므로, 당신의 필요가 어느 날 변경되면, 당신은 그것이 무엇인지 선택지를 인식할 것입니다.

모델을 선택하면, 다음 질문은 당신이 그것과 어떻게 대화하는지입니다. 다음 장인 Prompting은 당신이 선택한 모델을 조종하여 실제로 원하는 것을 제공하게 하는 것에 관한 것입니다.

Juno각각이 의미 있을 때 임차 대 소유권으로 생각해보세요. 호스팅된 클로즈드 모델은 임차이며, 당신이 직접 실행하는 오픈 모델은 소유권에 더 가깝습니다. API를 통한 임차는 시작하기에 좋은 곳이며, 대부분의 사람들은 행복하게 남아 있습니다. 당신은 이제 다른 문이 존재한다는 것을 알고 있으며, 그것이 전부입니다. 다음은 Prompting이며, 여기서 선택한 모델을 조종하는 방법을 배웁니다.

실제로 선택해야 할 때, 대략 이 순서대로 요소를 저울질하세요. 첫째, 기능. 호스팅된 프론티어 모델이 이 작업에서 그 가치를 창출합니까, 아니면 강력한 오픈 가중치 모델이 이미 충분히 좋습니까? 둘째, 데이터 민감도. 이 데이터가 제공업체의 조건에 따라 당신의 경계를 벗어날 수 있습니까, 아니면 데이터 레지던시(데이터가 물리적으로 살 수 있고 처리될 위치에 대한 규칙)가 그것을 배제합니까?

셋째, 비용 곡선. 토큰당 API는 시작하는 데 저렴하고 낮은 볼륨에서 계속 저렴하지만, 정상 높은 볼륨에서 비싸질 수 있으며, 이는 고정 비용 자체 호스팅이 이길 수 있는 곳입니다. 넷째, 제어. 버전 전체에서 정확한 동작을 고정해야 합니까, 아니면 하나의 공급업체에 잠기는 것을 피해야 합니까?

움직임은 대부분의 시간이 같습니다. 호스팅된 API로 시작하세요. 왜냐하면 무언가 작동하는 가장 빠른 경로이기 때문입니다. 그러면 특정 압력이 실제로 나타날 때만 다시 방문하세요. 규모에서 비용, 개인 정보 보호 또는 규준 요구 사항, 또는 실제 기능 또는 제어 필요. Prompting으로 이동하여 정착한 모델을 신뢰할 수 있는 결과를 얻도록 하세요.

Juno각각이 의미 있을 때 순서대로 네 가지를 저울질하세요. 필요한 기능, 데이터 민감도, 비용 곡선, 제어. 호스팅된 API에서 시작하세요. 왜냐하면 그것이 가장 빠르게 작동하는 길이기 때문입니다. 그러면 규모에서의 비용이나 데이터 레지던시 규칙과 같은 구체적인 압력이 나타날 때만 다시 방문하세요. 직관이 아닌 증거에서 전환하세요. 그러면 Prompting으로 나아가 당신이 선택한 것이 작동하게 하세요.

일반 버전입니다. 대부분의 팀에 호스팅된 클로즈드 API는 올바른 기본값이며, 오픈 가중치 모델의 자체 호스팅은 성실의 배지가 아닌 비용과 제어 결정입니다. 특정 규모를 넘어서거나 규준 또는 데이터 레지던시 제약 조건에서는 이점이 있으며, 그 이전에는 많지 않습니다.

따라서 당신의 볼륨에 대한 비용 곡선이 대체로 어디에서 교차하는지 알아두세요. 왜냐하면 그 교차점이 전체 재정 논의이기 때문입니다. 당신의 데이터 규칙이 실제로 무엇을 요구하는지 알아두세요. 모호하게 느껴지는 것이 아니라, 안전 및 제한 및 당신이 보내는 것에 대한 질문이 나오는 곳입니다. 그리고 오픈 가중치가 또한 제공업체의 허가를 묻지 않고 자신의 조건에서 자유롭게 미세 조정할 수 있도록 하는 것을 알아두세요(미세 조정 참조). 공급업체 락인 회피, 하나의 제공업체의 가격, 조건, 그리고 모델 라이프사이클에 연결되는 것은 동일한 계산의 일부입니다.

이 모든 것을 배우는 이유는 당신이 자체 호스트하도록 가기 위함이 아닙니다. 나는 사람들이 요점을 증명하기 위해 자신의 스택을 세우고 두 번째 온콜 주간까지 후회하는 것을 봤습니다. 기본 경로가 호스팅된 클로즈드 모델이며, 제공업체들은 대안을 지적할 이유가 거의 없으므로, 전체 메뉴를 아는 엔지니어는 상속된 것이 아닌 의도적인 선택을 합니다.

모델 질문이 그 장점에서 처리되면, Prompting은 좋은 결과를 얻는 일상적인 업무가 시작되는 곳입니다.

Juno각각이 의미 있을 때 대부분의 팀에 호스팅된 클로즈드 API는 올바른 기본값이며, 오픈 가중치 모델의 자체 호스팅은 성격 특성이 아닌 비용과 제어 호출이며 특정 규모를 넘어서거나 규준 제약 조건에서 지불합니다. 당신의 비용 곡선이 교차하는 곳을 알고, 당신의 데이터 규칙이 실제로 요구하는 것을 알고, 오픈 가중치가 자유로운 미세 조정과 공급업체 락인 탈출을 사주는 것을 기억하세요. 나는 증명 요점 자체 호스팅을 봤고, 후회는 실제입니다. 전체 메뉴를 배워서 목적에 따라 선택한 후, Prompting으로 계속 진행하세요.