Modelos abiertos y cerrados

docs.scrimba.com

En el fondo, un modelo es una gran cantidad de pesos entrenados (los números que aprendió durante el entrenamiento) que predice el siguiente token. Este capítulo trata sobre las dos formas en que esos pesos llegan a ti: modelos cerrados que alquilas a través de una API y modelos de peso abierto que puedes ejecutar tú mismo, y dónde se ejecuta realmente cada uno. El camino predeterminado al que se dirige a todos es un modelo cerrado alojado, y los proveedores tienen pocas razones para destacar las alternativas, por lo que vale la pena conocer el menú completo y cuándo importa cada parte.

Pesos abiertos, pesos cerrados

Hay dos formas de obtener un modelo de IA, y la diferencia radica en dónde vive realmente el modelo.

La primera forma es un modelo cerrado, a veces llamado propietario. Solo puedes acceder a él a través de la API de la empresa, que es una especie de puerta en línea: envías texto, recibes texto, y eso es todo el arreglo. Los pesos del modelo, la enorme cantidad de números entrenados que lo hacen funcionar, permanecen bloqueados en los servidores de la empresa. Estás alquilando acceso, no poseyendo nada.

La segunda forma es un modelo de peso abierto. Aquí la empresa publica esos pesos, por lo que puedes descargar tu propia copia y ejecutarlo en hardware que controles. Piénsalo como alquilar un apartamento cuyo cableado nunca se te permitirá ver, versus poseer una copia de los planos del edificio.

La mayoría de las personas comienzan con una API cerrada porque es la puerta de entrada más fácil, y ese es un lugar perfecto para empezar. La opción abierta es real y vale la pena conocerla, por lo que entiendes que alquilar es una opción y no el único camino.

JunoPesos abiertos, pesos cerrados Un modelo cerrado vive en los servidores de la empresa y accedes a él a través de su API, por lo que estás alquilando acceso. Un modelo de peso abierto tiene sus números publicados, por lo que puedes descargar una copia y ejecutarlo tú mismo. Comenzar con una API cerrada está perfectamente bien, pero ayuda saber que la otra puerta existe.

Toda la distinción se reduce a una pregunta: ¿quién posee los pesos? Con un modelo cerrado o propietario, los pesos nunca salen del proveedor y solo hablas con el modelo a través de una API. Con un modelo de peso abierto, los pesos se publican bajo una licencia que puedes descargar y ejecutar donde quieras.

Ten cuidado aquí, porque "peso abierto" no es lo mismo que "código abierto". Casi todos los LLM "abiertos" publican los pesos entrenados pero mantienen en secreto los datos de entrenamiento y el código de entrenamiento, por lo que no puedes reproducir completamente el modelo desde cero. Algunas licencias también conllevan restricciones de uso, como un límite en el tamaño de la empresa que puede usarlo comercialmente, o límites en los usos permitidos. Lee la licencia antes de comprometerte; "abierto" es un espectro, no un binario.

En términos de capacidad, los modelos cerrados de frontera (los modelos más capaces disponibles en un momento dado) a menudo encabezan los puntos de referencia públicos. Pero los modelos de peso abierto sólidos están lo suficientemente cerca para una gran parte de tareas reales, y la brecha continúa estrechándose con el tiempo. El movimiento práctico es no asumir que necesitas el modelo absolutamente superior. Muchos trabajos se sirven bien con uno abierto, y lo descubres probando contra tu propia tarea en lugar de un ranking.

JunoPesos abiertos, pesos cerrados Cerrado significa solo API con los pesos permaneciendo en el proveedor; peso abierto significa pesos publicados que puedes descargar y ejecutar. Peso abierto no es código abierto, ya que los datos de entrenamiento y el código generalmente permanecen privados y la licencia puede restringir el uso, así que léela. Los modelos cerrados de frontera encabezan los puntos de referencia, pero un modelo de peso abierto sólido maneja mucho trabajo real, así que elige según la tarea.

Lo que "abierto" realmente te compra es control y el fin del bloqueo de proveedor. Puedes fijar los pesos exactos para que el modelo nunca cambie silenciosamente bajo ti, inspeccionar su comportamiento, y ejecutarlo en cualquier lugar donde tengas hardware. Esa es una ventaja real cuando la reproducibilidad o la residencia de datos es importante.

Lo que no te compra es un almuerzo gratis. Peso abierto casi siempre significa pesos-más-licencia en lugar de código abierto: sin datos de entrenamiento, a menudo términos de licencia no triviales. Entonces la revisión de cumplimiento y licencia se convierte en trabajo real en tu plato, y un modelo que suena permisivo aún puede restringir el uso comercial o la redistribución de formas que surgen tarde si te saltas la lectura.

La brecha de capacidad de frontera también es real para las tareas más difíciles, incluso mientras se reduce. Así que elige según la tarea que tengas frente a ti, no según la etiqueta. Para la mayor parte del trabajo rutinario un modelo de peso abierto es suficiente; para el borde de la dificultad la frontera cerrada aún puede ganar.

Lo que tengo que recordarme a mí mismo constantemente: trata "abierto" como una propiedad de los pesos y la licencia juntos, y lee ambos. "Puedo descargarlo" no es la misma frase que "Puedo hacer cualquier cosa con él", y la brecha entre esos dos me ha mordido antes.

JunoPesos abiertos, pesos cerrados Los pesos abiertos te compran control y una escapatoria del bloqueo de proveedor: versiones fijadas, comportamiento inspectable, ejecución en cualquier lugar. No te compran código abierto, así que presupuesta la revisión de licencia y cumplimiento, porque una licencia amigable aún puede prohibir el uso comercial. Elige según la tarea, no la etiqueta, y nunca leas "Puedo descargarlo" como "Puedo hacer cualquier cosa con él".

Dónde se ejecuta el modelo

Hay una creencia flotando que elegir un modelo abierto significa que tienes que configurar tus propios servidores y ejecutarlo tú mismo. Eso no es verdad, y vale la pena aclararlo temprano.

Un modelo puede ejecutarse en uno de dos lugares. Con un modelo alojado, alguna empresa lo ejecuta en sus máquinas y accedes a él por la web con una llamada a API, que es una pequeña solicitud que tu código envía y obtiene una respuesta. Nunca tocas la computadora en la que se ejecuta. Con auto-alojamiento, ejecutas el modelo tú mismo, en tu propia computadora o tu propio servidor.

Aquí está la parte que la gente se pierde. Un modelo abierto no te obliga al auto-alojamiento. Puedes usar un modelo abierto a través de una empresa de alojamiento de la misma forma cómoda que usarías uno cerrado: envías una solicitud, obtienes una respuesta, y alguien más mantiene la máquina funcionando. El auto-alojamiento es una opción que puedes tomar, no una regla que tengas que seguir.

JunoDónde se ejecuta el modelo Un modelo se ejecuta en la máquina de alguien más a la que accedes por la web, o en una máquina que ejecutas tú mismo. Los modelos abiertos pueden funcionar de ambas formas, así que elegir uno no significa que de repente tengas que administrar servidores. Puedes dejar que una empresa de alojamiento ejecute un modelo abierto para ti, exactamente como lo harías con uno cerrado.

Ayuda dejar caer el modelo mental de dos cajas, porque dónde se ejecuta un modelo es realmente un espectro. En un extremo, un modelo cerrado llamado a través de la API del proveedor. En el medio, un modelo de peso abierto ejecutado para ti por un anfitrión de terceros. En el otro extremo, un modelo de peso abierto que ejecutas tú mismo, que es auto-alojamiento: suministras la máquina y ejecutas el programa que sirve el modelo.

La razón por la que moverse a lo largo de ese espectro es barato: una forma de API de mensaje de chat ampliamente adoptada se ha convertido en un estándar de facto, y muchos anfitriones de modelos abiertos y servidores auto-alojados exponen esa misma forma. Así que cambiar de proveedor es a menudo principalmente un cambio de URL base y nombre de modelo en lugar de una reescritura (ver llamar modelos desde código). Nada de lo que aprendas sobre llamar a un modelo está bloqueado para un vendedor.

De un vistazo, el auto-alojamiento significa que proporcionas el hardware (una GPU capaz, o un servidor GPU alquilado) y ejecutas un programa de servicio frente al modelo. Trata eso como trabajo real en el que te estás inscribiendo. Nos mantenemos en el nivel de decisión aquí y no profundizamos más en la configuración.

JunoDónde se ejecuta el modelo Piensa en un espectro: cerrado a través del proveedor, abierto a través de un anfitrión de terceros, o abierto auto-alojado. Porque tantos puntos finales comparten una forma de API de mensaje de chat, saltar entre ellos es generalmente un intercambio de base_url y nombre de modelo, no una reescritura. El auto-alojamiento es el extremo lejano donde posees el hardware y el servicio, así que úsalo a propósito, no por defecto.

El auto-alojamiento es infraestructura, no una misión secundaria. En el momento en que ejecutas el modelo tú mismo, posees la planificación de capacidad, el escalado bajo carga, el tiempo de funcionamiento, la aplicación de parches de seguridad, y las actualizaciones de modelos. "Se ejecuta en mi portátil" es una demostración; la producción es una factura diferente.

El camino del medio que la mayoría de los equipos se saltan es un anfitrión de modelo abierto administrado. Obtienes la ventaja del modelo abierto (costo menor que la frontera cerrada, la capacidad de fijar una versión de modelo específica, opciones para dónde viven tus datos, sin bloqueo de proveedor único) sin configurar GPUs tú mismo. La forma de API de chat de facto es tu seguro: mantén tu código en esa interfaz y cambiar de anfitrión, o traer un modelo internamente más tarde, sigue siendo un cambio de config en lugar de una migración.

He visto un "auto-alojamiento rápido" comer un trimestre, así que reservo el verdadero auto-alojamiento para cuando una presión específica realmente lo exige: reglas de residencia de datos, economía de escala que se voltea a tu favor, o un modelo que debes controlar de punta a punta. Ausente uno de esos, abierto administrado o cerrado alojado es la respuesta.

JunoDónde se ejecuta el modelo Ejecutar tu propio modelo significa poseer capacidad, tiempo de funcionamiento, aplicación de parches, y actualizaciones, así que no entres en ello sin propósito. El camino que los equipos pasan por alto es un anfitrión de modelo abierto administrado: economía de modelo abierto y control sin el cuidado de GPU. Código en la API de chat estándar y los cambios de proveedor permanecen config, no migración. Guarda el verdadero auto-alojamiento para una razón concreta como residencia de datos, matemática de escala, o control duro de modelo.

Cuándo tiene sentido cada uno

Aquí hay una forma simple de mantener toda la opción. Un modelo cerrado alojado es alquiler: no hay nada que configurar, obtienes la mejor calidad disponible, y pagas un poco cada vez que lo usas. Un modelo abierto que ejecutas tú mismo es más cercano a poseer: obtienes más control y más privacidad, y no hay una factura por uso yendo a un proveedor, pero asumes el trabajo de mantenerlo funcionando.

La mayoría de las personas están bien comenzando alquilando a través de una API, y la mayoría nunca necesitan nada más que eso. Alquilar primero es el camino normal y sensato.

El punto de este capítulo no era que deberías cambiar a ejecutar el tuyo. Era solo que deberías saber que la opción es tuya, para que si tus necesidades cambian un día, reconozcas la opción por lo que es.

Con un modelo elegido, la siguiente pregunta es cómo hablas con él. El próximo capítulo, Prompting, trata sobre dirigir cualquier modelo que elijas para que te dé lo que realmente quieres.

JunoCuándo tiene sentido cada uno Piénsalo como alquiler versus poseer: un modelo cerrado alojado es alquiler, un modelo abierto que ejecutas tú mismo es más cercano a poseer. Alquilar a través de una API es el lugar correcto para comenzar, y la mayoría de las personas felizmente se quedan allí. Ahora sabes que la otra puerta existe, que es el punto completo. Lo siguiente es Prompting, donde aprendemos a dirigir el modelo que elegiste.

Cuando realmente tienes que elegir, sopesa los factores en aproximadamente este orden. Primero, capacidad: ¿un modelo de frontera alojado se gana su valor en esta tarea, o un modelo de peso abierto sólido ya es suficientemente bueno? Segundo, sensibilidad de datos: ¿pueden estos datos salir de tu límite bajo los términos del proveedor, o la residencia de datos (reglas sobre dónde se pueden almacenar y procesar físicamente los datos) lo descarta?

Tercero, la curva de costos. Una API por token es barata para comenzar y sigue siendo barata con bajo volumen, pero puede volverse costosa con volumen alto constante, que es donde el auto-alojamiento de costo fijo puede ganar. Cuarto, control: ¿necesitas fijar el comportamiento exacto entre versiones, o evitar estar bloqueado a un vendedor?

El movimiento es el mismo la mayoría de las veces. Comienza con una API alojada, porque es el camino más rápido hacia algo que funcione. Luego revisa solo cuando una presión específica realmente aparezca: costo a escala, un requisito de privacidad o cumplimiento, o una necesidad real de capacidad o control.

Decide por evidencia, no por defectos o ideología. Una vez que tu modelo está resuelto, Prompting es cómo obtienes una salida confiable de él.

JunoCuándo tiene sentido cada uno Sopesa cuatro cosas en orden: capacidad necesaria, sensibilidad de datos, la curva de costos, y control. Comienza en una API alojada porque te pone a trabajar más rápido, luego revisa solo cuando una presión concreta aparezca, como costo con alto volumen o una regla de residencia de datos. Cambia por evidencia, no por un presentimiento. Luego dirígete a Prompting para hacer que lo que elegiste se comporte.

La versión simple. Para la mayoría de los equipos una API cerrada alojada es el defecto correcto, y el auto-alojamiento de un modelo de peso abierto es una decisión de costo y control, no una insignia de seriedad. Se amortiza pasada una cierta escala, o bajo una restricción de cumplimiento o residencia de datos, y no mucho antes de eso.

Así que conoce aproximadamente dónde cruza la curva de costos para tu volumen, porque ese punto de cruce es todo el argumento financiero. Sabe qué requieren realmente tus reglas de datos, no qué sienten vagamente que requieren, que es donde seguridad y límites y la pregunta de qué envías entran en juego. Y sabe que los pesos abiertos también son lo que te permite ajustar libremente en tus propios términos sin pedirle permiso a un proveedor (ver ajuste fino). Evitar bloqueo de proveedor, estar vinculado a los precios, términos, y ciclo de vida de modelos de un proveedor, es parte del mismo cálculo.

La razón para aprender todo esto no es para que vayas y auto-alojes. He visto a personas configurar su propia pila para probar un punto y arrepentirse en la segunda semana de guardia. Es que el camino predeterminado es el modelo cerrado alojado, y los proveedores tienen pocas razones para señalarte las alternativas, así que un ingeniero que conoce el menú completo hace una opción deliberada en lugar de una heredada.

Con la pregunta del modelo manejada en su mérito, Prompting es donde comienza el trabajo diario de obtener una buena salida.

JunoCuándo tiene sentido cada uno Para la mayoría de los equipos la API cerrada alojada es el defecto correcto, y el auto-alojamiento de un modelo de peso abierto es una llamada de costo y control que se amortiza pasada una cierta escala o bajo una restricción de cumplimiento, no un rasgo de personalidad. Sabe dónde cruza tu curva de costos, sabe qué demandan realmente tus reglas de datos, y recuerda que los pesos abiertos te compran ajuste fino libre y una salida del bloqueo de proveedor. He visto el auto-alojamiento de probar-un-punto, y el arrepentimiento es real. Aprende el menú completo para que elijas a propósito, luego continúa a Prompting.