Cómo aprende un LLM. Del corpus al modelo preentrenado.

El propio texto proporciona las respuestas

Supongamos que en el corpus aparece la luna ilumina el valle. Podemos detener la lectura en la luna y usar ilumina como respuesta esperada. Si avanzamos un token, obtenemos otro ejercicio con una respuesta distinta. Así se construyen ejemplos supervisados a partir del texto, sin etiquetar a mano qué debería venir después de cada fragmento. A este enfoque se le llama aprendizaje autosupervisado.

El corpus es una colección de frases breves construidas para este ejercicio. Los ejemplos de entrenamiento permiten ajustar la red. Las frases de validación se reservan completas antes de construir sus ventanas. Hay palabras y patrones compartidos entre ambos grupos. Esa coincidencia es deliberada y permite estudiar qué ocurre al recombinar partes familiares en frases que se dejaron fuera.

Un Transformer causal puede usar un prefijo más largo y calcular muchas predicciones en paralelo con una máscara. El objetivo en cada posición sigue siendo el token siguiente. La guía del Transformer explica cómo se alinea esa predicción con el texto de referencia.

Cuánta probabilidad recibe el token que ocurrió

El modelo recibe los dos tokens de contexto y asigna probabilidades al vocabulario de salida. En el ejemplo anterior, la pérdida toma la probabilidad de ilumina, el token que realmente sigue a la luna en esa frase. Dos modelos podrían acertar al elegir el candidato más probable y, aun así, recibir pérdidas diferentes si uno asigna a la respuesta más probabilidad que el otro.

Esta es la entropía cruzada para un ejemplo con un único token objetivo. Si la respuesta recibe un 50 % de probabilidad, la pérdida es aproximadamente 0,69. Si recibe un 1 %, sube a 4,61. El logaritmo hace que las predicciones que casi descartan el token correcto pesen más al promediar los ejemplos.

Una pérdida baja indica que el modelo asigna, de media, más probabilidad a las continuaciones observadas. En un corpus pueden aparecer varias continuaciones legítimas para el mismo contexto. Por eso el modelo puede aprender una distribución en la que varias respuestas conservan probabilidad.

Qué se ajusta en cada paso del optimizador

Al inicializar la red, los pesos se eligen con una semilla fija. Esto permite volver exactamente al mismo punto y repetir el experimento con otra tasa de aprendizaje. Cada uno de los dos tokens consulta su vector en una tabla de embeddings. La red concatena ambos vectores, los transforma en una capa oculta y calcula un logit por token posible.

La tasa de aprendizaje multiplica el paso de cada actualización. Con un valor pequeño, el ajuste puede avanzar despacio. Con uno grande, el modelo puede sobrepasar zonas de menor pérdida. El efecto se aprecia al reiniciar y comparar dos ejecuciones a la misma época. La pérdida evaluada sobre todo el conjunto puede subir en alguna época, aunque el gradiente se haya calculado correctamente para cada lote.

Una época recorre los ejemplos disponibles para entrenar. En el laboratorio, 126 ejemplos repartidos en lotes de hasta 16 producen ocho pasos del optimizador. Después se evalúa el modelo resultante sobre ambos conjuntos con los pesos fijos. Esto permite comparar los dos valores de la gráfica en las mismas condiciones.

Qué se puede concluir de las dos curvas

Al comenzar, la red distribuye la probabilidad con poca información sobre el corpus. Después de varias épocas suele asignar más probabilidad a los patrones frecuentes. En el contexto la luna, por ejemplo, ilumina aparece más veces que cruza. La predicción que se muestra en el laboratorio permite seguir ese caso concreto, mientras la pérdida resume el conjunto.

Una mejora en validación indica que los cambios también ayudan en las frases reservadas. Si la pérdida de entrenamiento continúa bajando y la de validación empieza a subir de forma sostenida, hay indicios de sobreajuste. No todas las ejecuciones tienen que mostrarlo. En este corpus, la validación conserva los mismos tipos de frases y comparte parte de sus contextos con el entrenamiento. La gráfica permite observar ese reparto particular.

1. Compara con el punto de partida. Mantén la tasa en 0,25 y deja correr unas veinte épocas. Observa la probabilidad de ilumina y las dos continuaciones del mismo inicio.
2. Aísla la tasa de aprendizaje. Reinicia y usa 0,05. Compara a la misma época con el resultado anterior. El corpus, la semilla y la regla de generación son los mismos.
3. Distingue un caso del conjunto. Sin volver a entrenar, selecciona el sol o el río. Cambian las probabilidades y la continuación de ese contexto. Las curvas se conservan porque resumen los mismos conjuntos.

Las continuaciones se obtienen con greedy y el mismo inicio para que el contraste dependa de los pesos aprendidos. Una frase legible es una comprobación cualitativa. Para estimar el rendimiento de un modelo con el que se han tomado decisiones usando validación, hace falta un conjunto de prueba independiente.

Cómo se pasa de un modelo inicial a uno especializado

El laboratorio empieza con parámetros recién inicializados. Esta es la parte del proceso que queremos aislar al hablar de preentrenamiento. En un modelo de lenguaje de gran escala, el mismo objetivo causal puede aplicarse a un corpus mucho más amplio y a una arquitectura con mayor capacidad. La red de este ejemplo solo ve dos tokens de contexto. Su tamaño permite seguir los cálculos en el navegador.

Una vez que existe un modelo base, se puede ajustar para una tarea concreta. Con LoRA se conservan sus pesos y se entrenan matrices adicionales en capas seleccionadas. Siguen haciendo falta datos, una pérdida y un optimizador. Lo que cambia es el punto de partida y qué parámetros pueden recibir actualizaciones.