Blog
Inferencia en una red neuronal profunda.
Explora una red que reconoce dígitos y descubre qué hacen sus vectores, pesos y activaciones.
Cómo genera texto un LLM, token a token.
Sigue cada elección del modelo y compara qué ocurre al cambiar la temperatura, el filtro top-p o la estrategia de generación.
Cómo funciona un Transformer.
Sigue el recorrido de un token y experimenta con los pesos de atención, la máscara causal y la posición.
Cómo aprende un LLM. Del corpus al modelo preentrenado.
Entrena un modelo de lenguaje desde cero y observa cómo cambian sus predicciones y sus curvas de pérdida.
LoRA. Adaptación de bajo rango.
Explora cómo se adapta un modelo sin modificar sus pesos base y experimenta con el rango y la escala de la actualización.