Logo de Mydra
Artificial Intelligence
DeepLearning.AI logo

DeepLearning.AI

Cómo Funcionan los LLMs de Transformadores

  • hasta 1 hora
  • Principiante

Este curso ofrece una inmersión profunda en los componentes principales de la arquitectura de transformadores que impulsan los modelos de lenguaje grande (LLMs). Obtén una sólida base técnica en transformadores, comprende las mejoras recientes y explora implementaciones en la biblioteca Hugging Face Transformers.

  • Arquitectura de transformadores
  • Estrategias de tokenización
  • Mecanismo de atención
  • Procesamiento de modelos de lenguaje
  • Evolución del bloque de transformadores

Resumen

En este curso, aprenderás cómo funciona una arquitectura de red de transformadores que impulsa los LLMs. Desarrollarás la intuición de cómo los LLMs procesan texto y trabajarás con ejemplos de código que ilustran los componentes clave de la arquitectura de transformadores. Al final de este curso, tendrás una comprensión profunda de cómo los LLMs procesan el lenguaje y podrás leer artículos que describen modelos y entender los detalles que se utilizan para describir estas arquitecturas.

  • Web Streamline Icon: https://streamlinehq.com
    Online
    ubicación del curso
  • Layers 1 Streamline Icon: https://streamlinehq.com
    Inglés
    idioma del curso
  • A tu propio ritmo
    formato del curso
  • Clases En vivo
    entregado en línea

¿Para quién es este curso?

Entusiastas de la IA

Individuos interesados en comprender el funcionamiento interno de las arquitecturas de transformadores que impulsan los LLMs de hoy en día.

Científicos de Datos

Profesionales que buscan profundizar su conocimiento sobre los modelos de transformadores y sus aplicaciones en IA.

Desarrolladores

Desarrolladores que desean construir aplicaciones utilizando modelos de lenguaje grande y comprender su arquitectura subyacente.

Obtén una comprensión profunda de las arquitecturas de transformadores que impulsan los LLMs de hoy en día. Aprende componentes clave como la tokenización, las incrustaciones y la autoatención, y explora las mejoras recientes. Ideal para entusiastas de la IA, científicos de datos y desarrolladores que buscan avanzar en sus carreras.

Requisitos Previos

1 / 3

  • Comprensión básica de los conceptos de aprendizaje automático

  • Familiaridad con lenguajes de programación como Python

  • Interés en IA y modelos de lenguaje

¿Qué aprenderás?

Introducción
Una visión general del curso y sus objetivos.
Comprendiendo los Modelos de Lenguaje: Lenguaje como Bolsa de Palabras
Exploración de cómo el lenguaje ha sido representado numéricamente, comenzando desde el modelo de Bolsa de Palabras.
Comprendiendo los Modelos de Lenguaje: Incrustaciones de Palabras
Introducción a las incrustaciones de palabras y su papel en los modelos de lenguaje.
Comprendiendo los Modelos de Lenguaje: Codificación y Decodificación de Contexto con Atención
Explicación de cómo los mecanismos de atención codifican y decodifican el contexto en los modelos de lenguaje.
Comprendiendo los Modelos de Lenguaje: Transformadores
Examen detallado de la arquitectura de transformadores y sus componentes.
Tokenizadores
Discusión sobre estrategias de tokenización y su importancia en los modelos de lenguaje.
Visión General de la Arquitectura
Visión general de la arquitectura de transformadores y su evolución.
El Bloque de Transformadores
Análisis en profundidad del bloque de transformadores y sus componentes.
Autoatención
Explicación detallada del mecanismo de autoatención y su papel en los transformadores.
Ejemplo de Modelo
Ejemplo práctico de un modelo utilizando la arquitectura de transformadores.
Mejoras Recientes
Visión general de las mejoras recientes a la arquitectura de transformadores.
Mezcla de Expertos (MoE)
Introducción al modelo de Mezcla de Expertos y sus aplicaciones.
Conclusión
Resumen del curso y sus puntos clave.
Cuestionario
Evaluación para probar la comprensión del material del curso.
Apéndice – Consejos, Ayuda y Descarga
Recursos adicionales y consejos para un aprendizaje más profundo.

Conozca a sus instructores

  • Jay Alammar

    Director y Compañero de Ingeniería, Cohere

    Coautor de Hands-On Large Language Models

  • Maarten Grootendorst

    Científico Senior de Datos Clínicos, Organización Holandesa de Cáncer Integral

    Coautor de Hands-On Large Language Models

Próximos cohortes

  • Fechas

    comienza ahora

Libre