Logo de Mydra
Artificial Intelligence
DeepLearning.AI logo

DeepLearning.AI

Cómo Funcionan los LLMs de Transformadores

  • hasta 1 hora
  • Principiante

Este curso ofrece una inmersión profunda en los componentes principales de la arquitectura de transformadores que impulsan los modelos de lenguaje grande (LLMs). Obtén una sólida base técnica en transformadores, comprende las mejoras recientes y explora implementaciones en la biblioteca Hugging Face Transformers.

  • Arquitectura de transformadores
  • Estrategias de tokenización
  • Mecanismo de atención
  • Procesamiento de modelos de lenguaje
  • Evolución del bloque de transformadores

Resumen

En este curso, aprenderás cómo funciona una arquitectura de red de transformadores que impulsa los LLMs. Desarrollarás la intuición de cómo los LLMs procesan texto y trabajarás con ejemplos de código que ilustran los componentes clave de la arquitectura de transformadores. Al final de este curso, tendrás una comprensión profunda de cómo los LLMs procesan el lenguaje y podrás leer artículos que describen modelos y entender los detalles que se utilizan para describir estas arquitecturas.

  • Web Streamline Icon: https://streamlinehq.com
    Online
    ubicación del curso
  • Layers 1 Streamline Icon: https://streamlinehq.com
    Inglés
    idioma del curso
  • A tu propio ritmo
    formato del curso
  • Clases En vivo
    entregado en línea

¿Para quién es este curso?

Entusiastas de la IA

Individuos interesados en comprender el funcionamiento interno de las arquitecturas de transformadores que impulsan los LLMs actuales.

Científicos de Datos

Profesionales que buscan profundizar su conocimiento sobre los modelos de transformadores y sus aplicaciones en IA.

Desarrolladores

Desarrolladores de software que desean construir aplicaciones utilizando modelos de lenguaje grande y arquitecturas de transformadores.

Obtén una comprensión profunda de las arquitecturas de transformadores que impulsan los LLMs, esencial para entusiastas de la IA, científicos de datos y desarrolladores. Este curso cubre componentes clave, mejoras recientes e implementaciones prácticas, ayudándote a avanzar en tu carrera en IA.

Requisitos Previos

1 / 3

  • Comprensión básica de los conceptos de aprendizaje automático

  • Familiaridad con lenguajes de programación como Python

  • Interés en IA y modelos de lenguaje

¿Qué aprenderás?

Introducción
Una visión general del curso y sus objetivos.
Comprendiendo los Modelos de Lenguaje: Lenguaje como Bolsa de Palabras
Exploración del modelo de Bolsa de Palabras y sus limitaciones.
Comprendiendo los Modelos de Lenguaje: (Word) Embeddings
Introducción a los embeddings de palabras y su papel en los modelos de lenguaje.
Comprendiendo los Modelos de Lenguaje: Codificación y Decodificación de Contexto con Atención
Explicación de cómo los mecanismos de atención codifican y decodifican el contexto.
Comprendiendo los Modelos de Lenguaje: Transformadores
Examen detallado de los modelos de transformadores y sus componentes.
Tokenizadores
Discusión sobre estrategias de tokenización con ejemplos de código.
Visión General de la Arquitectura
Visión general de la arquitectura de transformadores y sus componentes.
El Bloque de Transformadores
Análisis en profundidad del bloque de transformadores y sus funciones.
Auto-Atención
Examen del mecanismo de auto-atención en transformadores.
Ejemplo de Modelo
Ejemplo práctico de un modelo de transformador con código.
Mejoras Recientes
Visión general de las mejoras recientes en los modelos de transformadores.
Mezcla de Expertos (MoE)
Introducción al modelo de Mezcla de Expertos y sus aplicaciones.
Conclusión
Resumen del curso y puntos clave.
Cuestionario
Evaluación para probar la comprensión del material del curso.
Apéndice – Consejos, Ayuda y Descarga
Recursos adicionales y ejemplos de código para un aprendizaje más profundo.

Conozca a sus instructores

  • Jay Alammar

    Director y Compañero de Ingeniería, Cohere

    Coautor de Hands-On Large Language Models

  • Maarten Grootendorst

    Científico Senior de Datos Clínicos, Organización Holandesa de Cáncer Integral

    Coautor de Hands-On Large Language Models

Próximos cohortes

  • Fechas

    comienza ahora

Libre