Pytorch
TensorFlow

#
Quiz de final de capítulo

###
1. ¿Cuál es el orden del pipeline de modelado del lenguaje?

Primero, el modelo que maneja el texto y devuelve las peticiones sin procesar. El tokenizador luego da sentido a estas predicciones y las convierte nuevamente en texto cuando es necesario. Primero, el tokenizador, que maneja el texto y regresa IDs. El modelo maneja estos IDs y produce una predicción, la cual puede ser algún texto. El tokenizador maneja texto y regresa IDs. El modelo maneja estos IDs y produce una predicción. El tokenizador puede luego ser usado de nuevo para convertir estas predicciones de vuelta a texto.

###
2. ¿Cuántas dimensiones tiene el tensor producido por el modelo base de Transformer y cuáles son?

1: La longitud de secuencia y el tamaño del lote 2: La longitud de secuencia y el tamaño oculto 3: La longitud de secuencia, el tamaño de lote y el tamaño oculto

###
3. ¿Cuál de los siguientes es un ejemplo de tokenización de subpalabras?

WordPiece Tokenización basada en caracteres División por espacios en blanco y puntuación BPE Unigrama Ninguno de los anteriores

###
4. ¿Qué es una cabeza del modelo?

Un componente de la red de Transformer base que redirecciona los tensores a sus capas correctas También conocido como el mecanismo de autoatención, adapta la representación de un token de acuerdo a los otros tokens de la secuencia Un componente adcional, compuesto usualmente de una o unas pocas capas, para convertir las predicciones del transformador a una salida específica de la tarea

###
5. ¿Qué es un AutoModel?

Un modelo que entrena automáticamente en tus datos Un objeto que devuelve la arquitectura correcta basado en el punto de control Un modelo que detecta automáticamente el lenguaje usado por sus entradas para cargar los pesos correctos

###
6. ¿Cuáles son las técnicas a tener en cuenta al realizar batching de secuencias de diferentes longitudes juntas?

Truncado Returning tensors Relleno Enmascarado de atención

###
7. ¿Cuál es el punto de aplicar una funcion SoftMax a las salidas logits por un modelo de clasificación de secuencias?

Suaviza los logits para que sean más fiables. Aplica un límiete inferior y superior de modo que sean comprensibles. La suma total de la salida es entonces 1, dando como resultado una posible interpretación probabilística.

###
8. ¿En qué método se centra la mayor parte de la API del tokenizador?

`encode`, ya que puede codificar texto en IDs e IDs en predicciones Llamar al objeto tokenizador directamente. `pad` `tokenize`

###
9. ¿Qué contiene la variable `result` en este código de ejemplo?

    from transformers import AutoTokenizer

    tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
    result = tokenizer.tokenize("Hello!")

Una lista de strings, cada string es un token Una lista de IDs Una cadena que contiene todos los tokens

###
10. ¿Hay algo mal con el siguiente código?

    from transformers import AutoTokenizer, AutoModel

    tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
    model = AutoModel.from_pretrained("gpt2")

    encoded = tokenizer("Hey!", return_tensors="pt")
    result = model(**encoded)

No, parece correcto. El tokenizador y el modelo siempre deben ser del mismo punto de control. Es una buena práctica rellenar y truncar con el tokenizador ya que cada entrada es un lote.