In-context learning: utilizziamo un Language Model per svolgere i task semplicemente agendo sul testo del prompt.

Few-shot In-context learning: il prompt include esempi del task da svolgere e si presume che il LM non sia stato addestrato su task simili.

Zero-shot In-context learning: Il prompt non include esempi del task da svolgere, sebbene possa contenere altre istruzioni riguardo il task, e si presume che il LM non sia stato addestrato su task simili.

LM Autoregressivi: GPT utilizza una funzione di costo autoregressiva del tipo \(\displaystyle \max_\theta \sum_{t=1}^T \frac{e^{e(x_t)^\top h_\theta(\mathbf x_{1:t-1})}} {\displaystyle \sum_{x' \in V}e^{e(x')^\top h_\theta(\mathbf x_{1:t-1})}}\) che mira a fornire per ogni posizione un vettore di probabilità con massima similarità rispetto all'embedding del carattere effettivo.

Instruction fine-tuning: Il vero fine tuning si effettua in modo supervised e semi-supervised, prima fornendo prompt (campionato o manuale) e una risposta manuale.  In una seconda fase si campiona il prompt e si fa un ranking degli output possibili del sistema.

Self-instruct: In questo particolare caso si addestra il LM, a partire da un set di vari task inseriti manualmente, a generare nuovi esempi di task sui quali addestrarsi a sua volta, che il sistema distinguerà in task di classificazione e generazione, da inserire nel set di task iniziali qualora siano ritenuti qualitativamente adeguati.