In-context learning: utilizziamo un Language Model per svolgere i task semplicemente agendo sul testo del prompt.
Few-shot In-context learning: il prompt include esempi del task da svolgere e si presume che il LM non sia stato addestrato su task simili.
Zero-shot In-context learning: Il prompt non include esempi del task da svolgere, sebbene possa contenere altre istruzioni riguardo il task, e si presume che il LM non sia stato addestrato su task simili.
LM Autoregressivi: GPT utilizza una funzione di costo autoregressiva del tipo maxθT∑t=1ee(xt)⊤hθ(x1:t−1)∑x′∈Vee(x′)⊤hθ(x1:t−1) che mira a fornire per ogni posizione un vettore di probabilità con massima similarità rispetto all'embedding del carattere effettivo.
Instruction fine-tuning: Il vero fine tuning si effettua in modo supervised e semi-supervised, prima fornendo prompt (campionato o manuale) e una risposta manuale. In una seconda fase si campiona il prompt e si fa un ranking degli output possibili del sistema.
Self-instruct: In questo particolare caso si addestra il LM, a partire da un set di vari task inseriti manualmente, a generare nuovi esempi di task sui quali addestrarsi a sua volta, che il sistema distinguerà in task di classificazione e generazione, da inserire nel set di task iniziali qualora siano ritenuti qualitativamente adeguati.