Grâce à leurs performances exceptionnelles dans de nombreux domaines d'application, les modèles volumineux suscitent un intérêt considérable dans le domaine de la vision par ordinateur, du traitement du langage naturel, etc. Cependant, l'entraînement de ces modèles est confronté à des contraintes significatives de capacité de la mémoire vidéo (VRAM) du processeur graphique (GPU). Cet article organise un système de techniques d'optimisation de l'entraînement des modèles volumineux dans des conditions de mémoire vidéo (VRAM) limitée du GPU. Tout d'abord, il analyse en profondeur les trois principaux éléments de l'occupation de la VRAM par le GPU lors de l'entraînement - les paramètres du modèle, l'état du modèle et l'activation du modèle. Il évalue ensuite les résultats de recherche existants sous ces trois angles. Enfin, il envisage les orientations futures de ce domaine, soulignant l'importance de l'innovation continue des technologies d'optimisation de la VRAM pour promouvoir le développement des modèles linguistiques volumineux. Cette revue offre aux chercheurs un guide systématique pour comprendre les défis d'optimisation de la VRAM lors de l'entraînement des modèles linguistiques volumineux.

Training techniques;Memory optimization;Model parameters;Model states;Model activations