On peut le voir comme une mémoire cache ultra-rapide, située plus près du processeur que les niveaux classiques L1, L2 ou L3. Son rôle est triple :
Réduire la latence : en conservant à portée immédiate les données les plus consultées, il raccourcit nettement le temps d'accès et améliore sensiblement les performances.
Accroître le débit : un accès plus rapide laisse le processeur exécuter davantage d'instructions par seconde.
Soutenir les usages à haute fréquence : les systèmes temps réel, le calcul haute performance et certains systèmes embarqués en dépendent directement.
Cette rapidité a un prix : ces magasins sont de très petite taille, en raison de leur coût et de leur complexité. Seules y résident les données les plus critiques et les plus fréquemment utilisées, ce qui limite mécaniquement leur capacité.