Plusieurs termes coexistent, et le bon choix dépend surtout du contexte.
Périphérique : c'est le mot le plus courant et le plus général. Il désigne tout appareil que l'on relie à un ordinateur pour étendre ses capacités — imprimante, scanner, clavier, souris, disque dur externe, tablette graphique, etc.
Dispositif externe : quasi synonyme, mais l'accent est mis sur le fait que l'appareil ne fait pas partie intégrante de la machine. On l'emploie volontiers pour tout ce qui se branche à l'extérieur du boîtier.
Matériel (hardware) : terme plus large encore, qui englobe l'ensemble des composants physiques d'un système informatique, y compris l'unité centrale et ses composants internes.
Accessoire ou, dans un registre familier, périphérique amovible : on parle d'accessoire pour un clavier ou une souris, et de support amovible pour une clé USB ou une carte mémoire.
Retenez donc ceci : si vous parlez d'un appareil relié à l'ordinateur pour lui ajouter des fonctions, le terme exact est périphérique. Réservez « matériel » à la couche physique dans son ensemble, et « dispositif externe » lorsque vous voulez insister sur la connexion externe.