Calcul parallèle et calcul distribué visent le même résultat — aller plus vite sur des problèmes lourds — mais s'organisent différemment. La distinction se résume à deux questions : où se trouve la mémoire, et comment les processeurs communiquent.
Le calcul parallèle
Architecture. Plusieurs processeurs ou cœurs au sein d'une même machine : processeur multicœur, GPU, serveur multiprocesseur.
Mémoire. Un espace partagé, auquel tous les processeurs accèdent directement.
Communication. Par lecture et écriture dans cette mémoire commune, ce qui la rend rapide mais impose une synchronisation explicite — verrous, sémaphores — pour éviter les conditions de course.
Finalité. Répartir une charge de travail entre processeurs qui ont un accès direct aux mêmes données, afin de maximiser la vitesse d'exécution.
Couplage. Serré : les processeurs sont étroitement interconnectés et fortement synchronisés.
Exemples. Multithreading sur un poste unique, simulations scientifiques sur GPU, calcul haute performance sur un serveur multiprocesseur.
Le calcul distribué
Architecture. Plusieurs ordinateurs indépendants reliés par un réseau local ou étendu, parfois répartis sur plusieurs continents.
Mémoire. Privée pour chaque nœud ; aucune mémoire partagée.
Communication. Par échange de messages sur le réseau, plus lent qu'un accès mémoire local, et soumis aux aléas de disponibilité des liaisons.
Finalité. Traiter des problèmes à très grande échelle, garantir la disponibilité et la tolérance aux pannes, permettre la collaboration entre systèmes hétérogènes.
Couplage. Lâche : les nœuds fonctionnent relativement indépendamment et ne se coordonnent que par messages.
Exemples. Cloud computing, grilles de calcul, réseaux pair-à-pair, bases de données distribuées, systèmes comme Apache Kafka ou Apache Spark.
Comparaison synthétique
| Critère | Calcul parallèle | Calcul distribué |
|---|---|---|
| Architecture | Processeurs d'une même machine | Ordinateurs indépendants en réseau |
| Mémoire | Partagée | Privée, locale à chaque nœud |
| Communication | Mémoire partagée, rapide | Messages réseau, plus lente |
| Couplage | Serré | Lâche |
| Objectif | Vitesse et efficacité | Évolutivité, disponibilité, résilience |
| Localisation | Même site physique | Peut être géographiquement dispersé |
Deux cuisines, deux organisations
Le calcul parallèle, c'est une brigade dans une seule cuisine : mêmes ingrédients, mêmes ustensiles, même plan de travail, et un repas qui sort plus vite.
Le calcul distribué, c'est un groupe de restaurants répartis dans plusieurs villes. Chacun a sa cuisine et son équipe ; la coordination passe par le téléphone ou la messagerie, avec le délai et les risques que cela implique, mais l'ensemble peut honorer une commande qu'aucun établissement isolé ne pourrait traiter.
Une frontière qui n'est pas étanche
Dans la pratique, les deux approches se combinent. Un cluster de machines forme un système distribué, mais chaque machine du cluster exécute ses tâches en parallèle sur ses propres cœurs. Certains systèmes mélangent même mémoires partagée et distribuée au sein d'une même pile logicielle.
Le choix, lui, reste dicté par le besoin : le parallèle pour extraire de la vitesse d'une ressource unique en mutualisant ses données, le distribué pour dépasser les limites d'une machine en acceptant le coût de la communication réseau. L'ampleur du problème, les objectifs de performance et les exigences de disponibilité tranchent.