Les deux paradigmes partagent une ambition — faire travailler plusieurs processeurs sur un même problème — mais divergent sur l'architecture, la communication et la gestion des pannes. Ces écarts ne sont pas cosmétiques : ils déterminent les problèmes que chaque approche sait résoudre.
1. Architecture et matériel
Le calcul parallèle suppose des processeurs étroitement couplés, au sein d'une même machine ou d'un petit cluster. Ils partagent fréquemment un espace mémoire commun, ou communiquent par des interconnexions très rapides comme on en trouve dans les supercalculateurs. La priorité va à la réduction de la latence entre processeurs, et le matériel est souvent spécialisé : cœurs multiples, GPU, accélérateurs dédiés.
Le calcul distribué repose au contraire sur des processeurs faiblement couplés, répartis entre plusieurs machines parfois éloignées géographiquement. Aucune mémoire partagée : chaque nœud ne dispose que de sa mémoire locale. La communication transite par le réseau, plus lent et moins fiable qu'une interconnexion interne, mais bâti sur du matériel ordinaire — serveurs standard, postes de travail, liaisons LAN, WAN ou Internet.
2. Communication
En parallèle, deux styles coexistent. La mémoire partagée permet aux processeurs de dialoguer par simples lectures et écritures, ce qui impose une synchronisation rigoureuse — verrous, sémaphores — pour éviter les conditions de course. La passerelle de messages échange des données explicites, solution retenue dans les clusters très couplés où le partage mémoire n'est ni possible ni performant. Dans les deux cas, la communication est rapide et à faible latence.
En distribué, tout passe par les messages réseau : TCP/IP, HTTP, protocoles spécialisés. Les appels de procédure distante (RPC) en constituent une abstraction courante, où un programme d'une machine invoque une procédure sur une autre. La latence est plus élevée et les pannes réseau deviennent une préoccupation de premier plan.
3. Modèles de programmation
Côté parallèle, les modèles supposent généralement un espace mémoire partagé et concentrent la difficulté sur la synchronisation et la cohérence des données. OpenMP et Pthreads pour la mémoire partagée, MPI pour la passerelle de messages. Programmer en mémoire partagée reste plus accessible que le distribué, puisque le développeur n'a pas à expliciter les échanges ; la version par messages est plus ardue, sans atteindre la complexité des systèmes répartis.
Côté distribué, la programmation intègre d'emblée la tolérance aux pannes, la distribution des données et la gestion des aléas réseau. MapReduce pour le traitement de données à grande échelle, architecture microservices, files de messages comme RabbitMQ ou Kafka pour la communication asynchrone. La sérialisation, les échanges explicites et la reprise sur panne alourdissent le travail du développeur.
4. Tolérance aux pannes
Dans une architecture parallèle à mémoire partagée, la défaillance d'un processeur peut entraîner l'ensemble du système. La question reste secondaire, ces environnements étant généralement contrôlés.
Dans un système distribué, elle devient un critère de conception central. Trois familles de techniques y répondent : la réplication des données et des calculs sur plusieurs nœuds, les points de reprise qui sauvegardent périodiquement l'état d'un calcul pour permettre son redémarrage, et les algorithmes de consensus comme Paxos ou Raft, qui maintiennent l'accord entre machines malgré les défaillances.
5. Évolutivité
Le parallèle se heurte rapidement aux limites de la machine : ajouter cœurs et mémoire coûte cher et bute sur des contraintes physiques. Passer à un très grand nombre de processeurs se complique en outre des surcharges de communication et des goulots d'étranglement de synchronisation.
Le distribué, lui, s'étend en ajoutant des machines, y compris pour traiter des volumes de données considérables. L'extension horizontale — multiplier les nœuds — s'avère généralement plus économique que l'extension verticale — remplacer une machine par une plus puissante.
6. Exemples caractéristiques
Calcul parallèle : simulations scientifiques comme la prévision météorologique ou la dynamique des fluides, bases de données hautes performances sur serveur multicœur, traitement d'images et de vidéos sur GPU.
Calcul distribué : moteurs de recherche, réseaux sociaux, plateformes cloud, sites de commerce électronique à grande échelle, réseaux de cryptomonnaies.
En un coup d'œil
| Critère | Calcul parallèle | Calcul distribué |
|---|---|---|
| Architecture | Couplage serré, mémoire souvent partagée | Couplage lâche, mémoire locale |
| Communication | Rapide, faible latence | Réseau, latence plus élevée |
| Programmation | Accessible en mémoire partagée | Échanges explicites, reprise sur panne |
| Pannes | Point de défaillance unique | Redondance intégrée |
| Évolutivité | Bornée par le matériel | Extension horizontale |
Une image résume la distinction : le calcul parallèle, c'est une brigade de cuisiniers dans la même cuisine, partageant ingrédients et plan de travail pour servir vite. Le calcul distribué, c'est un réseau de restaurants dans plusieurs villes, chacun avec sa brigade, qui se coordonnent par téléphone pour honorer une commande de grande ampleur.