Openmp

OpenMP (Open Multi-Processing) ist eine seit 1997 gemeinschaftlich von verschiedenen Hardware- und Compilerherstellern entwickelte Programmierschnittstelle. Der Standard dient zur Shared-Memory-Programmierung in C/C++/Fortran auf Multiprozessor-Computern.

Während bei der Parallelisierung von Programmen gemäß dem Paradigma des Nachrichtenaustauschs (siehe hierzu z. B. MPI) diese zumeist auf Prozessebene vollzogen wird, findet die Parallelisierung mittels OpenMP auf Thread-, bzw. Schleifenebene statt.

Der OpenMP-Standard definiert dazu spezielle Compiler-Direktiven, die diesen dann anweisen z. B. die Abarbeitung einer for-Schleife auf mehrere Threads und/oder Prozessoren zu verteilen. Es existieren jedoch auch Bibliotheksfunktionen sowie Umgebungsvariablen, die zur OpenMP-Programmierung dienen.

OpenMP ist zum Einsatz auf Systemen mit gemeinsamem Hauptspeicher (Shared-Memory-Maschinen) gedacht (sog. UMA- und NUMA-Systeme), während andere Ansätze wie Message Passing Interface, PVM eher auf Multicomputern (Distributed-Memory Maschinen) aufsetzen. Bei modernen Supercomputern werden OpenMP und MPI (Message Passing Interface) oftmals zusammen eingesetzt. Dabei laufen auf einzelnen Shared-Memory-Clients OpenMP-Prozesse, die sich mittels MPI austauschen.

Eine interessante Eigenschaft von OpenMP ist, dass (bis auf Ausnahmen) die Programme auch korrekt laufen, wenn der Compiler die OpenMP-Anweisungen (siehe unten im Beispiel) nicht kennt und als Kommentar bewertet (also ignoriert). Das resultiert daher, dass eine mit OpenMP für mehrere Threads aufgeteilte for-Schleife natürlich auch mit einem einzelnen Thread sequentiell abgearbeitet werden kann.

Hauptbestandteile

Dieser Artikel oder Abschnitt besteht hauptsächlich aus Listen, an deren Stelle besser Fließtext stehen sollte.

Die Hauptbestandteile von OpenMP sind Konstrukte zur Threaderzeugung, Lastverteilung auf mehrere Threads, Verwaltung des Gültigkeitsbereiches von Daten, Synchronisation, Laufzeitroutinen und Umgebungsvariablen.

• Threaderzeugung: omp parallel teilt das Programm (Originalthread) in mehrere Threads auf, so dass der vom Konstrukt eingeschlossene Programmteil parallel abgearbeitet wird. Der Originalthread wird als Master Thread bezeichnet und trägt die ID 0.

Beispiel: Gibt „Hallo Welt!“ mehrmals mit Hilfe mehrerer Threads aus (jeder Thread eine Ausgabe).

 int main(int argc, char* argv[])
 {
   #pragma omp parallel  
   printf("Hallo Welt!\n");
   return 0;
 }

• Konstrukte zur Lastverteilung bestimmen, wie nebenläufige, unabhängige Arbeitslast auf parallele Threads verteilt wird.
  • omp for und omp do teilen Schleifendurchläufe (möglichst) gleichmäßig auf alle Threads auf (Gebietsaufteilung, data partitioning).
  • sections verteilt aufeinander folgende aber unabhängige Programmteile auf verschiedene Threads (Funktionsaufteilung, function partitioning).

Beispiel: Initialisiert ein großes Array parallel, wobei jeder Thread die Initialisierung eines Teiles des Arrays übernimmt (Gebietsaufteilung).

 #define N 100000
 int main(int argc, char *argv[])
 {
   int i, a[N];
   #pragma omp parallel for
   for (i=0;i<N;i++) a[i]= 2*i;
   return 0;
 }

• Verwaltung des Gültigkeitsbereiches von Daten: Bei Shared-Memory-Programmierung sind zunächst die meisten Daten in allen Threads sichtbar. Es besteht jedoch in einigen Programmen die Notwendigkeit von privaten, also nur für einen Thread sichtbaren Daten, und dem expliziten Austauschen von Werten zwischen sequentiellen und parallelen Bereichen. Dafür dienen in OpenMP die sogenannten data clauses.
  • shared: Die Daten dieses Typs sind gleichzeitig für alle Threads sichtbar und änderbar. Sie liegen für alle Threads an der gleichen Speicherstelle. Ohne weitere Angaben sind Daten gemeinsame Daten. Die einzige Ausnahme davon sind Schleifenvariablen.
  • private: Jeder Thread verfügt über seine eigene Kopie dieser Daten. Private Daten werden nicht initialisiert. Die Werte werden nicht außerhalb des parallelen Abschnitts bewahrt.
  • firstprivate: Diese Daten sind private Daten, mit dem Unterschied, dass sie mit dem letzten Wert vor dem parallelen Abschnitt initialisiert werden.
  • lastprivate: Diese Daten sind private Daten, mit dem Unterschied, dass der Thread, welcher die letzte Iteration ausführt, anschließend den Wert aus dem parallelen Abschnitt herauskopiert. firstprivate und lastprivate können kombiniert werden.
  • threadprivate: Diese Daten sind globale Daten, die im parallelen Programmabschnitt jedoch als privat behandelt werden. Der globale Wert wird über den parallelen Abschnitt hinweg bewahrt.
  • copyin ist analog zu firstprivate für private Daten, allerdings für threadprivate Daten, welche nicht initialisiert werden. Mit copyin wird der globale Wert explizit an die privaten Daten übertragen. Ein copyout ist nicht notwendig, da der globale Wert bewahrt wird.
  • reduction: Die Daten sind privat, werden jedoch am Ende auf einen globalen Wert zusammengefasst (reduziert). So lässt sich zum Beispiel die Summe aller Elemente eines Arrays parallel bestimmen.
• Konstrukte zur Synchronisation:
  • critical section: Der eingeschlossene Programmabschnitt wird von allen Threads ausgeführt, allerdings niemals gleichzeitig.
  • atomic ist analog zu critical section, jedoch mit dem Hinweis an den Compiler spezielle Hardwarefunktionen zu benutzen. Der Compiler ist an diesen Hinweis nicht gebunden, er kann ihn ignorieren. Sinnvoll ist die Verwendung von atomic für das exklusive Aktualisieren von Daten.
  • barrier markiert eine Barriere. Jeder Thread wartet an der Barriere, bis alle anderen Threads der Gruppe ebenfalls die Barriere erreicht haben.
  • ordered: Der eingeschlossene Abschnitt wird der Reihenfolge nach abgearbeitet, als würde die Schleife sequentiell abgearbeitet werden.
  • flush markiert einen Synchronisationpunkt, an dem ein konsistentes Speicherabbild hergestellt werden muss. Private Daten werden in den Arbeitsspeicher zurückgeschrieben.
  • single: Der umschlossene Programmteil wird nur von dem Thread ausgeführt, welcher ihn zuerst erreicht, dies impliziert eine Barriere am Ende des Blocks.
  • master: Analog zu single mit dem Unterschied, dass der umschlossene Programmteil vom Master Thread ausgeführt wird.
• Laufzeitroutinen werden benutzt, um zum Beispiel die Threadanzahl während der Laufzeit zu bestimmen, zu ermitteln, ob das Programm sich aktuell im parallelen oder sequentiellen Zustand befindet, etc.
• Umgebungsvariablen liefern Informationen wie zum Beispiel die Thread ID. Durch gezieltes Verändern bestimmter Umgebungsvariablen lässt sich die Ausführung von OpenMP-Programmen verändern. So kann beispielsweise die Anzahl von Threads und die Schleifenparallelisierung zur Laufzeit beeinflusst werden.

Beispiel-Code

Parallele Ausführung einer for-Schleife mittels OpenMP. Je nach Anzahl der beteiligten Threads wird die Schleife in verschiedene kleine Bereiche unterteilt, die je einem Thread zugeordnet werden. So wird erreicht, dass alle Threads gleichzeitig rechnen und schließlich das komplette Array abgearbeitet ist.

 #include <omp.h>
 #include <stdio.h>
 #include <stdlib.h>
 
 int main(void)
 {
     int id,i;
     omp_set_num_threads(4);
 
 #pragma omp parallel for private(id)
     for (i = 0; i < 4; ++i)
     {
         id = omp_get_thread_num();
 
         printf("Hello World from thread %d\n", id);
 #pragma omp barrier
         if (id == 0)
           printf("There are %d threads\n", omp_get_num_threads());
     }
 
     return EXIT_SUCCESS;
 }

Beim Übersetzen muss man dem Compiler sagen, dass er die Pragma‐Anweisungen beachten und notwendige Bibliotheken für die omp‐Funktionen einbinden soll.

% gcc-4.2 -Wall -fopenmp -o omp-bsp omp-bsp.c
% ./omp-bsp
Hello World from thread 3
Hello World from thread 0
Hello World from thread 1
Hello World from thread 2
There are 4 threads

Statt die Anzahl der Threads im Programm festzulegen, kann man dies auch zur Laufzeit bestimmen. Dazu setzt man die Umgebungsvariable OMP_NUM_THREADS auf den gewünschten Wert.

% OMP_NUM_THREADS=4 ./omp-bsp
Hello World from thread 3
Hello World from thread 0
Hello World from thread 1
Hello World from thread 2
There are 4 threads

Weblinks

• OpenMP-Homepage
• Tutorial von OpenMP
• OpenMP-Programmiergrundlagen (deutsch)
• Vorlesung High Performance Computing mit Unterlagen, u. a. Einführung zu OpenMP