awk

awk ist eine Programmiersprache (Skriptsprache) zur Bearbeitung und Auswertung strukturierter Textdaten, beispielsweise CSV-Dateien. Der zugehörige Interpreter war eines der ersten Werkzeuge, das in der Version 3 von Unix erschien; es wird auch heute noch vielfach zusammen mit sed in Shell-Skripten eingesetzt, um Daten zu bearbeiten, umzuformen oder auszuwerten. Die Bezeichnung "awk" ist aus den Anfangsbuchstaben der Nachnamen ihrer drei Autoren Alfred V. Aho, Peter J. Weinberger und Brian W. Kernighan zusammengesetzt.

Eine Version von awk ist heute in fast jedem Unix-System zu finden, das historisch auf UNIX zurückzuführen ist. Ein vergleichbares Programm ist aber auch für fast alle anderen Betriebssysteme verfügbar. Die Free Software Foundation stellt unter dem Namen gawk eine erweiterte freie Variante zur Verfügung. Eine weitere freie Implementierung ist mawk von Mike Brennan. mawk ist kleiner und schneller als gawk, was allerdings durch einige Einschränkungen erkauft wird.

Die Sprache arbeitet fast ausschließlich mit dem Datentyp Zeichenkette (engl. String). Daneben sind assoziative Arrays (d. h. mit Zeichenketten indizierte Arrays, auch Hashs genannt) und reguläre Ausdrücke grundlegende Bestandteile der Sprache.

Die Leistungsfähigkeit, Kompaktheit, aber auch die Beschränkungen der awk- und sed-Skripte regten Larry Wall zur Entwicklung der Sprache Perl an.

Aufbau eines awk-Programms

Die typische Ausführung eines awk-Programms besteht darin, Operationen – etwa Ersetzungen – auf einem Eingabetext durchzuführen. Hierzu wird der Text zeilenweise eingelesen und anhand eines gewählten Trenners – üblicherweise ein Leerzeichen – in Felder aufgespalten. Anschließend werden die awk-Anweisungen auf die jeweilige Zeile angewandt.

Die awk-Anweisungen haben dabei die folgende bedingte Struktur:

  Bedingung { Anweisungsblock }

Hierbei wird für die eingelesene Zeile oder eines ihrer Felder ermittelt, ob sie dem unter Bedingung genannten regulären Ausdruck entspricht. Ist dies der Fall, wird der Code innerhalb des von geschweiften Klammern umschlossenen Anweisungsblocks ausgeführt. Abweichend von der oben beschriebenen Struktur für awk-Anweisungen, bestehend aus Bedingung und Aktion, kann ein Statement auch nur aus einer Aktion

  { Anweisungsblock }

oder nur aus einer Bedingung

  Bedingung

bestehen. Fehlt die Bedingung, so wird die Aktion für jede Zeile ausgeführt. Fehlt die Aktion, so wird als Defaultaktion das Schreiben der ganzen Zeile ausgeführt, sofern die Bedingung erfüllt ist.

Variablen und Funktionen

Der Benutzer kann Variablen innerhalb von Anweisungsblöcken durch Referenzierung definieren, eine explizite Deklaration ist nicht notwendig. Der Gültigkeitsbereich der Variablen ist global. Eine Ausnahme bilden hier Funktionsargumente, deren Gültigkeit auf die sie definierende Funktion beschränkt ist.

Funktionen können an beliebiger Stelle definiert werden, die Deklaration muss dabei nicht vor der ersten Nutzung erfolgen. Falls es sich um Skalare handelt, werden Funktionsargumente als Wertparameter übergeben, ansonsten als Referenzparameter. Die Argumente bei Aufruf einer Funktion müssen nicht der Funktionsdefinition entsprechen, überzählige Argumente werden als lokale Variablen behandelt, ausgelassene Argumente mit dem speziellen Wert uninitialized – numerisch Null und als Zeichenkette den Wert des leeren Strings – versehen.

Funktionen und Variablen aller Art bedienen sich des gleichen Namensraums, so dass gleiche Benennung zu undefiniertem Verhalten führt.

Neben benutzerdefinierten Variablen und Funktionen stehen auch Standardvariablen und Standardfunktionen zur Verfügung, beispielsweise die Variablen $0 für die gesamte Zeile, $1, $2, … für das jeweils i-te Feld der Zeile und FS (von engl. field separator) für den Feldtrenner, sowie die Funktionen gsub(), split() und match().

awk-Befehle

Die Syntax der Befehlsanweisungen von awk ähnelt derjenigen der Programmiersprache C. Elementare Befehle sind Zuweisungen an Variablen, Vergleiche zwischen Variablen sowie Schleifen oder bedingte Befehlsausführungen (if-else). Daneben gibt es Aufrufe sowohl zu fest implementierten als auch zu selbst programmierten Funktionen.

Ausgeben von Daten auf der Standardausgabe ist durch den „print“-Befehl möglich. Um etwa das zweite Feld einer Eingabezeile auszudrucken, wird der Befehl

  print $2

benutzt.

awk-Bedingungen

Bedingungen sind in awk-Programmen entweder von der Form

 Ausdruck Vergleichsoperator Ausdruck

oder von der Form

 Ausdruck Matchoperator /reguläres Suchmuster/

Reguläre Suchmuster werden wie beim grep-Befehl gebildet, und Matchoperatoren sind ~ für "Muster gefunden" und !~ für "Muster nicht gefunden". Als Abkürzung für die Bedingung „$0 ~ /reguläres Suchmuster/“ (also die ganze Zeile erfüllt das Suchmuster) kann „/reguläres Suchmuster/“ verwendet werden.

Als spezielle Bedingungen gelten die Worte BEGIN und END, bei denen die zugehörigen Anweisungsblöcke vor dem Einlesen der ersten Zeile bzw. nach Einlesen der letzten Zeile ausgeführt werden.

Darüber hinaus können Bedingungen mit logischen Verknüpfungen zu neuen Bedingungen zusammengesetzt werden. Z.B.

  $1 ~ /^E/ && $2 > 20 { print $3 }

Dieser AWK-Befehl bewirkt, dass von jeder Zeile, die mit E beginnt und deren zweites Feld eine Zahl größer 20 ist, das dritte Feld ausgegeben wird.

Beispiele

Hier ein paar einfache Anwendungsbeispiele dazu, die man z. B. unter Linux einfach in einer Shell eingeben kann:

   echo Hallo Welt | awk '{print $1}'
   echo Hallo Welt | awk '{print $2}'

erzeugt die Ausgaben „Hallo“ bzw. „Welt“

  echo Hallo Welt  | awk '{printf "%s %s!\n",$1,$2}'

erzeugt die Ausgabe „Hallo Welt!“ sowie einen Zeilenumbruch.

Versionen, Dialekte

Die neuere und erweiterte Version von awk ist nawk (new awk). Sie wurde 1985 eingeführt und ist die Grundlage aktueller awk-Implementationen. Sie unterscheidet sich durch die Möglichkeit, eigene Funktionen zu definieren, sowie eine größere Menge von Operatoren und vordefinierten Funktionen. Der Aufruf erfolgt zumeist dennoch über „awk“, seit eine Unterscheidung zwischen beiden Versionen obsolet geworden ist.

Eine von Michael Brennan geschriebene Implementation von awk ist mawk.

Literatur

• Alfred V. Aho, Brian W. Kernighan, and Peter J. Weinberger: The AWK Programming Language. Addison-Wesley, 1988, ISBN 0-201-07981-X (sollte bereits Ende 2007 auf Deutsch im OSTC Verlag erscheinen: Die Programmiersprache AWK, OSTC Verlag, 2007, ISBN 978-3-9811280-0-0)
• Dale Dougherty and Arnold Robbins: sed & awk O’Reilly & Associates, 1997, ISBN 1-56592-225-5
• Helmut Herold: awk und SED, 3. Auflage, Addison-Wesley, 2003, ISBN 3-8273-2094-1
• Arnold Robbins: GAWK: Effective AWK Programming: A User’s Guide for GNU Awk O’Reilly, 2001, ISBN 0-596-00070-7, online unter http://www.gnu.org/software/gawk/manual/
• Jürgen Peters: Programmieren mit awk, Oldenbourg, 1990, ISBN 3-486-21504-3
• Reinhold Kalteis: awk – Die Programmiersprache für UNIX und DOS, Franzis, 1991, ISBN 3-7723-4231-0
• Gottfried Staubach: UNIX-Werkzeuge zur Textmusterverarbeitung, Springer, 1989, ISBN 3-540-51232-2 und ISBN 0-387-51232-2
• mawk in UNIX man page

Weblinks

 Wikibooks: Awk – Lern- und Lehrmaterialien

• awk(1) – Linux-Manpage (Englisch)
• http://www.gnu.org/software/gawk/gawk.html – GAWK (GNU Awk) Website
• http://www.ostc.de/awk.pdf – Ausführliche Beschreibung auf Deutsch (PDF; 340 kB)
• http://www.catonmat.net/blog/awk-nawk-and-gawk-cheat-sheet/ Awk Spickzettel
• http://freshmeat.net/projects/mawk/ mawk von Michael Brennan
• http://awk.info/ – Awk Community Portal (Englisch)