Dmoz

Das Open Directory Project (ODP), auch bekannt als dmoz (für „Directory Mozilla“), ist nach eigenen Angaben das größte von Menschen gepflegte Webverzeichnis des World Wide Web^[1]. Die Inhalte des Projekts sind Open-Content und werden von freiwilligen Redakteuren, den so genannten Editoren, bearbeitet und aktualisiert.

Historie

Das ODP wurde ursprünglich unter dem Namen Gnuhoo gegründet und ging am 5. Juni 1998 online. Der Name wurde in Newhoo geändert, nachdem ein Slashdot-Artikel darauf hinwies, dass Gnuhoo nicht auf freier Software basiert, und dass Gnuhoo das Markenzeichen des GNU-Projektes ohne Erlaubnis benutzte.^[2]

Newhoo wurde zum Open Directory Project, nachdem es im Oktober 1998 von Netscape gekauft wurde und seinen Inhalt unter einer Open-Content-Lizenz veröffentlichte. Kurz darauf wurde Netscape inklusive des ODP von AOL gekauft, welches einige Zeit später mit Time Warner fusionierte. Abgeleitet von der ersten Hostingadresse directory.mozilla.org entstand die Kurzform "DMOZ" bzw. "dmoz.org".

Die Idee des Open Directory Projects inspirierte mindestens zwei weitere Webverzeichnisse, welche ebenfalls von privaten Unternehmen finanziert und von freiwilligen Editoren bearbeitet wurden: Das Go-Verzeichnis (ehemals betrieben von Disney) und Zeal (gekauft von LookSmart). Beide sind mittlerweile eingestellt. Keines dieser Verzeichnisse veröffentlichte seine Daten jedoch als Open Content – eine Strategie, welche den Erfolg des ODP in einem stark umkämpften Markt sicherte.

Die Motivation zur Gründung des ODP war die Frustration über die mangelhafte Aktualität, d. h. die lange Verzögerung bei der Aufnahme neuer Sites und der hohe Anteil toter Links in redaktionell betreuten Verzeichnissen. Mittlerweile haben viele dieser Verzeichnisse einen kostenpflichtigen Eintragsservice eingeführt, mit dem die Aktualität einzelner Sites schnell verbessert werden kann. Diese Verbesserung geschieht jedoch auf Kosten der redaktionellen Integrität: Anders als bei offenen Verzeichnissen wie dem ODP gibt nicht die inhaltliche Qualität und thematische Plausibilität der Site den Ausschlag für die Listung, sondern die finanziellen Möglichkeiten der jeweiligen Webmaster.

Allerdings wird auch beim ODP die mangelhafte Aktualität und lange Bearbeitungsdauer kritisiert. Die Verzögerung bei der Aufnahme ähnelt in vielen Kategorien jener, die früher bei Yahoo üblich war. Dies liegt daran, dass die Editorengemeinschaft mit dem Wachstum des Internet nur mühsam Schritt halten kann und daher in zahlreichen Kategoriezweigen Editoren fehlen, um die Vielzahl der Anmeldungen zu bearbeiten. Es kann zwar jeder Editor werden, aber dafür ist eine Bewerbung nötig. Editoren sind immer nur für bestimmte Kategoriezweige zuständig.

Am 20. Oktober 2006 erfuhr das ODP schwerwiegende technische Probleme. Die Funktionen für das Vorschlagen von Sites und Änderungen, sowie die internen Editorfunktionen zum Ändern von Katalogeinträgen waren gesperrt. Am 18. Dezember 2006 wurde der Zugang für Editoren wieder freigegeben; am 13. Januar 2007 das öffentliche Interface für das Vorschlagen von Sites und Änderungen und am 23. Februar 2007 die Möglichkeit, sich als neuer Editor zu bewerben.

Datennutzung

Die ODP-Inhalte sind kostenlos und ungehindert öffentlich zugänglich. Zusätzlich wird ein kostenfreies Nutzungsrecht zur Weiterverbreitung als komplette oder auszugsweise Veröffentlichung gewährt.^[3] Die Daten stehen dafür in einer frühen Form des RDF-Formats zum Download zur Verfügung. Es erscheint in der Regel wöchentlich eine neue Version. Die Daten des in sich abgeschlossenen ODP Sets (Dump) enthalten sowohl die URL-Einträge, als auch die Verzeichnisstruktur inklusive der Verlinkung zwischen Kategorien.

Die Weiterverbreitung der Daten erfolgt als Open Content zu den Bedingungen der Open-Directory-Project-Lizenzbedingungen. Diese sehen eine sichtbare ODP-Quellenangabe mit Links für das Vorschlagen neuer Einträge und für die Bewerbung zur Mitarbeit beim ODP auf jeder einzelnen Seite vor, die Inhalte des ODP beinhaltet.^[4]

Zu den Nutzern, die ODP-Daten zur Ergänzung ihrer Inhalte einfließen lassen, gehören neben Netscape und AOL auch bekannte Suchmaschinen wie Google oder Excite sowie mehr als 300 weitere Seiten.^[5] Google und MSN Search verwenden die Beschreibungstexte des Open Directory Projects auf ihren Ergebnisseiten auch als Ersatz für die ansonsten angezeigten Seitenausschnitte. Beide Plattformbetreiber bieten die Möglichkeit, sich per Meta-Tag („noodp“) gegen das Verwenden der Beschreibungen aus dem ODP auszusprechen. Die Betreiber kommen damit Einwänden von Webmastern entgegen, denen eine externe Beschreibung ihrer Site nicht gefällt.

Datenpflege

Neben der Pflege der Verzeichniseinträge durch Editoren gibt es eine Reihe von Mechanismen und Werkzeugen, die auf eine Verbesserung der Datenqualität hinzielen. So ist es z. B. für Nutzer des Verzeichnisses möglich, Aktualisierungswünsche für bestimmte Einträge einzugeben oder einen Missbrauchsverdacht zu melden.

Zudem hat das ODP einen eigenen Webcrawler mit Namen Robozilla. Dieser wird von Zeit zu Zeit über alle im Verzeichnis gelisteten Einträge geschickt um tote Links zu finden. Robozilla markiert diese entsprechend und entfernt sie vorübergehend aus dem Verzeichnis, damit die Editoren passende Maßnahmen ergreifen können.

Einträge von abgelaufenen Domains werden inzwischen weitgehend automatisch aus dem Verzeichnis entfernt, um die Aktualität zu gewährleisten und falsche oder irreführende Inhalte durch Hijacking und Parking von Internetadressen zu verhindern.

Im Laufe der Zeit wurden – bedingt vor allem durch die abnehmende Zahl der von Netscape bzw. AOL bezahlten Staff-Mitarbeiter – von den Editoren des ODP eine Reihe zusätzlicher Tools wie Linkprüfer, spezialisierte Webcrawler, Rechtschreibprüfer, verbesserte Suchmaschinen und eine Reihe von Bookmarklets erstellt, um das Editieren zu vereinfachen.

Ausgliederungen

Im Laufe der Jahre haben Editoren des ODP eine Reihe verwandter Projekte gestartet, die teilweise auf der auch vom ODP genutzten Software basieren. Keines davon war jedoch bislang so erfolgreich wie das ODP selbst.

Eines dieser Projekte ist als Verzeichnis im Verzeichnis direkt ins ODP integriert: Der Zweig für Kinder und Jugendliche, kidmoz. Dort werden ausgewählte Sites speziell für Kinder und Jugendliche mit passenden Beschreibungen sowie Altersangaben versehen und gelistet. Organisatorisch ist dieser Teil des Verzeichnisses relativ unabhängig, auch wenn eine Reihe von Editoren in beiden Verzeichnissen aktiv sind. Gegründet wurde es im November 2000.^[6]

Ein weiteres, auf das Sammeln aller mit Musik und Musikern zusammenhängenden Daten spezialisiertes Projekt ist MusicMoz. Dieses existiert derzeit nur auf Englisch, ein deutschsprachiger Zweig ist jedoch in Vorbereitung.

Außerdem gibt es den Restaurantführer ChefMoz, wo Restaurantbeschreibungen und -kritiken gesammelt werden.

Bei der Enzyklopädie Open Site können – wie beim Open Directory Project – nur angemeldete Editoren am Datenbestand arbeiten. Dort gibt es bereits einen deutschsprachigen Bereich.

Daten und Fakten

Anzahl der Einträge im deutschsprachigen Teil des ODP

Im Juni 2008 verzeichnete das ODP über 4,5 Millionen Einträge – über 480.000 davon im deutschsprachigen Teil des Katalogs. Diese sind in über 700.000 Kategorien sortiert. Seit der Gründung des Projektes haben mehr als 80.000 Editoren zum Wachstum des Verzeichnisses beigetragen.

Nachdem für 2005 das erste Mal ein Jahresreport veröffentlicht wurde, wurden von Januar 2006 bis zum Servercrash im Oktober 2006 monatlich englischsprachige Berichte bereitgestellt. Neben einer Darstellung der Entwicklung der Eintragszahlen, der aktiven Editoren und der im Verzeichnis vertretenen Sprachen wurde darin über Projekte und Datennutzer berichtet.^[7]

Das ODP bezeichnet sich als ein Projekt von freiwilligen Editoren, die im Internet veröffentlichte Informationen systematisch katalogisieren und öffentlich zur Verfügung stellen. Hierzu werden möglichst viele verschiedene Editoren, die jeweils beste Kenntnisse auf einem Spezialgebiet haben, betraut. Davon ausgehend, dass der Mensch automatisierten Katalog- und Suchsystemen überlegen ist, soll dem Nutzer ein qualitiv besseres, verdichtetes Suchergebnis zur Verfügung gestellt werden. Dies wird mit dem Slogan Humans do it better entsprechend ausgedrückt.

Editoren durchlaufen ein kurzes Bewerbungsverfahren mit Beispiellinks und Fragen zum Themenbezug.^[8] Qualität und Verhinderung von Missbrauch spielen auch wegen der Abgabe der Daten in offener Lizenz an weitere Datennutzer eine übergeordnete Rolle. So besteht zwar die Möglichkeit, Seiten vorzuschlagen, das Verzeichnis wächst aber überwiegend durch eigene Recherchen der Editoren. Grundlage für die Aufnahme von Seiten sind die öffentlich zugänglichen Richtlinien und Hinweise und ob eine Seiteninformation für das Thema sinnvoll und eine wertvolle Ergänzung ist.^[9]

Weblinks

• Deutschsprachiger Bereich des Open Directory Project
• Webpräsenz des Open Directory Project (englisch)
• Links zum Thema Open Directory Project im Open Directory Project
• Genesis of the Open Directory Project, eine Zusammenfassung der Geschichte und Strategie des ODP in Folienform von Rich Skrenta (englisch)

Einzelnachweise

1. ↑ dmoz.org
2. ↑ Slashdot: The GnuHoo BooBoo
3. ↑ Gesellschaftsvertrag von Netscape mit Selbstverpflichtungen gegenüber der Web-Community
4. ↑ Open Directory License
5. ↑ Datennutzer in deutsch, siehe die Links dort für andere Sprachen.
6. ↑ Newsletter März 2001 mit Vorstellung des neuen Projekts
7. ↑ ODP Reports
8. ↑ Werde Editor beim Open Directory Project
9. ↑ Open Directory: Editierrichtlinien