- Dublettenbereinigung
-
Unter Duplikaterkennung oder Objektidentifizierung versteht man verschiedene automatische Verfahren, mit denen sich Datensätze identifizieren lassen, die dasselbe Objekt in der realen Welt repräsentieren. Dies ist beispielsweise beim Zusammenführen mehrerer Datenquellen oder bei der Datenbereinigung notwendig. Die Schwierigkeit besteht darin, dass Datensätze für gleiche Objekte unterschiedliche Werte aufweisen können und deshalb Heuristiken angewandt werden müssen.
Duplikate können beispielsweise durch Eingabe- und Übertragungsfehler, wegen verschiedener Schreibweisen und Abkürzungen oder aufgrund unterschiedlicher Datenschemata entstehen. Beispielsweise können in eine Adressdatenbank aus unterschiedlichen Quellen Adressen aufgenommen werden, wobei ein und dieselbe Adresse mit Variationen mehrfach aufgenommen werden kann. Mittels Duplikaterkennung sollen nun diese Duplikate herausgefunden und die eigentlichen Adressen als Objekte identifiziert werden.
Zur Erkennung von Duplikaten werden verschiedene Ähnlichkeitsmaße angewandt, beispielsweise die Levenshtein-Distanz oder die Typewriterdistanz. Da in der Regel aus Kostengründen nicht jeder Datensatz mit jedem anderen verglichen werden kann, gibt es Verfahren wie die Methode Sortierte Nachbarschaft, bei der nur potenziell ähnliche Datensätze überprüft werden, ob sie Duplikate sind.
Beispiele
Bei den folgenden Einträgen aus einer Liste von Namen kann es sich möglicherweise um Duplikate handeln:
- Max Müller
- Max Mueller
- M. Müller
- Max Muller
Bei einer Bibliothek können Dubletten auftreten, wenn mehrere Bibliothekskataloge zusammengeführt werden.
Duplikate können auch mit SQL in einer Datenbank entfernt werden.
Siehe auch
Phonetische Algorithmen, die Wörtern nach ihrem Sprachklang eine Zeichenfolge zuordnen, dem phonetischen Code, um eine Ähnlichkeitssuche zu implementieren:
Wikimedia Foundation.
