Datenfusion

aus Wikipedia, der freien Enzyklopädie

Datenfusion (engl. data fusion) bezeichnet die Zusammenführung und Vervollständigung lückenhafter Datensätze zur Datenbereinigung. Während bei der Duplikaterkennung die Datensätze weitgehend vollständig sind und nur kleine Abweichungen aufweisen, müssen beim Datenfusion mehrere zum Teil unvollständige Datensätze kombiniert werden. Datenfusion ist ein wichtiger Bestandteil der Informationsintegration.

Bevor die Fusion von Daten zweier Quellen möglich ist, müssen sie ggf. auf ein gemeinsames Schema gebracht werden (Schemaintegration). Nicht vorhandene Attribute werden mit NULL (für „kein Wert“) aufgefüllt. In der Regel ist auch ein gemeinsames identifizierendes Attribut als Identifikator notwendig - dies kann beispielsweise zuvor durch Duplikaterkennung ermittelt worden sein.

[Bearbeiten] Subsumtion mit dem MINIMUM-UNION-Operator

Ein einfaches Verfahren der Datenfusion ist, einem Datensätze mit einem anderen zusammenzuführen, wenn ihm mehr Attribute fehlen und er in allen vorhandenen Attributen mit dem anderen Datensatz übereinstimmt (MINIMUM UNION). Der Datensatz mit mehr fehlenden Attributen wird vom vollständigeren Datensatz subsumiert. So subsumiert im folgenden Beispiel beim Minimum Union der erste Datensatz den zweiten:

Heinrich Müller aus Berlin, Alter unbekannt

Heinrich Müller aus Berlin, 55 Jahre

Der MIMINUM-UNION-Operator ist allerdings in den meisten Datenbanksystemen um Gegensatz zu einfachen UNION-Operator und dem OUTER-JOIN, die nur vollständig übereinstimmende Datensätze erkennen.

[Bearbeiten] Zusammenführen mit dem MERGE-Operator

Mit dem MERGE-Operator lassen sich auch über Kreuz liegende unvollständige Datensätze zusammenführen. So ergeben beispielsweise die ersten beiden der folgenden Datensätze bei einem MERGE den dritten:

Heinrich Müller aus Berlin, Alter unbekannt

Heinrich Müller aus ???, 55 Jahre

Heinrich Müller aus Berlin, 55 Jahre

Der MERGE-Operator lässt sich in SQL mit Hilfe der COALESCE-Funktion, die den ersten vorhandenen Wert einer gegebenen Liste liefert, ausdrücken.

[Bearbeiten] Konfliktlösung

Wenn bei zusammengehörenden Datensätzen nur einzelne Attributwerte fehlen, sondern voneinander abweichen, spricht man auch von Datenkonflikten. Datenkonflikte können beispielsweise auf Tippfehlern, unterschiedlichen Schreibweisen und Kodierungen, Fehlern bei Berechnungen und automatischer Texterkennung und auf veraltete Daten beruhen. Zur Bereinigung von Datenkonflikten mittels Aggregation müssen Präferenzen oder andere Konfliktlösungsfunktionen angegeben werden (beispielsweise der Durchschnitt verschiedener Zahlenangaben). Die Datensätze werden zunächst nach Duplikaten gruppiert (siehe Duplikaterkennung) und dann innerhalb der Duplikate aggregiert.

Beispiele für Datenkonflikte zwischen Duplikaten:

Heinrich Müller aus Bärlin, 55 Jahre

Heinrich Müller aus Berlin, 54 Jahre

Heinrich Mueller aus Bärlin, 55 Jahre