Recall und Precision sind bekannte Maße aus dem Information Retrieval zur Beurteilung von Suchverfahren. Solange man eindeutig bestimmen kann welche Dokumente relevant sind, sind diese Maße hilfreich. Wenn aber die Relevanz eines Dokuments von den Interessen der jeweiligen Benutzer abhängt und es keinen "Goldstandard" gibt, dann helfen auch diese Maße nicht weiter.

Der Vergleich der Qualität von Suchmaschinen und deren Suchergebnissen erfolgt in der Regel manuell. Aus Kostengründen wird daher lediglich eine kleine Auswahl von Anfragen gestellt und oft nur die erste Ergebnisseite ausgewertet. Die Auswertung ist oft rein qualitativ, abhängig vom Tester und dessen Tagesform und somit nicht reproduzierbar. 

Recall und Precision reichen nicht

Ohne Relevanzbewertung durch Menschen war es bisher nicht möglich für ein neues Suchverfahren quantitativ zu messen:

• wieviel Zeit Benutzer bei der Trefferdurchsicht sparen
• wieviel zusätzliche passende Treffer gefunden werden
• wieviel Fehltreffer vermieden werden

Kurz, ein objektiver und reproduzierbarer Vergleich von Suchverfahren war bisher nicht möglich.

Ontonym hat ein Vergleichsverfahren entwickelt und zum Patent angemeldet, um Suchverfahren quantitativ bzgl. ihrer Ergebnisqualität zu vergleichen und Entscheidern so eine objektive Entscheidungsgrundlagen zu geben. Ergebnisse aus einem Vergleichstest mit einem Internetportals zeigen, dass Benutzer bei der Durchsicht der Ergebnisse einer semantischen Suche rd. 20% Zeit gegenüber einer konventionellen Volltextsuche einsparen können. Auf den ersten drei Suchergebnisseiten liefert eine semantische Suche darüberhinaus bei 40% der Treffer bessere Ergebnisse.

Der quantitative Vergleich ist sowohl im Rahmen von Projekten, als Lizenz und auch zukünftig über einen SaaS-Dienst verfügbar. Preise nennen wir Ihnen gerne auf Anfrage.