ISF-Wert

Inverse Satzfrequenz (ISF) ist ein Maß, das entwickelt wurde, um die Bedeutung eines Wortes basierend darauf zu bewerten, wie häufig es in Sätzen vorkommt. Das zugrunde liegende Prinzip ist, dass Wörter, die in vielen Sätzen erscheinen, im Allgemeinen weniger informativ in Bezug auf den spezifischen Inhalt oder die Themen des Textes sind. Im Gegensatz dazu werden Wörter, die in weniger Sätzen vorkommen, als bedeutender angesehen, da sie wahrscheinlich spezifischere oder einzigartige Aspekte des Textes betreffen.

ISF quantifiziert dieses Konzept, indem es höhere Werte an Wörter mit niedrigerer Satzverteilung vergibt und so deren potenziellen Wert bei der Charakterisierung des Textes hervorhebt.

Implementierung der ISF-Berechnung

Der Prozess der Berechnung von ISF-Werten umfasst die folgenden Schritte:

1. Verwendung von Wortverteilungszählungen: Das zuvor erstellte word_sentence_counts-Wörterbuch ordnet jedem Wort die Anzahl der Sätze zu, in denen es vorkommt. Diese Daten sind entscheidend für die Berechnung von ISF-Werten, da sie die satzbezogene Verteilung der Wörter widerspiegeln;

2. Anwendung der ISF-Formel: Für jedes Wort wird der ISF-Wert mit einer logarithmischen Skala berechnet. Die Formel log(len(sentences) / word_sentence_counts[word]) nimmt die Gesamtanzahl der Sätze im Text und teilt sie durch die Anzahl der Sätze, die das Wort enthalten.