Informationstheorie Wissenschaftlicher Informationsbegriff

Information hängt mit der Informationsmenge, der Darstellungs- und Interpretationskomplexität und der abgestimmten Anpassung an den jeweiligen Kontext zusammen.

Historische Wurzeln der Informationstheorie

Statistische Thermodynamik

In der statistische Thermodynamik werden Gase rechnerisch als ein "schwirrendes Durcheinander" von sehr vielen Moleküle behandelt, wobei die Moleküle wie winzige, starre Kugeln betrachtet werden. Der molekulare Mikrokosmos ist für die Sinne des Menschen nicht direkt zugänglich. In der statistischen-atomistischen Mechanik ist die Entropie ein Maß für die Anzahl aller möglichen, verschiedenen Mikrozustände, die einen Makrozustand des Systems reepräsentieren.

Die Entropie ist ein Maß für die Unkenntnis der Mikrozustände.

Für homogene Systeme ist die Entropie proportional zur Menge. Nach Boltzmann besteht ein Zusammenhang zwischen der Entropie S eines System (in einem bestimmten makroskopischen Zustand) und der Wahrscheinlichkeit P der Realisierung dieses Zustandes:

  S = k · ln(P)

Hierbei ist die Boltzmann-Konstante k = 1.3807.10^-23 J/K und P die thermodynamische Wahrscheinlichkeit. Der natürliche Logarithmus wird mit ln() bezeichnet. In einem abgeschlossenen System verursachen natürlich ablaufende Prozesse einen Anstieg der Entropie und dies entspricht einer Abnahme des inneren Ordnungsgrades. Die Entropie ist ein Maß für die Unordnung des Systems.

Dieses Gesetz S = k · ln(P) wird auf die vielen Zustände von möglichen Informationskombinationen übertragen. Ab 1948 (Claude E. Shannon: A Mathematical Theory of Communication) spielt die Entropie bei vielen modernen Untersuchungen zu dem Begriff der Information eine bedeutende Rolle. Neben der Entropie (meist ld = log₂ ) wird auch die Negentropie ("Neg-Eentropie", "Nicht-Informationsmaß") verwendet. Die Entropie einer gleichverteilten Zufallsfolge ist maximal, die Negentropie dieser Folge minimal.

Entropie in der Physik

Die Entropie ist ein theoretischer, unanschaulicher Begriff. Meixner versucht die Entropie anschaulich durch einen Vergleich zu erklären:

In der großen Fabrik aller Naturprozesse nimmt die Entropie die Stelle des Direktors ein, der die Art und den Ablauf aller Geschäftsvorgänge bestimmt. Das Entropie - Prinzip übernimmt die Rolle eines Buchhalters, indem Soll und Haben ins Gleichgewicht gebracht wird.

Nicht jede Energieform kann vollständig in eine andere Energieform umgewandelt werden. Der Exergie - Anteil ist umwandelbar:

gesamte Energie = EXergie + ANergie

Die Entropie wurde in der Thermodynamik als ein Maß für diejenige Wärme eingeführt, die ein abgeschlossenes, reversibles System austauschen (z.B. abgeben) kann (Entropie = "Verwandlungsgröße").

Die Entropie ist ein Maß für die Nicht-Umkehrbarkeit eines Prozesses. (2. Hauptsatz der Thermodynamik: Bei irreversiblen Prozessen nimmt die Entropie stets zu).

In einem geschlossenen System kann die Entropie nur zunehmen, im günstigsten Fall gleich bleiben.

Wärme geht vom Körper mit höherer Temperatur T2 zum Körper mit niedrigerer Temperatur T1 (nicht umgekehrt!). Wegen T2 > T1 ist die Entropie S = Q = (1/T1 - 1/T2) > 0.

Bei Wärme - Aufnahme steigt die Entropie eines Körpers; bei Wärme - Abgabe fällt die Entropie.

Bei allen Prozessen in abgeschlossenen, thermodynamischen Systemen wächst die Entropie S (bei konstanter innerer Energie). Bei reversibel übertragener Wärme - Energie dQ (bei der absoluten Temperatur T) und der Dissipation dR (z.B. Verlust - Wärme durch Reibung) gilt:

dQ - dR = T . dS

Hierbei kann dQ = dU + d(p.V) durch die innere (kinetische) Energieänderung dU = cv . dT, dem Druck p und die Volumenänderung dV ausgedrückt werden. Bei reversiblen Prozessen ist dR = 0.

Besteht ein System aus mehreren Teilsystemen, so ist die Entropie des Gesamtsystems gleich der Summe der Entropien der Teilsysteme. Die Entropie ist ein Maß für die Nicht-Umkehrbarkeit eines Prozesses:

reversible Vorgänge: dS = 0,
irreversible Vorgänge: dS > 0.

Prozesse in der Natur (natürliche = irreversible) können nur von selbst ablaufen, wenn

Entopie mit der Umgebung ausgetauscht oder
Entopie im System erzeugt wird.

Mathematische Informationstheorien

C.E.Shannon

Der Mathematiker C.E.Shannon begründete 1948 die mathematische Theorie der Übertragung von elektrischen Nachrichten, wobei viel Information mit möglichst wenigen Zeichen übertragen werden sollten. Zur Messung bestimmter Eigenschaften von Daten dienen mathematische Methoden.

Die Informationstheorie geht von eindutig festgelegten Komponenten und messbaren Vorgängen aus und definiert ein technisches Maß Ii für die den Informationsgehalt einer Zeichenfolge. Ist Pi := P(Ai) die Wahrscheinlichkeit für das Auftreten des i-ten Zeichen Ai (bei n möglichen Zeichen), so gilt nach Shannon

Informationsgehalt I_i := -ld(P_i) bit/Zeichen

ld(x) = ln(x)/ln(2) ist der Logarithmus zur Basis 2, ln(x) ist der natürliche Logarithmus. Seltene Ereignisse haben demnach einen hohen, häufige Ereignisse einen geringen Informationsgehalt.

Solomonoff, Kolmogorow, Chaitin

Später wurde die Fehlerraten von Nachrichten und der mathematische Informationsgehalt untersucht. Solomonoff, Kolmogorow, Chaitin erweiterten die klassische Informationstheorie. Derzeit kann Semantik, Bedeutung und Wissen nur unzulänglich mit der mathematischen Informationstheorie erfaßt werden. In neuerer Zeit wird zunehmend versucht, Es wird versucht, die Komplexität einer Nachricht nicht mehr nur über statistische Betrachtung der Daten zu bestimmen, sondern vielmehr die Algorithmen zu betrachten, die diese Daten erzeugen können (Kolmogorow-Komplexität, algorithmische Tiefe, algorithmische Informationstheorie von Gregory Chaitin).

Die Informationstheorie wurde weiter entwickelt (Solomonoff, Kolmogorow, Chaitin).

Kolmogorow nimmt die Länge des kürzesten Computerprogrammes, das eine Zeichenkette zu erzeugen vermag, als Maß für die Strukturiertheit einer Zeichenkette (Kolmogorow-Komplexität, Algorithmische Komplexität, Beschreibungskomplexität). Dieses kürzeste Computerprogramm gibt somit eine beste Komprimierung der Zeichenkette, ohne dass Information verlorengeht.

Wenn die Kolmogorow-Komplexität einer Zeichenkette mindestens so groß ist wie die Zeichenkette selber, dann bezeichnet man die Zeichenkette als unkomprimierbar, zufällig oder auch strukturlos. Je zufälliger die Zeichen der Zeichenkette sind, desto näher kommt die Kolmogorow-Komplexität an der Länge der Zeichenkette.

Nach Charles Bennett ist der (Zeit-) Aufwand, der betrieben werden muss, um Daten zu erzeugen bzw. zu entschlüsseln ein Maß für die (Zeit-) Komplexität einer Datenmenge (Nachricht). Grob ausgedrückt ist die Erstellungszeit bzw. die notwendige Interpretationszeit ein Maß für (Zeit-)Komplexität (algorithmische Tiefe des Aufwandes).

Formal ist sie die Zeitkomplexität des effizientesten Algorithmus, der diese Daten produzieren kann. Anders als bei der ansonsten ähnlichen Kolmogorow-Komplexität ist also die Laufzeit bei der Ausführung des Algorithmus entscheidend, nicht der Aufwand zum Beschreiben des Algorithmus selbst.

Albert Einstein: Die Theorie bestimmt, was wir beobachten können.

Information und Quantenmechanik

Stets vollständig und sicher vorhersagbare Informationsfolgen sind in gewisser Weise bedeutungslos. In quantenmechanischen Systemen versagen die klassische Informationskonzepte teilweise (Quanteninformation).

Information und Kybernetik

In der Kybernetik werden Begriffe und Inhalte behandelt, die in unterschiedlichen Wissenschaften vorkommen. Der Informationsbegriff wird z.B. in der Nachrichtentechnik, der Datenverarbeitung, der Linguistik, der Sinnesphysiologie benötigt.

Information und Interpretation

In jeder Art von Struktur und in jedem Muster von Materie oder Energie versteckt sich Information. Zu Informationen gehören räumliche/zeitliche Folgen von physikalischen Signalen, die mit bestimmten Wahrscheinlichkeiten/Häufigkeiten auftreten. Die Syntax, als ein definiertes Dekodierungsschema, dient dem Erkennen von Zeichen, die mit einer gewissen Wahrscheinlichkeit im Zeichenstrom auftreten können. Der Informationsgehalt einer Nachricht ergibt sich aus der Anzahl der ja/nein-Möglichkeiten.

Erst durch das Lesen und Interpretieren kommt zur (syntaktischen) Strukturebene die (semantische) Bedeutungsebene hinzu. Durch das Interpretieren wird aus einer Ornungsstruktur eine semantische Informationen. Ein Code ist eine Zuordnungvorschrift (Formel, Tabelle, Graph), die den Zeichen eine identifizierende Bedeutung zuordnet.

Meistens ist das Interpretieren eine Folge von aufeinander folgenden Codewandlungen (Beispiel: Auge erhält Lichtimpulse für Buchstaben, Netzhaut, Nervenzellen, Signal-Weiterleitung an das Gehirn, Raum-Zeit-Muster im Gehirn, erkennen der Buchstaben, zu Worten fügen, Strukturinformationen, Bedeutungszuordnungen, Gewichtung, Bewusstsein, Einschätzungen, Bewertungen). Durch den Dekodierungsprozess wird Strukturinformation in Bedeutung (Semantik) überführt. Pragmatik hängt mit Gewichtungen zusammen.

Dekodierungs- und Interpretationsprozesse sind Folgen von Codewandlungen, die Strukturinformationen stufenweise über Codes in andere Strukturinformation überführen und Bedeutungen (auf den jeweiligen sematischen Stufen des verarbeitenden Systems) entfalten können. In diesem Sinn entspricht der Pragmatik einer zusammenfassenden Vereinfachung von unüberschaubarer Komplexität.

Information ist z.B. Nachricht, Auskunft, Belehrung, Aufklärung und (verlustbehaftet) übertragbar.
Information kann sich beim Weitergegeben ändern und weniger/mehr/anders werden
Information kann sich durch Weitergabe auch verdoppelt (mit Materie oder Energie geht das nicht)
Die Interpretation im empfangenden Subjekt ändert innere Strukturen, neuronale Muster, das gespeicherte Wissen, Ungewissheiten können sich verringeren.
Eine aufgenommene Mitteilung ändert die möglichen Zustände des Empfängers

Information und Bedeutung

Eine unvorhersehbare Entfaltung von Information in Syntax, Semantik, Pragmatik kann den Bedeutungsinhalt ändern.

Die Bedeutsamkeit (Relevanz, Wichtigkeit) ist ein Maß dafür, wie stark eine Sache die Realität beeinflusst oder wie gut eine Information oder eine Theorie Wissen über die Realität vermittelt (zunächst unabhängig davon, ob dieses Wissen wahr ist). Sie ist ein mögliches Kriterium für die Informationsqualität.

Bedeutung ist ein Bewertungszustand zwischen gleichförmiger Ordnung und willkürlichem Chaos. Völlig vorhersagbare Informationen sind in gewisser Weise bedeutungslos.

So wie die Qualität einer Information vom Betrachter abhängt, hängt die Bedeutsamkeit (Relevanz, Wichtigkeit, Signifikanz, Aussagekraft, Gewichtsmaß) vom Kontext der Interpretation ab. Änder sich der Kontext, so ändert sich die Relevanz. Zufällige und ununterscheidbare Muster sind oft weniger relevant.

Information und "Smalltalk"

"Smalltalk" ist eine Unterhaltung die (weitgehend) auf pragmatische Informationen verzichtet und nur die syntaktisch-semantische Informationsebene zum "plaudern" benutzt. Ein Gespräch, das nur elitäre Umgangsformen, knigge-wahrendem Anstand (und Abstand) und vertiefte Sprachkenntnisse benutzt, gewährleisten noch keine Pragmatik mit "inhaltlichen Tiefgang".

Der semantischen Dekodierungsprozess und die Wirk-Entfaltung in der Pragmatik erzeugen beide (als End- und Zwischenprodukte) wiederum syntaktische Informationen und sind oft schwer zu trennen.

Information und Informationspsychologie

Die Informationspsychologie wendet Erkenntnisse der Informationstheorie auf psychischer Vorgänge und zur Analyse von verschiedenen Leistungen des Gehirns an. Der menschliche Erkenntnisprozess wird in der Kybernetik interdisziplinär untersucht (Mikrobiologie, Informationstheorie, usw.). Die menschlichen Rezeptoren (Sinnesorgane, Sensoren) dienen als Eingang (Input), die Effektoren (Reaktionen, z.B. beim Sprechen) als Ausgang (Output). Weil der Mensch i.a. höchstens eine Informationsmenge von ca. 25 Bits pro Sekunde verarbeite, die Informationsmenge (Signale) eines wahrgenommenen Bildes aber in der Größenordnung von 10¹⁰ Bits pro Sekunde liegt, ist der menschlichen Erkennungsprozesses ein Heraus-Filterungsprozess.

Interesse und Aufmerksamkeit richten die Wahrnehmung auf das Objekt und beinflussen die Selektivität der Wahrnehmung. Interesse und Aufmerksamkeit reduzieren in gewisser Weise jene Wahrnehmungen, die nicht im Fokus sind.

Information ist die Verringerung von (partieller) Ungewissheit und ein Gewinn an ("herausprojiziertem") Wissen. Information (als Handlungsmuster) sind Mitteilungen, die Handlungsfolgen und Zustände des Empfängers ändern können.

Christian Morgenstern (6.5.1871-31.3.1914):
"Eine Wahrheit kann erst wirken, wenn der Empfänger dafür bereit ist."

Information und Selbstorganisation

I.Prigogine führte die Bezeichnung dissipative Strukturen für räumlich und/oder zeitlich periodische Zustände ein, die in offenen Systemen weitab vom thermodynamischen Gleichgewicht auftreten.

In offenen physikalischen Systemen kann Selbstorganisation auftreten. Die Stabilität bei Selbstorganisation beruht auf der Balance von Nichtlinearität und Energiedissipation.

In der nichtlinearen inneren Systemdynamik nutzt Selbstorganisation in irreversiblen Prozessen die Energie der Umgebung zur Ausbildung komplexerer, räumlich und/oder zeitlich geordneter Strukturen ( periodische Wolkenanordnungen, Musterbildung in flüssigen Kristallen, Strahlungsfeld eines Lasers, spontane Umorganisation von Zellen lebender Organismen, Sozialstrukturen, kooperative Phänomene bei wirtschaftlichen Zyklen).

Fern vom thermodynamischen Gleichgewicht lokalisiert weicht das Leben als offenes System von der mittleren Entropie ab.

Komponenten der Information

Wie kann der Informationsbegriff zerlegt werden?

Information (als Idee, als umfassender Begriff) kann in unterschiedlicher Weise in Komponenten zerlegt werden. Die Art der Zerlegung beeinflußt die Komplexität, die Trennschärfe und die einfache Verwendbarkeit des Informationsbegriffes.

Es gibt unterschiedlich Zerlegungen

"weiche-unscharfe" Zerlegungen: Alltag, Kultur, Geisteswissenschaften, Philosophie, usw.
"harte-exakte" Zerlegungen: mechanisch-technisch, wissenschaftlich-exakt, usw.

Teilung des Informationsbegriffes in Syntax, Semantik, Pragmatik

Eine strenge, universelle, allgemein gültige Definition für den Begriff "Information" steht noch aus.

Die syntaktische Ebene entspricht mehr der Sichtweise der Nachrichtentechnik
Die semantische Ebene entspricht mehr der Semiotik
Die Pragmatik entspricht eher den Kognitionswissenschaften
Der umgangssprachliche Informationsbegriff kommt der pragmatischen Ebene der Information nahe

Triadische Einteilung des Informationsbegriffes

Information wird oft triadisch beschrieben. Für die Beschreibung einer Information werden irreduzible Elemente (Zeichen) verwendet.

Eine Nachricht enthält eine Information, die für mindestens einen Empfänger bestimmt ist. Es vergeht Zeit für die Übertragung einer Nachricht vom Sender zum Empfänger. Die maximale physikalische Übertragungsgeschwindigkeit ist durch die Lichtgeschwindigkeit bestimmt.

Eine Information (als Folge von Zeichen) enthält

die Zeichenstrukturierung an sich (Syntax, Rahmen - Form)
eine formale Bedeutung (Semantik, Rahmen - Inhalt)
den Zweck der Information (Pragmatik, Zweck - Inhalt)

Die Pragmatik macht den Sinn der Information aus. Die Pragmatik kann versteckt sein und ist oft nicht vollständig erkennbar.

Zur Speicherung der Information wird einen Träger verwendet.
Auf dem Träger repräsentieren physikalische Zustände die
Syntax und Semantik.

Die materielle Repräsentation einer Information lässt sich löschen, die Bedeutung (Information selbst) aber nicht. Die Pragmatik ergibt sich erst bei Nutzung der gespeicherten Syntax und Semantik.

Grundlagen zur Informationsverarbeitung

Signale

Signale können als Änderung einer konstanten Energie-Übertragung verstanden werden. Beispiele sind:

Indianer - Rauch - Zeichen
umfallender Gegenstand
ein Geräusch, ein Ton, ein Klang
Mimik
Telegraphie
Bewegungsmuster
Farbänderungen

In der Technik werden meistens elektrische Signale verwendet und Signale, Zeichen, Icons sind dann Komponenten der Information.

Im Bewusstsein des Menschen können Informations- und Begriffsebenen vermischt erscheinen. Für einen Grafitti-Sprüher kann die bildliche Darstellung Kunst bedeuten und die Einfluss-Sphäre seiner Gang markieren (mit Regeln bei Verstößen). Anderseits sind solche bildlichen Darstellungen nur Farbmuster (Schmierereien), die einem Uneingeweihten nichts bedeuten.

Analoge Signale

Analoge Signale haben einen zeitlich, räumlich kontinuierlichen Verlauf
Analoge Signale haben keine Sprünge
Analoge Signale können jeden reellen Zwischenwert annehmen
Analoge Signale werden mit der Signalstärke (Höhe, Amplitude) und der Signaldauer beschrieben
Kleine Störungen verändern analoge Signale (anders bei digitalen Signalen)
Analoge Signale können mit Analog-Digital-Wandlern (ADC) in digitale Signale gewandelt werden (Wandlungsfehler)

Digitale Signale

Digitale Signale haben nur diskrete Signalwerte
Digitale Signale mit lediglich 2 Zuständen 0 oder 1 heißen binäre Signale
Digitale Signale werden mit dem Signalwert, der Signalstufung und der Signaldauer beschrieben
Digitale Signale sind aber i.a. unanfälliger gegenüber Störungen
Digitale Signale können mit Digital-Analog-Wandlern (DAC) in analoge Signale gewandelt werden (Wandlungsfehler)

Mit ADC/DAC (DA) können die Signale gewandelt werden. Die AD/DA-Umwandlung hat i.a. einen Umwandlungsfehler, der durch zusätzlichen, technischen Aufwand (Kosten) verkleinert werden kann. Zum Menschen hin wird in analoge Signale gewandelt. Die Reproduktion erscheint dem Menschen exakt, weil die technische Exaktheit des analogen Signales i.a. über dem physiologisch unterscheidbaren Signaldifferenzen liegt. Digitale Informationen können beliebig oft (fehlerfrei) kopiert werden.

Zeichen

Die DIN 44300 definiert ein Zeichen als ein Element aus einer Menge mit endlich vielen, verschiedenen Elementen, die zur Darstellung von Informationen vereinbart wurden. Diese Menge wird Zeichenvorrat genannt.

In Alltag kommen vielfältig Zeichen vor (Bilder, Gesten, usw.). Tiere reagieren i.a. auf Signale aber kaum auf Zeichen. Jede wahrnehmbare Gegebenheit (Gegenstand, Erscheinung, Vorgang, usw.) kann ein Zeichen zugeordnet werden (Bilderschrift, Hieroglyphen, Schriftzeichen). Die Vorformen der Schriftsysteme waren Zeichen, die sich aus Abbildern der Gegenstände entwickelten, die sie symbolisierten. Die Schrift dient dazu, Sprache niederzuschreiben. Schrift ist ein Speicher-Medium der Sprache.

Bei einem Zeichen besteht eine formale Zuordnung zwischen dem bezeichneten Objekt und dem Zeichen. Die Zuordnung kann auch von der Form, der Beschaffenheit, der Farbe, der Position abhängen.

Die Verarbeitung von Zeichen erfolgt gemäss dem Motto:

Zeichen meint etwa ... Das ist das Zeichen! Mach was damit.

Zu einem Zeichen gehört ein Verwendungskontext, der bei der Verwendung oft (stillschweigend) als bekannt angenommen wird.

Im Alltag werden Zeichen oft unterschiedlich, vielfältig und bedeutungsvermischend interpretiert (als Signal, als Symptom, als Index, als Symbol, als Name, als Bild, ...).

Ein Zeichen kann umgangssprachlich ein Signal sein, das beim Empfänger eine interpretierende Reaktion hervorruft. Ein Zeichen ist nicht der Bedeutungsinhalt, sondern als ein Verweis auf seine Bedeutung codiert. Nach Thomas Sebeok entspricht ein Index (Zeichen) einem Zeiger, der den Empfänger auf etwas hinweist. Solche Zeichen sind z.B. die Fußspuren im Sand, die Robinson Crusoe auf seiner Insel findet und die auf die Gegenwart anderer Menschen hinweisen. Ein Strom von "aggierendem Be-Zeichnen" steht im vermittelnden Zentrum der Kommunikation.

Daten entsprechen meistens Zeichenfolgen, Lautfolgen, Bildfolgen, denen durch Vereinbarungen Bedeutungsinhalte zugewiesen werden können. Zum Beispiel hat ein Verkehrsschildes im Straßenverkehr eine zugeordnete Bedeutung. Ein durchschnittlicher deutscher Text ist noch ungefähr verständlich, wenn zufällig 50 Prozent der Buchstaben gelöscht worden sind. Nach der Informationstheorie (behandelt Phänomene wie Muster und Redundanz, Claude Shannon und Warren Weaver, 1940) besitzen Signale einen höheren Informationsgehalt, je stärker sie sich von zufälligen Erscheinungen der Umgebung abheben. Ein Text hebt sich durch eine strenge Anordnung und Gruppierung von Buchstaben zu Wörtern, von Wörtern zu Sätzen, von Sätzen zu Absätzen, von Geschriebenen auf einem leeren Blatt Papier ab. Wären z.B. alle Buchstaben des Alphabets mit gleicher Häufigkeit zufällig auf dem Blatt verstreut, so enthält das Blatt keine Text-Information.

Zeichen sind:

Buchstaben als Bildelemente für die Schrift
Verkehrszeichen, Hinweiszeichen
Bart als Zeichen von Mannhaftigkeit
Astronomische Zeichen (z.B. Tierkreiszeichen)
Das Erheben der (waffenlosen) Hände gilt als Unterwerfungsgeste
Mathematische Zeichen, chemische Formeln
Zeichen für technische Pläne (Schaltzeichen in Stromlaufplänen, Zeichen für Rohrleitungsnetze)

Alphabet

Werden die Zeichen aus einer Menge von Zeichen (Zeichenvorrat) in einer bestimmten Reihenfolge angeordnet, so ergibt sich ein Alphabet.

Ein Alphabet ist eine geordnete Menge von Zeichen.

Galileo Galilei (15.2.1564-8.1.1642): "Mathematik ist das Alphabet mit dem Gott das Universum geschrieben hat."

Ein Alphabet A (Zeichenvorrat) enthalte n Zeichen A_i. Ein Wort besteht aus einer endlichen Folge von Zeichen. Beispiel:
Anders als eine Fahne kann eine Flagge (bedrucktes Stofftuch) mit einer Leine an Flaggenmasten gehisst werden (Standarte, Dienstflaggen). Auf Schiffen wurden Flaggenstöcke verwendet. Eine Flagge kann die Zugehörigkeit zu einer Körperschaft anzeigen. Es gibt Flagge für die Nation, Hoheits- und Ehrenzeichen eines Staates, Handels- und Kriegsflaggen. Artikel22 GG bestimmt schwarz-rot-gold für die BRD-Flagge. Es gibt Durchführungsverordnungen für Flaggenzeugnisse, Flaggenscheine, Postsignalflaggen, usw. Die "flags" beim Prozessor zeigen den aktuellen Zustand der CPU an. Dieser Ausdruck stammt aus der Seemannssprache und bedeutet "Über die Toppen flaggen", dass alle Flaggen aufziehen sind.

Es gibt zahreiche Sprachtypen, wie z.B. Agglutinierende Sprache, Analytische Sprache, Aposteriorische Sprache, Apriorische Sprache, Flektierende Sprache, Fusionierende Sprache, Isolierende Sprache, Logische Sprache, Polysynthetische Sprache, Synthetische Sprache, Programmiersprache.

Gehörlose und stark schwerhörige Menschen können eine visuelle Kommunikation mit sichtbaren Zeichen nutzen (Gebärdensprache, Fingeralphabet). bezeichnet man eine eigenständige, wahrnehmbare natürliche Sprache, die insbesondere von zur Kommunikation genutzt wird. Gebärdensprache besteht aus kombinierten Zeichen (Gebärden), die vor allem mit den Finger, Hände, Körperhaltung, in Verbindung mit Mimik und Mundbild (lautlos gesprochene Wörter oder Silben) können "ablesend" interpretiert werden.

Die Menge aller Wörter, die aus m Zeichen gebildet werden können,
heißt Informationsvorrat (Mächtigkeit, Kardinalität).

Eine diskrete, endliche Infomations - Quelle ist durch ein endliches Wahrscheinlichkeitsfeld beschreibbar:

Index i:	0	1	2	...	n-1
Informationsgehalt I_i := -ld(P_i) bit/Zeichen
Zeichen A_i:	A₀	A₁	A₂	...	A_n-1
Wahrscheinlichkeit P_i:	P(A₀)	P(A₁)	P(A₂)	...	P(A_n-1)

A_i entspricht einem Zeichen aus dem Alphabet A. Die Wahrscheinlichkeit P(A_i) ist eine Zahl mit 0 <= P(A_i) <= 1. P sagt, wie wahrscheinlich es ist, dass ein Zeichen A_i im Strom der Zeichen auftaucht. Für die Summe aller Wahrscheinlichkeiten gilt Σ_i=1,2,...,n P(A_i) = 1.0, d.h. es muß irgend ein Zeichen auftauchen.

0 <= P(A_i) <= 1 und Σ_i=1,2,...,n P(A_i) = 1.0

Einer unabhängigen Informationsquelle (ohne Gedächtnis) entspricht einem Wahrscheinlichkeitsfeld, bei dem die A_i gegenseitig unabhängig sind. Das Auftreten eines Zeichens hängt dann nicht von den vorherigen Zeichen ab.

Bei 2 Informationsquellen A, B können statistische Abhängigkeiten zwischen den inneren Zuständen bestehen (mit Gedächtnis). Für das Verbundereignis AB gilt dann:

P(AB) = P(A).P(B|A) = P(B).P(A|B)

Ist B eine Teilmenge einer unabhängigen Informationsquelle A, so gilt (Bayes):

P(A_i|B) = P(A_i) . P(B|A_i) / Σ (P(A_i) . P(B|A_i))

Eine Informationsquelle heißt stationär, wenn diese zeitinvariant ist.

Symbol

Die Definition von Symbolen ist schwieriger als die Definition von Zeichen. Beim Menschen wirken Symbole (Mythen) auch in die Psyche und werden oft gefühlsmäßig "verstanden" (z.B. Literatur, Kunst, Grafitti, Sport, Verkehrszeichen, usw.). Beispiel: Der Bienenkorb gilt als Zeichen süßer Beredsamkeit und wissenschaftlichen Eifers und wird zum Symbol (oft z.B. bei Chrysostomos, Bernhard von Clairvaux).

Der Umgang mit der hessischen Landesflagge wird durch Gesetze des Landes Hessen geregelt. Bundesländer haben Flaggen als Hoheitssymbole.

Menschen setzen sich für solche Symbole ein (z.B. Soldaten, Gläubige, Corporate Identity, glorifizierender Nationalismus, Patriotismus, Vaterlandsliebe, Fundamentalismus, usw.). Die römischen Legionen und Truppenverbände hatten eigenen Feldzeichen oder Standarten. Menschen können sich kollektiv mit einem Symbol identifizieren und dem Symbol "gefühlsmäßig-zustehenden Rechten" zuordnen ("Alle Rechte vorbehalten").

Ein Symbol kann identifizierend wirken und kann "über" dem Menschen stehen.

Der Pantoffel ist ein Symbol für Frauenherrschaft (Volksmund: "unter dem Pantoffel stehen"). Abbildung aus dem Bally-Schuhmuseum in Schönenwerd. Aus: Das Pantoffelregiment., herausgegeben von einer Hausregentin, Meissen 1829, 6. Auflage, Zürich 1979.

Ein Symbolen kann für einen komplexen Sachinhalt stehen. Menschen können sich in gewisser Weise mit Symbolen identifizieren. Symbole sind z.B.:

Anker das Symbol der Hoffnung
Bienenkorb als Symbol des Fleißes
Leuchtende Kerze als Symbol der Vergänglichkeit
Flügel als Symbol der Geborgenheit (Ps 17,8; 57,2)
Karikatur, Grafitti

Eine Karikatur enthält oft symbolische Darstellungen, wie die Erörterung über geeigneter Maßnahmen gegen AIDS: (Aus: DAS PARLAMENT, Nr.42, vom 17.10.1987; Nichts sehen, nichts hören, nichts sagen).

In der Wissenschaft wird versucht, die verwendeten Symbole genauer zu fassen (z.B. mathematischen Symbole). Bei einer symbolischen Sprache kennzeichnet z.B. das Symbol "for" den Anfang einer Zählschleife.

Ein Symbol ist wie ein Gefäß, das zur Überbringung des Inhaltes dient.

Ein Symbol steht stellvertretend für den möglichen Inhalt und ist in gewisser Weise für die Aufnahme von Inhalten geeignet. Das Symbol an sich ist unscharf abgrenzbar und nicht rekursionsfrei durch Symbole definierbar. Ein Symbol ist kein (Richtungs-)Zeiger, der (wie ein Hinweisschild) zum Inhalt weist und ggf. den Weg dorthin beschreibt.

Obwohl eine gewisse (unvollständige) Übereinkunft über den Inhalt vorhanden sein mag, ist die exakte, vollständige, sprachliche Beschreibung oft aufwendig, schwierig, umständlich, unbequem, unmöglich.

In gewisser Weise kann ein vereinbartes Alphabet auch symbolischen Charakter haben. Es gibt das Gebärdern-Alphabet. Es gibt symbolische Handhaltungen:

Mudras im Buddhismus:
1. schutzgewährende Geste der Furchtlosigkeit
2. Meditation
3. Gebet
4. Verehrung
5. Midleid, Barmherzigkeit
6. Argumentation

Icon

Ein Icon () ist mehr als eine Symbol. Ein Icon kann für komplexe Vorgänge in große Datenstrukturen stehen.

Ein Icon repräsentiert neben dem Daten-Container formale Handlungsvorschriften und topologische Wirkungen. In der Informatik steht ein Icon für ein instanzierende Objekt-Topologie, die Objektbezüge und deren Einbettung in Daten und Methoden. Ein Icon ist nicht der Inhalt, sondern eine Repräsentation für Wirkzusammenhänge.

Ein Icon repräsentiert einen Behälter, dessen Inhalt neben den Daten auch Regeln und Vorschriften enthält.

Historisch sehen die Ostkirchen in dem geweihten Bild (grch. eikon, Ikone) ein wesenhaftes Abbild, das als Fenster der himmlischen Welt wirkt. Ein Icon entspricht auch einer aus Bild und Text zusammengesetzte Kunstform, die Handlungsabläufe und Betrachtungsmethoden einschließt. Zu einem Icon kann eine den Sinn erläuternde Unterschrift, Subscriptio, Epigramm, Motto, Inscriptio, Emblem, usw. gehören. Das Icon wird dann als allegorisch gemeintes Bild (oder 'Pictura, Imago, Symbolon') bezeichnet.

Auf dem Konzil von Trient (1545) definierte die r.k. Kirche die Bilderverehrung als die Verehrung der dargestellten Personen oder der dargestellten religiösen Geschehnisse. Die Ostkirchen sehen in dem geweihten Bild (grch. eikon, Ikone) ein wesenhaftes Abbild, das als Fenster der himmlischen Welt wirkt. Die lutherische Kirche versteht die Bilder in Kirchen als religiös inspirierte künstlerische Darstellungen, die reformierte Kirche lehnt sie in ihren Kirchenräumen aus theologisch grundsätzlichen Erwägungen ab.

Information und Datenkompression

Information-Redundanz im Alltag

Redundanz bedeutet soviel wie Weitschweifigkeit und ist im engeren Sinn ein Maß für überflüssige Informationen.

In der natürlichen Sprache werden ähnliche oder sinngleiche Worte (z.B. einzig, allein) in einem Satz oft zusätzliche und eigentlich überflüssigen Informationen verwendet, die einen Sachverhalt (noch einmal und verstärkt) hervorheben (Tautologien).

Beispiele sind: "Weißer Schimmel", "Prozeßablauf", "morgen am Freitag, den 12.11.1994", "die obere Ampelfarbe ist rot"). Etwa 50 % der Worte eines Zeitungstextes könnten (ein-) gespart werden.

Das Vorhandensein von (eigentlich) überflüssigen Informationen (Redundanz) kann der nachdrücklichen Verständlichkeit dienen, Übertragungsfehler aufdecken und Informationsverluste bedingt beseitigen.

Die Redundanz ist die Differenz zwischen dem maximal möglichen möglichen Informationsgehalt und dem tatsächlich genutzten. Es gibt

redundante Codes (z.B. 2 aus 5, gerade/ungerade ergänzte Codes, Hamming - Codes) und
nicht redundante Codes (ASCII, Fernschreiber, Morse, Gray).

Kompression und Datencodierung

Zu physikalischen Informationsmuster gehört ein Ort, ein Speicherplatz. Datenzugriffe und Datenübertragungen benötigen Zeit. Technische Weiterentwicklungen versuchen, den verfügbaren Speicherplatz zu vergrößern und die Übertragungszeiten zu verkürzen, was beides mit Kosten verbunden ist.

Eine Datenkompression versucht die Daten zu "verdichten".

Kompressionsverfahren versuchen, die Art der Datencodierung so zu ändern, dass die Information durch weniger Daten repräsentiert werden. Natürlich sollte das Komprimieren und das Ent-Komprimieren möglichst schnell gehen. Wegen des Umfanges von multimedialen Daten (wie z.B. Bild-, Ton-, Videodaten) werden diese (meist) in komprimierter Form verwendet.

Es gibt verlustlose Kompressionsverfahren (Ent-Komprimierung ohne Qualitätsverlust möglich) und verlustbehaftete Kompressionsverfahren (hinreichende Erkennbarkeit trotz Qualitätsverlust ).

Verlustlose Kompression

Bei Programmcode, Maschinencode und Textdaten ist es i.a. notwendig, bei der Dekomprimierung wieder die Orginale zu erhalten Bei verlustlosen Kompressionen werden z.B.

häufig auftretende Inhalte durch kürzere Codes ersetzt
wiederkehrende Sequenzen jeweils einmal gespeichert und dann mehrfach adressiert
Zugriffe auf vorhergehende Sequenzen benutzt (Wörterbücher)
wiederholende Inhalte über Zähler codiert

Die unterschiedlichen Wahrscheinlichkeiten des Auftretens von gleichen Mustern beeinflussen den erreichbaren Kompressiongrad.

Verlustbehaftete Kompression

Informationen wenden sich an den Empfänger. Ist es für den Empfänger unmöglich, bestimmte Informationsmuster zu erfassen, so haben diese keinen Nutzen.

Wird ein Informationsstrom z.B. von Menschen interpretiert, so können nicht erfaßbare Anteile verloren gehen. Die Sinnesorgane können keine Signale erfassen, die außerhalb der Begrenzungen der Sinnesorgane sind. Ein reduziertes Übertragungsvolumen benötigt eine kleinere Transferrate.

Anders als beim zeitunkritischem "Download von Dateien" entstehen bie qualitativ hochwertigen Live-Übertragungen umfangreiche Daten. Für Echtzeit-Kompression und -Dekompression (Enkoder) gibt es technische Begrenzungen (Übertragungsvolumen, Übertragungsgeschwindigkeit, Übertragungsbandbreiten, Zeitbedarf, usw.), die eine geschickte Gewichtung der Einflußfaktoren und verbesserten Methoden erfordern können.

Die Datenkompression ist dem Anwender gewöhnlich verborgen. Kompression kann ein Bestandteil des Betriebssystems sein und Datenvolumen reduzieren. Das Betriebssystem (oder aufgesetzte "Tools") arbeitet eng mit diesen Verfahren zusammen.

Im folgenden Bild ist "oben" der Nutzer zu denken
in der "waagerechten Mitte" das Betriebssystem
"unten" wissenschaftliche-technische Grundlagen

	Anwendungen
Anwender- Nutzung	Lernen		Design		Benutzer- schnittstelle
Dienste	Inhalts- Analyse	Doku- mente	Sicherheit	...	Synchronisation	Gruppen- Kommuni- kation

Software- Hardware- Systeme		Datenbanken		Programmierung
	Medien-Server		Betriebssysteme		Kommunikation
	Optische Speicher		Dienstgüte		Netze

Wissen- schaftliche- technische Grundlagen	Rechner- Architektur		Kompression
Wissen- schaftliche- technische Grundlagen	Rechner- Architektur		Bilder Grafik	Animation	Video	Audio (Musik, Sprache)

Innovation und Beschleunigung

Auf allen Ebenen sind Erneuerungen und Umbrüche erkennbar (technische und organisatorische Möglichkeiten, Informationstechnologien, Individualkommunikation, Bildtelefon oder Telefax, Kabel- und Satellitenfernsehen Videotext, das Abrufen von Texten, Nachrichten, Wettervorhersagen, Sportmeldungen, Videokonferenzen, Büro- und Wissenschaftskommunikation, Benutzeroberflächen Austausch von Texten, Bildern, Audio- und Videosequenzen, usw.)

Sofern vor dem Einsatz eines Systems zur Datenkompression bekannt ist, welchen Typs der zu bearbeitende Inhalt ist, kann ein entsprechend geeignetes Verfahren eingesetzt werden. Damit lassen sich spezifische Gegebenheit ausnutzen, die nur bei den betreffenden Inhalten auftreten. Nachstehend sind exemplarisch Beispiele aufgeführt, die in der Praxis Verwendung finden:

Ein Text besteht aus einer Folge von Buchstaben, die einem Alphabet entnommen sind. Zu jedem Buchstaben gehört seine auftretende Häufigkeit im Buchstabenstrom. Werden Buchstaben mit besonders hoher Auftrittswahrscheinlichkeit durch wenige Bits repräsentiert, so ergibt sich eine Reduktion des Datenvolumens.

Bitmap-Bilder bestehen (neben Header-informationen) aus Byte-Folgen, die Farbwerte repräsentieren. Eine Reduzierung des Speicherbedarfs kann erreicht werden, wenn eine lange Folge von gleichen Farbwerten durch den Farbwert und der Wiederholungsanzahl repräsentiert wird (Lauflängencodierung). Es gibt zahlreiche weitere Verfahren, die bei oft auftretenden gleichmäßigen Mustern oder grosse einfarbige Flächenbereichen günstiger sind. Auch kann mit einer 8-Bit-Farbtabelle (Palette mit 256 verschiedene Farben) ein Farbwert (anstelle von 3 Byte für rot, grün, blau) mit nur 8 Bit (Zugriffszeiger auf die Tabelle) ein Bitmap-Bild mit höchstens 256 Farben effizienter speichern (.gif).

Audiodaten, die 44 100 Samples (a 2 Byte) je Sekunde und Kanal benötigen, ergeben für 4 Minuten einen Stereo-Speicherbedarf von ca. 50 MB (= 44100*2*2*60*4). Kan das menschliche Gehör keinen Unterschied wahrnehmen, so können verlustbehaftete Kompressionsverfahren eine stärkere Kompression ermöglichen. mpeg-1 (Full Motion Video) kompriemiert den Video-Datenstrom auf 150 KByte/s. Bei mpeg-2-DVD-Video-Kodierung sind Schwankungen zugelassen. Bei einem Mittelwert von z.B. 4 MBit/s können besonders komplexer Inhalte bis auf einen zulässigen Maximalwert (von z.B. 10 MBit/s, festgelegte Zeitspanne) ansteigen.

Der graphischen Anteil von Videodaten besteht aus aufeinander-folgenden Einzelbildern. Bleibt bei einem Studio-Sprecher der Hintergrund unverändert, so brauchen lediglich die sich ändernden Bereich im Gesicht übertragen zu werden. Bis ein Scenen-Umschnitt erfolgt, sind für alle anderen Bereiche eine einmalige Übertragung des Gesamtbildes ausreichend.

Die Methode der Kompression sucht nach Musterdarstellungen, die die gleiche Information mit weniger Bits beschreiben. Je weniger ein Signal verlustfrei komprimiert werden kann, desto mehr Informationsanteile je Bit enthält es. Zu einem unvorhersagbar-vielfältigem Rauschen gehört eine geringe Komprimierbarkeit.

Die algorithmische oder logische Tiefe von Information ist ein Maß für die Komplexität einer Datenmenge oder Nachricht, also für den Informationsgehalt.