Grundlagen der Informatik Wintersemester 2007

1. Grundlagen derInformatikWintersemester 2007 Prof. Dr. Peter Kneisel

2. Didaktik: Durchführung • Diese Vorlesung enthält Übungen • Die Übungen werden je nach Bedarf durchgeführt. • Zur Vorbereitung werden Übungsblätter, je nach Vorlesungsverlauf zusammengestellt. • Weitere Übungen sind im Foliensatz vorhanden und sollten selbständig und vollständig bearbeitet werden. • Vorsicht ! • Kommen Sie in alle Veranstaltungen - machen Sie die Übungen • Überschätzen Sie sich nicht - auch wenn Sie PC-Crack sind

3. Didaktik: Folien • Der Vorlesungsstoff wird anhand von Folien dargelegt • Die Folien bilden nur einen Rahmen für die Inhalte. Die Folien sollten daher mit Hilfe eigener Vorlesungsskizzen ergänzt werden - am besten in Form einer Vorlesungsnachbereitung max. 3 Tage nach der Vorlesung • Zusätzlich zu den Folien werden Beispiele an der Tafel oder am Rechner gezeigt. Diese sollten Sie vollständig mitskizzieren. • Zur vollständigen Nachbereitung, z.B. als Klausurvorbereitung, sind die Folien einheitlich strukturiert • Es gibt genau drei Gliederungsebenen: Kapitel, Unterkapitel, Abschnitte • Die Inhalte jedes Kapitels und jedes Unterkapitels werden jeweils motiviert und sind verbal beschrieben. Zusätzlich gibt es jeweils ein stichwortartiges Inhaltsverzeichnis der Unterkapitel, bzw. Abschnitte • Die Vorlesung wird ständig überarbeitet, so dass sich die Foliensätze ändern können (und werden) • Laden Sie sich zur endgültigen vollständigen Klausurvorbereitung nochmals zusätzlich den kompletten Foliensatz herunter.

4. Literatur • Diese Veranstaltung ist anhand (wirklich) vieler Bücher und einer Menge eigener Erfahrungen erstellt worden. Jedes Buch hat dabei Schwerpunkte in speziellen Bereichen und ist daher sinnvoll. Eine Auflistung aller dieser Bücher ist nicht sinnvoll.Stellvertretend für all diese Bücher sei hier ein Buch angeführt: • H.P.Gumm, M.Sommer: „Einführung in die Informatik“; Oldenbourg-Verlag 2004 • Motivation ist alles !Hier ein paar Bücher, die das Interesse und den Spaß an der Wissenschaft im Allgemeinen und an der Informatik im besonderen wecken soll: • S.Singh: „Fermats letzter Satz“; DTV, 9.Auflage 2004 • M. Spitzer: „Geist im Netz“; Spektrum, Akad. Verlag 2000 • H. Lyre: „Informationstheorie“; UTB, 2002 • A.Hodges: „Alan Turing, Enigma“; Springer-Verlag, 1983 • D.R.Hofstadter: „Gödel, Escher, Bach“; Klett-Cotta, 2006 (Taschenbuch 1991)

5. Inhalt • Wie jede Wissenschaft befasst sich die Informatik mit ihren eigenen „Objekten“. Was diese „Objekte“ sind und was man mit diesen Objekten machen kann - und wie - wird in dieser Vorlesung auf eher abstraktem Niveau, aber immer mit Beispielen aus der Realität eines Informatikers (oder einer Informatikerin), erläutert. • Diese Vorlesung konzentriert sich auf den „Kern“ der Informatik. Vertieftere Einführungen in z.B die Bereiche der Programmierung, Rechnerarchitekturen, Betriebssysteme, etc. sollen daher bewusst den entsprechenden Veranstaltungen vorbehalten bleiben • Inhalt • Informatik • Information und Codes • Zeichen und Zahlen • Datenstrukturen • Algorithmenentwurf

6. Überblick und Einordnung OOP AD AFS RN SWT Daten-strukturen 5 EP RA Dynamik (Algorithmik) Zahlen 4 Statik (Struktur) Zeichen 3 Strukturierung Codes 6 2 Elemente Information Praktische Theoretische Technische 1 Informatik

7. Kapitel 1 Informatik • 1962 wurde der Begriff „Informatique“(als Kombination der Begriffe „Information“ und „automatique“) von Philippe Dreyfus, einem französischen Ingenieur eingeführt und als „Informatik“ ins Deutsche übernommen. Als junge Wissenschaft ist die Informatik mittlerweile in viele Bereiche der älteren Wissenschaften eingezogen und hat viele eigene Bereiche neu erschlossen. Die Informatik ist damit mittlerweile wesentlich mehr, als der anglo-amerikanische Begriff „Computer-Science“ vermuten lässt.Dieses Kapitel möchte einen (kurzen) Überblick über exemplarische Inhalte, Struktur und Geschichte der Informatik geben • Inhalt • Motivation • Definition • Die Teilgebiete der Informatik • Die Geschichte der Informatik • Zusammenfassung des Kapitels

8. 1.1 Motivation • Die Beherrschung eines Computers macht Spaßund gibt der informationssüchtigen Gesellschaft das Gefühl persönlicher Freiheit(so wie vor Jahren ein roter Sportwagen) • Die Beherrschung gibt Macht.Für das Funktionieren einer demokratischen Gesellschaft ist es wichtig, daß viele Menschen Computer verstehen und beherrschen. • Der Computer schafft und vernichtet Arbeitsplätze und ist eine Herausforderung für die Gesellschaft • Das Verstehen der Gesetzmäßigkeiten bei der Entwicklung von Computerprogrammen ist eine intellektuelle Herausforderung • Das Umsetzen dieses Verständnisses ist eine intellektuelle Genugtuung. • Der Computer schafft neue Betätigungsfelder und Lebensinhalte • Zunehmend viele Aufgabenstellungen der realen Welt sind ohne Einsatz von Methoden und Werkzeugen der Informatik nicht mehr zu bewältigen • Der professionelle Umgang mit Computer ist im Beruftsleben eine nackte Notwendigkeit !

9. 1.2 Was ist Informatik • Jedes Lehrbuch der Informatik gibt seine Definition der „Informatik“. Auch der Duden beschreibt die Informatik als „Wissenschaft von der systematischen Verarbeitung von Informationen, besonders der automatischen Verarbeitung mit Hilfe von Digitalrechnern“.Durch die Beschränkung auf den Aspekt der „Verarbeitung“ geht diese Definition meines Erachtens nicht weit genug. Ich werde daher in diesem Unterkapitel eine eigene Definition wagen. Die dabei verwendeten Aspekte werden exemplarisch verdeutlicht, wobei bewusst in Grenzbereiche der Informatik gegangen wird . • Was die Informatik wirklich ist, kann kein Lehrbuch erfassen.Sie werden - hoffentlich - am Ende Ihres Studiums eine sehr weitreichende Idee davon haben. • Inhalt • Definition • Beispiele

10. Erfassen Transportieren Speichern Verarbeiten Umsetzen 1.2.1 Definition Informatik Die Wissenschaft, die sich mit dem (automatisierten) von Information befasst

11. 1.2.2 Wissenschaft • Informatik ist nicht die Wissenschaft vom Computer(sowenig, wie Astronomie die Wissenschaft vom Teleskop ist) • Informatik ist eine Wissenschaft… und keine Bastelecke für Software-Spieler • Aspekte der Informatik als • „reine Lehre“ (verwandt mit der Mathematik) • Naturwissenschaft: entdecken und beschreiben von „natürlichen“ Phänomenen • Ingenieurwissenschaft - mit der typischen Vorgehensweise • Problemstellung • Analyse • Teillösungen • Synthese • Lösung

12. 1.2.3 Information • Information ist die Bedeutung, die durch eine Nachricht übermittelt wird (nachrichtentechnische Definition) •  Kapitel 2 • Information ist eine elementare Kategorie • Chemie: Stoffumwandlung • Physik: Energieumwandlung • Informatik: Informationsumwandlung

13. Datenmenge (Byte) 300000 60000 3000 (52,204,248) (33,75,125,190,251) 100 1.2.4 Erfassen Sensorik • Bildverarbeitung

14. ~5-25000 Hz 300 - 3400 Hz 1.2.5 Transportieren Telekommunikation • Telephonie

15. Einfache Typen Strukturierte Typen Abstrakte Typen Aufzählungstypen Integer Real Boolean Char ... Array Record Varianten Record Menge ... Listen Binäre Bäume Vielweg Bäume Graphen ... array [n..m] of Type record Type 1: element 1 Type n: element n end set of Type {rot, gelb, grün} [0,1,..,65535] [3,4e-038,..3,4e038] {TRUE, FALSE} {ASC(0),..,ASC(255)} 1.2.6 Speichern Datenrepräsentation • Abstrakte Datentypen (N. Wirth: Algorithmen und Datenstrukturen)

16. Assoziation Vererbung Aggregation Verwendung Instantiierung Klassenname Attribute Operationen Einschränkungen Mitarbeiter Projekt Buchhaltung n Controlling 1 Personalwesen Teil projekt Projektleiter 1.2.6 Speichern Datenrepräsentation • Objektrepräsentation (G. Booch: Objektorientierte Analyse und Design)

17. Projekt Buchhaltung Assoziation Vererbung Aggregation Verwendung Instantiierung Mitarbeiter Controlling n Teilprojekt Personalwesen Projektleiter 1 1 n 1.2.6 Speichern Datenrepräsentation • Objektrepräsentation (B.Stroustrup: The C++ Programming Language) Class Teilprojekt: public Projekt { Projektleiter projektleiter; Mitarbeiter mitarbeiter[MAX_MITARBEITER]; public: Teilprojekt (Projektleiter); ~Teilprojekt (); } Teilprojekt::Teilprojekt(Projektleiter pl) { // some method-calls of Buchhaltung, Controlling, Personalwesen } main { Teilprojekt1 = new Teilprojekt(Projektleiter1) // See Budget1 for buget details on Teilprojekt1 }

18. 1.2.7 Verarbeiten Prozessmodelle • Petri-Netze (C.A.Petri: Kommunikation und Automaten))

19. R1 R2 R3 R4 R5 N2 N1 1.2.7 Verarbeiten Prozessmodelle (G. Booch: Objektorientierte Analyse und Design) • Interaktionsdiagramme

20. a Aktivierungszustand W Verbindungsgewichtung O Ausgangswert F Aktivierungsfunktion f Ausgabefunktion Oj Axon Wij Oi=f(ai) ai=F(Wij*Oj ,ai) Synapsen Dendrite 1.2.7 Verarbeiten KI-Ansätze • Neuronale Netze

21. Anzahl Freiheitsgrade 25 9 2 (1) 1.2.8 Umsetzen Aktorik • Manipulatoren

22. 1.2.9 Zusammenfassung • Modellierung der realen Welt • Abbildung realer Objekte und deren Beziehungen (Strukturen) auf rechnerinterne Objekte und Strukturen • Reduktion von Redundanz • Strukturierung von Information • Abbildung realer Aufgabenstellungen und Prozesse auf Rechnerprozesse • Umsetzung des Modells auf die reale Welt • Abbildung von Rechnerprozessen auf reale Prozesse • Abbildung von Datenstrukturen auf reale Strukturen Erfassen Transportieren Speichern Verarbeiten Umsetzen

23. 1.3 Die Teilgebiete der Informatik • Wie viele Wissenschaften, ist die Informatik kein homogenes Gebilde, sondern lässt sich anhand unterschiedlicher Kriterien in Teilgebiete strukturieren.Dieses Kapitel beschreibt die wohl geläufigste Einteilung der Informatik in drei, bzw. vier Teilbereiche. • Inhalte • Technische Informatik • Praktische Informatik • Theoretische Informatik • ( Angewandte Informatik )

24. 1.3.1 Technische Informatik • Konstruktion von Verarbeitungselementen • Prozessoren, ... • Konstruktion von Speicherelementen • Hauptspeicher, ... • Konstruktion von Kommunikationselementen • Bussysteme • Lokale Rechnernetze (LAN: Local Area Networks), Weitverkehrsnetze (WAN: Wide Area Networks), ... • Mobilfunknetze, Satellitenkommunikation, ... • Konstruktion von Peripherie • Drucker, Scanner, .... • Festplatten, Optische Platten, Diskettenlaufwerke, ... • ...

25. 1.3.2 Praktische Informatik • Umgang mit Programmiersprachen • Programmierung • Compilerbau • ... • Entwicklung von Software • Analysemethoden • Designmethoden • Realisierungsmethoden • Testverfahren • ... • Unterstützung der Softwareentwicklung • Projektmanagement von DV-Projekten • Qualitätsmanagement in DV-Projekten • ... • ...

26. 1.3.3 Theoretische Informatik • Sprachen und Automaten • Formale Sprachen • Grammatiken • Sprachdefinitionen • Berechenbarkeitstheorie • Komplexitätstheorie • ...

27. 1.3.4 Angewandte Informatik • Anwendung in verwandten Wissenschaften • Numerische oder stochastischer Verfahren in der Mathematik • Simulationen in der Physik und der Chemie • Bildverarbeitung in der Medizin • Genanalyse in der Biologie • Lehrprogramme für Natur-, Sozial- und Geisteswissenschaften • ... • Anwendungen im täglichen Leben. • Computerspiele, Multimediaanwendungen, • Textverarbeitung, Tabellenkalkulation, Datenbanken, ... • Steuerung von technischen Prozessen • Web-Anwendungen • ... • ...

28. 1.4 Die Geschichte der Informatik • Die Informatik ist eine junge Wissenschaft, hat aber, ähnlich wie andere Natur- und Ingenieurwissenschaften Wurzeln, die weit in die Menschheitsgeschichte hineinragen, Wie keine andere Wissenschaft wurde die Informatik jedoch von der Erfindung eines Gerätes, dem programmgesteuerten Rechner (später „Computer“) beeinflusst. Dieses Unterkapitel wird die Wurzel in der Menschheitsgeschichte und auch die Entwicklung des Rechners vorstellen. • Inhalt • Information in der Geschichte • Automaten und Steuerungen • Erleichterung der Rechenarbeit • Pioniere der Informatik - Praktiker • Pioniere der Informatik - Theoretiker • Die Generationen

29. Erfassung durch Sinnesorgane Transport durch akustische, optische, chemische Signale Speicherung durch Gene oder neuronale Elemente Verarbeitung über neuronale Elemente Umsetzung direkt oder indirekt über Gliedmaße Entwicklung von Wort,- Silben- und Buchstaben-schriften 1.4.1 Information in der Geschichte

30. 1.4.2 Automaten und Steuerungen • ca. 100 v. Chr. Mechanismus von Antikytheraälteste erhaltene Zahnrad-Apparaturwahrscheinlich zur (analogen) Berechnung derBewegungen von Himmelskörpern • MittelalterMechanische Uhren mit Sonnen-, Mond- undPlanetenbewegungen und Figurenumläufe anKirchen und Rathäusern • 17./18. Jhdt.Spieluhren, Schreib- und Schachspielautomaten • 18./19. Jhdt.Fliehkraftregler für Dampfmaschinen, mechanischer Webstuhl mit Lochkartenbebändert (Jacquart, 1805)

31. 1.4.3 Erleichterung der Rechenarbeit • Rechenbretter • Seit dem Altertum • China, Japan, Russland • Addition/Subtraktion ähnlich schnell wie Taschenrechner • Lehre der Grundrechenarten • Durch Zahlensystem schematisierbar • Lehre an mittelalterlichen Universitäten • Durch Rechenbücher weitere Verbreitung des Wissens (z.B. Adam Riese 1492-1559) • Rückführung der Multiplikation/Division auf Addition/Subtraktion durch logarithmisches Rechnen mit Hilfe von Tabellen.

32. 1.4.4 Mechanische Rechenmaschinen • Wilhelm Schickart (1592-1635) • Maschine für die Grundrechenarten (1623) • Blaise Pascal (1623-1662) • Gottfried Wilhelm von Leibniz (1646-1716) • Arithmetik des Dualsystems • Philipp Matthäus Hahn (1749-1790) • Feinmechanische Rechenmaschinen • 19./20. Jhdt: Sprossenradmaschine • Hermann Hollerith • Lochkartenstanzer/Sortierer/Tabellierer

33. 1.4.5 Pioniere der Informatik - Praktiker • Charles Babbage (1791-1871) • Difference Engine (1812). Überprüfung von Logarithmentafeln. Alle Merkmale eines programmierbaren Computers. • Entwurf einer Analytical Engine (1836).Wurde nie gebaut • Konrad Zuse (geb. 1910) • Z1: mechanischer Rechner • Z2 / Z3: Elektromechanischer Relaisrechner im Dualsystem mit Lochkartensteuerung.Erster voll funktionstüchtiger Computer (1941) • Grundlegende Arbeiten zur Programmierung und algorithmischer Sprachen • Howard Eiken • Mark I, II, III, IV (1944)Dezimalrechnender Relaisrechner

34. 1.4.6 Pioniere der Informatik - Theoretiker • Kurt Gödel • Theoretische Aussagen zum Algorithmenbegriff:Es gibt Aussagen die algorithmisch nicht entscheidbar sind (1931) • Alan M. Turing (1911-1954) • Definition des Algorithmenbegriffes über eine hypothetische Maschine(Turing-Maschine) • John von Neumann (1903-1957) • Grundlegende Arbeiten über Computerarchitektur: • Speicherung der Daten und Programme auf dem gleichen Medium • Definition von Registern insb. Indexregister

35. 1.4.7 Die Generationen Generation Beispiel Technologie Speich./Geschw. Software Vorgenerat. Z3 Elektro- 0,0002 MIPS Verdrahtet 1941-1944 Mark1 mechanik 1.Generation ENIAC, Z22 Elektro- 0,02 MIPS Maschinen- 1946 - 1958 UNIVAC, IBM650 röhren 1-2 KByte sprache SIEMENS704 2. Generation IBM1400, AEG TR Transistoren 0,1 MIPS Assembler 1959 - 1964 CDC6600 Kernspeicher 32 KByte FORTRAN Siemens2002 Stapelbetrieb 3. Generation IBM370, PDP11 ICs 5 MIPS Hochsprachen 1965 - 1980 Siemens7000, Halbleiter- 1-2 MBytes C, Pascal Cray 1 speicher 4. Generation PC, Gray XMP Mikro- 50 MIPS Sprachen der 1981-1999 Sperry1100, VAX prozessoren 8-32 MByte 4. Generation IBM309x Optische Sp. Parallelisierung Gegenwart Workstations Pentium, 100 MIPS Netzsoftware Hochleistungs- Power PC 1 GByte OO-Sprachen PCs Netze C++. JAVA 5. Generation supraleitende 1000 MIPS Keramiken viele GBytes www.top500.org

36. 1.5 Zusammenfassung des Kapitels • Die Informatik befasst sich mit der (automatisierten) Erfassung, dem Transport, der Speicherung, Verarbeitung und dem Umsetzen von Information • Die Informatik ist eine „naturwissenschaftliche Ingenieurswissenschaft“ • Die Informatik gliedert sich in Technische, Praktische, Theoretische und Angewandte Informatik • Die Geschichte der Informatik beginnt im Altertum, besteht in Ihrer heutigen Form aber erst seit ca. 1945. Zur Zeit befinden wir uns in der 4. Generation.

37. Kapitel 2 Information • Information ist der grundlegende Begriff der Informatik. Mehr noch: „Der Begriff der Information ist vermutlich das zentrale interdisziplinäre Brückenkonzept der modernen Wissenschaften * “.Dieses Kapitel beschreibt, aus welchen Aspekten Information besteht, welche für die Informarik wesentlichen Definitionsansätze es gibt und wie Information in der Informatik tatsächlich dargestellt wird.Inhalt • Was ist Information • Nachrichtentechnische Definition • Algorithmische Definition • Darstellung in der Informatik Im Anfang war das Wort Johannes 1.1 * (einige Teile dieses Kapitels entstammen: H.Lyre: „Informationstheorie)

38. 2.1 Was ist Information • Es deutet einiges darauf hin, dass „Information“ ein zumindest ebenso fundamentaler Begriff ist, wie „Stoff“ in der Chemie und „Energie“ in der Physik (die tatsächlich schon zu „Materie-Energie“ vereint wurden).Betrachtet man Information als ursächliche (atomare) Größe so ist die Frage: „was ist Information“ eher irrelevant. Dafür rücken Fragestellungen wie „woraus besteht Information“, „worin ist Information“, „was kann ich mit Information machen“ in den Vordergrund.In diesem Unterkapitel soll die erste dieser Fragen: „woraus besteht Information?“ betrachtet werden • Inhalt • Semiotische Dreidimensionalität • Semantik und Pragmatik • Semantische Ebenen

39. 2.1.1 Semiotische Dreidimensionalität • Die wohl wichtigste Charakterisierung des Informationsbegriffes entspringt der „Semiotik“ – der Zeichenlehre (Also die Lehre, die sich mit Zeichen bzw. Symbolen befasst) und lässt sich auf den Informationsbegriff übertragen. Demnach haben Informationseinheiten drei Aspekte: • die Syntax betrifft das Auftreten einzelnder Informationseinheiten und ihrer Beziehungen untereinander. • die Semantik betrifft die Bedeutung der Informationseinheiten und ihre Beziehungen untereinander. • die Pragmatik betrifft die Wirkung der Informationseinheiten und ihrer Beziehungen untereinander. • Diese drei Aspekte • müssen in ihrer Gesamtheit berücksichtigt werden(entweder explizit oder implizit) • sind ungewichtet • haben keinen Bezug zum informationsverarbeitenden System (z.B. Mensch, Maschine, …)

40. 2.1.2 Semantik und Pragmatik • Carl Friedrich von Weizsäcker: • Information ist nur, was verstanden wird • Information ist nur, was Information erzeugt(die wiederum syntaktische Aspekte hat, verstanden werden muss und Information erzeugen muss, die wiederum …  hermeneutischer Zirkel) • Der Aspekt „verstanden werden“ erlaubt keine strenge Formalisierung (denn was bedeutet „verstanden werden“ – wie kann man es messen)sehr wohl lässt sich aber der Aspekt „Information erzeugen“ formalisieren.Beispiel: • Person A bittet Person B, das Licht einzuschalten:Sequenz von Zeichen: „B I T T E S C H A L T E D A S L I C H T A N“ • Person B „interpretiert“ die Zeichenkette = wertet die Semantik, die Bedeutung der Zeichenkette aus: „????“ • Person B generiert neue Information:Licht = onoder stellt sich einen erleuchteten Raum vor, was neurologisch zu messen ist. • Da Semantik und Pragmatik eng miteinander verzahnt sind spricht man auch vom semantopragmatischen Aspekt der Information

41. 2.1.3 Semantische Ebenen • Der semantopragmatischen Aspekt der Information zeigt die Unmöglichkeit eines absoluten Begriffs von Information, d.h. Information ist relativ zu den semantischen Ebenen der beteiligten Systemen.Beispiel (siehe 2.1.2): • Person A spricht deutsch, Person B kann kein deutschd.h. die semantischen Ebenen sind völlig disjunkt.Daher ist in diesem Bezugssystem zwar der syntaktische Aspekt von Information, aber keine semantischer und damit (sehr wahrscheinlich;-) auch kein pragmatischer Aspekt und damit auch keine Information vorhanden. • In der Realität sind unterschiedliche semantische Ebenen die Regel und verändern sich auch dynamisch:Beispiel: Beim Erlernen der Muttersprache testet ein Kleinkind zunächst Laute. Bei einer positiven Reaktion (z.B. Ma-Ma) erfolgt rudimentäre Wortbildung, die mit dem Semantikverständnis von Worten zu komplexeren syntaktischen Strukturen (Sätzen) mit komplexeren semantischen Strukturen weiterentwickelt werden. • In der Informatik strebt man oft (z.B. bei einer Datenkommunikation) gleichartige semantische Ebenen an.

42. 2.2 Nachrichtentechnische Definition (nach Shannon) • Information hat vielfältige Repräsentationsformen. Noch vor Entstehen der Informatik als Wissenschaft hat Claude Elwood Shannon (1916-2001) wichtige Maßzahlen zur Erfassung von Information definiert. Dabei geht er von der nachrichtentechnischen Repräsentation von Information, der „Nachricht“ aus.Diese Repräsentation von Information hat „eigentlich“ nur syntaktische Aspekte (im Sinne der „Semiotischen Dreidimensionalität), denn es wird weder nach dem Sinn der Nachricht gefragt, noch nach deren Konzequenz.Dieses Unterkapitel stellt diese Maßzahlen und deren Grundlagen dar. • Inhalt: • Nachricht • Informationsgehalt einer Nachricht • Informationsgehalt eines Zeichens • Mittlerer Informationsgehalt • Informationsgehalt des Menschen

43. 2.2.1 Definition: Nachricht • sei Alphabet X: Menge von Symbolen/Zeichen X = {x1, x2, ... xn} • Eine Zeichenkette (ein Wort) der Länge n über X ist eine Folge von n Zeichen aus X (ein n-Tupel über X) • Beispiel: X={a,b}Worte über X: {a,b,ab,ba,aba,abb,baa,bbb, ...}Worte der Länge n mit n=3: {aaa,aab,aba,abb,baa,bab,bba,bbb} • Die Menge aller n-Tupel über X ist das n-facheKreuzprodukt X  X  ...  X (n mal), bezeichnet als Xn • |Xn| = | X  X  ...  X | = |X| * |X| * ... * |X| = |X|n • Die Anzahl der Elemente alle Worte mit der exakte Länge n ist |X|n • Wird eine Zeichenkette übermittelt, so spricht man von Nachricht Nx Informationsübetragung(nach Shannon, Hartley,Weaver und Wiener) Sender  Kanal  Empfänger  Störung

44. Ein Maß für die Information (der Informationsgehalt) einer Nachricht Nn,x der Länge n (über ein Alphabet X) ist die kürzeste Länge der Beschreibung, die notwendig ist, um die Nachricht Nn,x aus der Menge aller möglichen Nachrichten der Länge n sicher zu ermitteln Beispiel: Information der Nachricht N8,{0,1} : Suche in |{0,1}|8 = 256 Wörtern Der Informationsgehalt einer aus mehreren (voneinander unabhängigen) Zeichen bestehenden Zeichenkette ist gleich der Summe der Informationen der einzelnen Zeichen: 1 * ld(|X|) + 1* ld(|X|) + ... + 1* ld(|X|) = n * ld(|X|) = ld(|X|n) obere Hälfte ? Optimal mit binärem Suchen Anzahl Fragen:ld(|Xn|) = ld(|X|n) = n ld(|X|) ja nein obere Hälfte ? obere Hälfte ? ja nein ja nein ... 2.2.2 Definition: Informationsgehalt einer Nachricht

45. 2.2.3 Definition: Informationsgehalt eines Zeichens • Idee: • Der Informationsgehalt eines Symbols xi hängt von der Wahrscheinlichkeit seines Auftretens ab: Je seltener ein Symbol auftritt, desto höher ist sein Informationsgehalt: h(xi) = f(1/p(xi)) • Definition nach Shannon (ca. 1950):Der Informationsgehalt h (Einheit bit) eines Symbols xi ist definiert als der Logarithmus Dualis des Reziprokwertes der Wahrscheinlichkeit, mit der das Symbol auftritt:h(xi) = ld(1/p(xi)) = -ld p(xi)

46. Umrechnungsregel des ld in den 10er-Logarithmus (lg) lg b log c b  3,322 lg b log a b = mit a = 2, c = 10 gilt: ld b = lg 2 log c a 2.2.3 Beispiel: Informationsgehalt • Beispiel: Sei die Wahrscheinlichkeit von E = 0,5 und die von H = 0,25 • Informationsgehalt des Zeichens „E“ :hE = ld (1/0.5) = 1bit • Informationsgehalt des Zeichens „H“ :hH = ld (1/0,25) = 2 bit • Informationsgehalt der Zeichenkette „EHE“hEHE = ld(2) + ld(4) + ld(2) = ld(2 * 4 * 2) = 4 bit

47. 2.2.4 Definition: Mittlerer Informationsgehalt • Kennt man die Einzelwahrscheinlichkeiten aller möglichen Symbole einer Symbolsequenz, so ist der mittlere Informationsgehalt Hs der Symbole s (Entropie der Quelle) definiert als:Hs = S (p(xi) * h(xi)) = S (p(xi) * ld(1/p(xi))) = - S( p(xi) * ld(p(xi))) • Der mittlere Informationsgehalt Hs,n einer Symbolkette der Länge n ist:Hs,n = Hs * n • Beispiel d.h. die Symbole haben einen mittleren Informa- tionsgehalt von 1,5 bit. Hs = 0,5 * 1bit + 0,25 * 2bit + 0,25 * 2bit = 1,5 bit

48. 2.2.5 Informationsaufnahme des Menschen • Beim Lesen (eines deutschen Textes) erreicht der Mensch eine Geschwindigkeit von ca. 25 Zeichen/sec • das entspricht 25 * 2 Bit (mittleren Informationsgehalt in der deutschen Sprache) = 50 Bit/sec • dieser Wert ist unabhängig vom Alphabet - kann also auch z.B. im chinesischen erreicht werden (weniger Zeichen/sec, größerer mittlerer Informationsgehalt). • Nachrichten, die mit anderen Medien dargestellt werden, können ca. genauso schnell verarbeitet werden. • Aufnahme des Menschen • Bewusst aufgenommen werden ca. 50% von 50 Bit/sec also 25 bit/sec • Bei einer Aufnahmedauer von ca. 16 Stunden am Tag ergibt sich eine Lebensinformationsmenge von ca. 3 * 1010 Bit • die Speicherkapazität des Gehirns ist mit ca. 1012 Bit auch in der Lage, diese Informationsmenge zu speichern (sogar 100 Mal) • Die Lebensinformationsmenge findet auf einer CD-ROM Platz und ist über Glasfaserkabel in wenigen Sekunden zu übertragen.

49. 2.3 Algorithmische Definition • Betrachten wir folgende Nachrichten (A und B): Nachricht A: 1110111011000110110101100010 Nachricht B: 1111000111100011110001111000nach Shannon ist der Informationsgehalt der ersten Zeichenkette A identisch mit dem der zweiten Zeichenkette B (denn hA(0)=hB(0) und hA(1)= hB(1))Aber: Ist das (intuitiv) wirklich so ?Tatsächlich lässt sich die Information aus Nachricht B leicht (algorithmisch) beschreiben: „4 1en, dann 3 0en, das Ganze 4 mal“Hat man also die Regelmäßigkeit der Nachricht „verstanden“ lässt sich die Information einfacher (kürzer) formulieren. Im Sinne der „Semiotischen Dreidimensionalität“ berücksichtigt die Algorithmische Definition von Information zusätzlich zur Syntax auch die Semantik. • Inhalt: • Die Turing-Maschine • Das Turing-Programm • Beispiele

50. 2.3.1 Einige Fragen • Kann jede Zeichenkette durch Regeln (einen Algorithmus) beschrieben werden. • Wie können diese Regeln zur Generierung von Zeichenketten beschieben werden? • Gibt es ein Modell, mit dem man solche Regeln formalisieren kann? • Wie sieht ein solches abstraktes Model aus ? • Gibt es genau ein Model oder mehrere ? • Sind diese Modelle äquivalent ?