Inteligencja Obliczeniowa Wstęp

1. Inteligencja ObliczeniowaWstęp Wykład 1 Włodzisław Duch Katedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika Google: W. Duch

2. Informatyka: definicja Association for Computing Machinery Co to jest ? The systematic study of algorithmic processes that describe and transform information: their theory, analysis, design, efficiency, implementation, and application … Denning, et al. 1988 Co z zagadnieniami, dla których nie ma efektywnych algorytmów? Lub żadnych algorytmów?

3. Computational Intelligence (CI) Zajmuje się rozwiązywaniem problemów, które nie są efektywnie algorytmizowalne. Inteligencja obliczeniowa Nie ma efektywnego algorytmu? • Drobna zmiana może wymagać całkiem innego programu! • Nie można przewidzieć wszystkich zmian. Rozwiązanie wymaga inteligencji; jeśli szukamy rozwiązania za pomocą obliczeń to jest to „inteligencja obliczeniowa”.

4. Problemy efektywnie niealgorytmizowalne Teoria złożoności obliczeniowej, problemy NP-trudne Liczba kroków algorytmu dla złożonych sytuacji rośnie w sposób szybszy niż jakikolwiek wielomian liczby elementów (złożoności specyfikacji problemu). Przykład: problem komiwojażera. Dla 100 miejsc mamy 100!=10158 możliwości. Problemy praktyczne: gry planszowe, układanie planu, upakowanie towarów.

5. Problemy niealgorytmizowalne Przykłady: • rozumienie sensu zdań, • rozpoznawanie twarzy i obrazów, • rozpoznawanie mowy i sygnałów, percepcja, • rozpoznawanie pisma ręcznego, • sterowanie robotem, nieliniowymi układami, • diagnostyka medyczna, planowanie terapii, • rozwiązywanie nietypowych problemów, • działania twórcze. Wiele problemów nie ma natury dyskretnej.

6. CI i sztuczna inteligencja Kognitywistyka: CI: percepcja i sterowanie: zachowania sensomotoryczne; AI: wyższe czynności poznawcze: logika, język, rozumowanie, rozwiązywanie problemów. AI to część CI posługująca się symboliczną reprezentacją wiedzy, zajmuje się rozumowaniem, tworzeniem systemów ekspertowych. CI: automatyzacja procesów akwizycji wiedzy. CI-AI: niewielkie nakrywanie, trochę systemów hybrydowych. iOmniscient: Neural Networks and Heuristic Algorithms

7. CI: problemy 1 Kilka problemów do rozwiązania których potrzebne są metody inteligencji obliczeniowej: • Klasyfikacja struktur: rozpoznawanie obrazów, mowy, pisma, struktur chemicznych, zachowań człowieka lub maszyny, stanu zdrowia, sensu wyrazów i zdań … • Odkrywanie wiedzy w bazach danych, zrozumienie struktury danych, konstrukcja wyjaśniających teorii. • Selekcja cech - na co warto zwrócić uwagę, co jest niepotrzebne; redukcja wymiarowości problemu. • Inteligentne szukanie z uwzględnieniem semantyki pytania – szukarki, Information Retrieval (IR).

8. CI: problemy 2 • Inteligentne wspomaganie decyzji: diagnozy medyczne, decyzje menedżerskie. • Gry strategiczne: uczenie się na własnych i cudzych błędach. • Kontrola: jakości produktów, ostrości obrazu kamery, dostrojenia aparatury. • Sterowanie: samochodu, urządzeń technicznych, fabryk, społeczeństwa ... • Planowanie: budowa autostrad, wieżowców, optymalizacja działań i organizacji, planów działania. • Optymalne spełnianie ograniczeń, optymalizacja wielokryterialna, dopełnianie brakującej wiedzy.

9. CI: problemy 3 • Detekcja regularności, analiza interesujących skupień, samoorganizacja, uczenie spontaniczne, geny, białka. • Separacja sygnałów z wielu źródeł: oczyszczanie obrazów z szumów, oddzielanie artefaktów, separacja sygnałów akustycznych, sygnałów. • Prognozowanie: wskaźników ekonomicznych, pogody, plam na Słońcu, decyzji zakupu, intencji człowieka. • Askrypcja danych: łączenie informacji z kilku źródeł. • Wizualizacja informacji ukrytej w bazach danych. • Zrozumienie umysłu: doświadczeń psychologicznych, sposobu rozumowania i kategoryzacji, poruszania się i planowania, procesów uczenia.

10. CI: inspiracje 1 • CI czerpie inspiracje z różnych źródeł, w tym z: • Neurobiologii: jak robią to mózgi? Sieci neuronowe – duża dziedzina, sieci wszelkich rodzajów, modele hierarchiczne, samoorganizujące. Część bliska neurobiologii – computational cognitive neurosciences, szczegółowe modele neuronów. Część bliska statystyki i rozpoznawania wzorców (pattern recognition). Część pośrednia: CMAC (Cerebellar Model Arithmetic Computer); SDM (Sparse Distributed Memory) ...

11. CI: inspiracje 2 Modele koneksjonistyczne: sieci i rozproszone przetwarzanie równoległe, ale węzły nie działają jak neurony – sieci Bayesowskie, modele graficzne, uczenie się przez porcjowanie, mechanizmy uwagi. • Biologii: algorytmy ewolucyjne, genetyczne, rojowe, mrówkowe. • Medycyny: działanie układu immunologicznego. • Logiki: uwzględnianie informacji niepewnej, logika rozmyta (fuzzy), przybliżona (rough), teoria wiarygodności Dempstera-Shafera (posybilistyczna), logika wielowartościowa. • Psychologii: jak robią to umysły?

12. CI: inspiracje 3 • Z uczenia maszynowego: szukanie reguł symbolicznych, automatyczna akwizycja wiedzy. Metody oparte na ocenie podobieństwa do sąsiadów, np. NNC (Nearest Neighbor Classifiers), k-NN Metody oparte na śladach pamięci (memory-based methods, memory-based reasoning), szukania interesujących prototypów. • Statystyki: statystyka wielowymiarowa, klasyfikatory Bayesowskie, sieci probabilistyczne, klasteryzacja, kwantyzacja wektorowa. • Teorii wnioskowania: podejmowanie decyzji, metody probabilistyczne, ocena ryzyka, drzewa decyzji.

13. CI: inspiracje 4 • Teorii informacji: maksymalizacji entropii, wartości oczekiwanych, informacji wzajemnej ... • Matematyki stosowanej: teoria optymalizacji, estymacji, badań operacyjnych, taksonomia numeryczna, teoria aproksymacji, regresji wielu zmiennych, falek ... • Metod wizualizacji wielowymiarowych danych. • Informatyki: współbieżne systemy programowania. • Fizyki: fizyka statystyczna, metody Monte Carlo, stopniowe studzenie, funkcje potencjalne, układy dynamiczne, teoria chaosu, synergetyka. • Nauk technicznych: teorii sterowania, automatyki, robotyki.

14. Algorytmy ewolucyjne PatternRecognition Statystykawielowymiarowa AI, ES Logikarozmyta Uczenie maszynowe Wizuali-zacja Sieci neuronowe Metody probabilistyki Inteligencja Obliczeniowa Computational IntelligenceData + KnowledgeArtificial Intelligence

15. Cel dalekosiężny • AI: test Turinga, maszyna nieodróżnialna od człowieka przy zdalnej konwersacji. Wymaga nie tylko zdolności lingwistycznych, ale i budowania modeli umysłowych, szerokiej wiedzy o świecie, zrozumienia stanów emocjonalnych ... • CI: sztuczny szczur? Przetrwanie autonomicznego organizmu we wrogim środowisku, wymaga percepcji, kontroli, pamięci skojarzeniowej, planowania, antycypacji …

16. Adaptacja • Cecha wielu systemów CI: rozwiązywanie zadań na podstawie przykładów. • Systemy adaptujące: zmieniają wewnętrzną strukturę dostosowując się do sytuacji (np. mózgi, społeczeństwa). Adaptacja to cecha inteligencji. • Systemy adaptujące się są zwykle nieliniowe, często rozproszone, składające się z wielu elementów oddziaływujących w trudny do przewidzenia sposób. • 3 podstawowe rodzaje takich układów: uczące się pod nadzorem, z krytykiem i samodzielnie, bez nadzoru.

17. Uczenie bez nadzoru Znajdź interesujące struktury w danych. Uczenie spontaniczne, odkrywanie ciekawych struktur w przestrzeni danych, korelacja zachowań systemu ze zmianą tych struktur – dominuje w okresie niemowlęcym (również budowa teorii). Unsupervised learning

18. Uczenie z nadzorem Zadaj pytanie – pokaż opis obiektu (wektor własności), porównaj odpowiedź z pożądaną. Uczenie nadzorowane przez nauczyciela – szkolne. Zmiana parametrów wewnętrznych – adaptacja, w przyszłości trzeba robić jak najmniej błędów. Celem nie jest uczenie „na pamięć”, lecz generalizacja. Supervised learning.

19. Uczenie z krytykiem Optymalizacja zysków na dłuższą metę. Np. gry z przeciwnikiem, krytyką jest przegrana lub wygrana na końcu partii. Uczenie z krytykiem lub z „wzmocnieniem” pożądanych zachowań po dłuższym okresie. Uczenie dojrzałe (nabieranie „mądrości”). Reinforcement learning.

20. Sieci bez wag Inne proste modele binarne Sieci Hopfielda Sieci Hebbowskie i modele mózgu Perceptrony proste Perceptrony wielowarstwowe Co dalej?

21. Koniec wykładu 1 Dobranoc ?