Spracovanie Apache logov Vyhľadávanie informácií

1. Spracovanie Apache logovVyhľadávanie informácií Bc. Adam Valent

2. Problém, motivácia • HTTP server Apache • Požiadavky klientov sa ukladajú do logov • Klienti sa indetifikujú IP a User-agent stringom • Štatistické informácie • Tabuľky, grafy • GeoIP – geografické informácie o klientoch

3. Existujúce riešenia • AWStats • Voľne dostupný • Komplexný nástroj • Webalizer • Patrí k najrýchlejším nástrojom • Weblog Expert • Platený • Prehľadné tabuľky a grafy

4. Postup práce • Analýza záznamov • Analýza User-agent • Implementácia • GeoLiteCity.dat, GeoIP.dat od Maxmind • Získanie údajov, zoradenie • Generovanie HTML výstupu, tabuľky a grafy (Google Chart API) • Testovanie • Log súbory zo servera ulozisko.sk

5. Softvér, výstup • Jednoduchý program na spracovanie logov • Spustenie s parametrom log_file • Výstup HTML stránka (output.html) • Jednoduchá modifikácia na spracovanie záznamov s určitým dátumom

6. Výstupné údaje • prenesené dáta na základe rozdelenia CZ a SK miest • prenesené dáta na základe okresov v SR a krajov-obcí v ČR • zoradené IP adresy s najväčším počtom prenesených dát s dnshost adresou, krajinou a mestom • zoradené IP adresy s najväčším počtom prístupov na server s dnshost adresou, krajinou a mestom • identifikované prehliadače používateľov • operačné systémy používateľov • boti, ktorí pristupovali na server

7. Screenshot

8. Vyhodnotenie • Logy s rôznou veľkosťou • Najväčšia časová strata – GeoIP • 500 000 záznamov = cca 398.43 s • Výhoda programu • Existujúce riešenia – absencia filtrovania na základe miest, krajov, krajín • Nevýhoda • Rýchlosť spracovania