Contributions futures du CRIL dans le cadre de l’ACI Daddi

1. Contributions futures du CRILdans le cadre de l’ACI Daddi Présenté par : S. Benferhat benferhat@cril.univ-artois.fr

2. Contributions futures du CRILdans le cadre de l’ACI Daddi • Complémentarité • « Comportementale/signature » • Réseaux bayésiens (RB) / arbres de décision (AD) • Extensions AD et RB • Vers la décision et le diagnostic

3. Plan • Brefs rappels • RB et AD • Base KDD (Dico) • Quelques mots sur : • Complémentarités • Une extension RB • Deux mots sur : • Extensions AD • Autres extenstions des RB • Vers la décision et le diagnostic

4. C Protocol_ type Duration Flag … Réseaux Bayésiens (RB) • Causalité + probabilités • Dans le contexte de détection d’intrusion : Réseaux Bayésiens naïfs (Valdes, projet DICO) • Deux niveaux: un nœud racine (variable non-observable) et plusieurs nœuds fils (variables observables) • Construction des RBN est très simple (structure unique) • Inférence (classification) est linéaire • Pb. hypothèse d ’indépendance très forte!

5. Arbre de décision (AD) Arbre de décision • Une technique de classification • Expression simplede la connaissance. • Compréhensionetinterprétation facile des résultats.

6. Racine Modalités du test Couleur Rouge Vert Jaune Bleu Nœud interne Forme=carré Forme=carré Forme=rond Faux Faux Vrai Vrai Faux Vrai Test Feuille 3D 2D 2D 2D 3D 3D 3D Arbre de décision

7. Données utilisées dans DICO • KDD’99 (données DARPA) • 10% du training set: 494019 connections • 10% du testing set: 311029 connections • 38 attaques (dont certaines sont nouvelles) • 41 attributs (certains ont été rajoutés par des experts)

8. Liste des attaques Normal DOS R2L U2R Prob. Training 19,69% 79,24% 0,23% 0,01% 0,83% Testing 19,48% 73,9% 5,21% 0,07% 1,34% • Denial of Service Attacks (DOS) • User to Root Attacks (U2R) • Remote to User Attacks (R2L) • Probing

9. Récapitulatif des résultats

10. Conclusions des résultats de • C4.5 et Naive Bayes pour KDD’99 • Aucune technique n’est meilleure dans les quatre catégories d’attaques • Toutes les techniques sont faibles dans la détection des attaques rares en générale, R2L et U2R en particulier • Alternative : Exploiter la complémentarité

11. Complémentarités (travail très préliminaire): • - Comportementale/signature • - Réseaux bayésiens (RB) / arbres de décision (AD)

12. Retour sur les résultats Remarques : - Résultats sur testing base, et non training base! - Une fonction de combinaison simple n’est pas satisfaisants

13. NaïveBayes Méta-calssificateur « Connexion » Catégorie de la connexion C4.5 Combinaison de C4.5 et NaïveBayes dans un méta-classificateur hybride

14. Principe du méta-classificateur hybride • la majorité des erreurs de classification sont des faux négatifs • la majorité des erreurs de classification sont d’origines R2L et U2R • Gérer différemment les prédictions de NaïveBayes et C4.5 pour traiter les: • vrais/faux négatifs • vrais/faux positifs

15. Principe du méta-classificateur hybride • Traitement des vrais/faux positifs (la classe prédite par les deux classificateurs n’est pas la classe normale) • Traitement des vrais/faux négatifs (au moins, l’un des classificateurs a prédit la classe normale) - Confirmation des prédictions de la classe normale ou - Correction de ces prédictions. • Utiliser des informations externes (info. Disponibles sur la construction de la base et des attaques)

16. Traitement des vrais/faux positifs: Fusion élémentaire • Fusion des distributions de probabilités associées par NaïveBayes et C4.5 à la connexion à classifier. • Sélection de la classe la plus probable

17. Traitement « naïf » des vrais/faux positifs Si (C4.5(a)≠ Normal) et (NaïveBayes(a) ≠ Normal) alors Si C4.5(a) = R2L ou NaïveBayes(a) = R2Lalors Meta-NB-C4.5(a) :=R2L ; Sinon Si C4.5(a) = U2R ou NaïveBayes(a) = U2R alors Meta-NB-C4.5(a) :=U2R ; Sinon Pour k :=0 à 39 faire %40 nbre de classes% d_Meta [k] :=0.5*(d_C4.5[k] + d_NB[k]) ; Fin pour ; c_Meta :=Argmaxk(d_Meta[k]) ; Meta-NB-C4.5(a) :=Catégorie(c_Meta) ; Fin si ; Fin si ;

18. Principes du traitement des vrais/faux négatif • Confirmer ou corriger les prédictions de la classe normale nécessite de recourir à: • l’approche comportementale pour distinguer entre vrais et faux négatifs • un mécanisme permettant d’identifier la catégorie d’attaques des connexions reconnues comme faux négatifs

19. Schéma général pour le traitement des vrais/faux négatifs C4.5(a)= Normal NaïveBayes(a)= Normal vrai/faux négatif ? vrai négatif ? Non Oui Catégorie(a) :=Normal Fausse alerte ? Non Oui Catégorie(a) :=Normal Procédure de distinction entre vrais et faux négatifs Identification de la catégorie d’attaque du faux négatif. Compor- tementale Info. externes

20. Distinction entre vrais/faux négatifs • Modélisation des connexions normales dans les données d’apprentissage • Élaboration d’une mesure de similarité pour juger le degré de normalité d’une connexion (similarité avec le modèle des connexions normales) • Vérifier si les connexions reconnues anormales ne constituent-elles pas des fausses alertes

21. Mesure « naïve » de distance d’une connexion avec le modèle des connexions normales • wi représente le poids associé à l’attribut ai • Dist(ai, âi) représente la distance entre l’attribut ai de la connexion avec l’attribut correspondant dans le modèle des connexions normales âi.

22. Mesure « naïve » de distance d’une connexion avec le modèle des connexions normales • Distance: • Si ai est continu : • Si ai est discret ou symbolique :

23. Mesure « naïve » de distance d’une connexion avec le modèle des connexions normales Décider si la connexion représentée par le vecteur d’attributs a est normale ou anormale Si Dist(a, â) < αalors a est normale ; Sinon a est anormale ; Fin si Avec

24. Traitement des vrais/faux négatifs Traitement des fausses alertes (loin de la norme) La connexion déclarée anormale est-elle une connexion R2L ou U2R? Dans KDD’99, ce sont certains attributs relatifs au contenu qui renseignent le plus sur ces deux types d’attaques Si tous les attributs relatifs au contenu sont nuls, alors cette connexion est normale (rien n’indique qu’elle est R2L ou U2R)

25. Identification « naïve » de la catégorie d’attaques des connexions déclarées anormales • Distinction entre attaques DoS/Probe et R2L/U2R sur la base des attributs relatifs à l’aspect temporel des connexions • Distinction entre DoS et Probe sur la base des attributs relatifs à l’hôte de destination • Distinction entre attaques R2L et U2R sur la base des attributs relatifs au contenu et la sémantique de ces deux catégories d’attaques

26. Exemple de règle de distinction entre attaques DoS/Probe d’un côté et R2L/U2R d’un autre côté Si ((count >100) ou (duration <=1)) alors Catégorie(a) ∊ {DoS,Probe}; Sinon Catégorie(a)  ∊ {R2L, U2R}; Fin si;

27. Un autre exemple de règle de distinction entre attaques DoS et Probe Si ((count >100) et (srv_count >50)) alors Catégorie(a) :=DoS ; Sinon Si ((duration <=1) et (dst_host_same_srv_rate >0.718)) alors Catégorie(a) :=DoS ; Sinon Si ((count >100) et ((srv_count <=50) ou (dst_host_diff_srv_rate>0.59)) alors Catégorie(a) :=Probe ; Fin si; Fin si; Fin si;

28. Sous-système 1 Sous-système 2 Traitement des vrais/faux positifs C4.5 Catégorie(connexion) Connexion NaïveBayes Traitement des vrais/faux négatifs Ensemble de classificateurs Méta- classificateur Future mise en œuvre du méta-classificateur

29. Les réseaux naïfs crédibilistes

30. Nature des connexions Exemple (1) Ensemble d’apprentissage (détection d’intrusion) …

32. Idée • Utilisation de la théorie des fonctions de croyance qui permet: • L'expression des croyances partielles. • La possibilité d'exprimer l'ignorance partielle ou totale. • Le traitement des jugements subjectifs etpersonnels. • La représentation des informations mathématiqueset épistémiques.

33. Concepts de base Fonction de masse de croyance élémentaire (bba) m(A) Partie de croyance attribuée exactement à A m: 2 [0,1] Fonction de croyance (bel) bel(A) Croyance totale attribuée à A

34. Exemple m{I2}(probing  DOS) =1; m1{I2} () = 0

35. Réseaux Bayésiens (RB) • La base de test de KDD’99 contient des incohérences • Etudier des formes générales de RB (simplement connectés, TAN, etc) • Adapter les réseaux causaux pour: • prise en compte de nouveaux cas et détecter de nouvelles attaques • diagnostics et explications • Développer les diagrammes d ’influences: • intégrer la notion de risque et de décision • Développer des réseaux causaux basés sur les fonctions de croyances

36. Arbre de décision (AD) • Développer des arbres de décisions possibilistes • prise en compte des données manquantes/incertaines • Adapter les arbres de décisions pour les problèmes de détection d ’intrusions • Développer des meta-classificateurs • complémentarité RB/AD