SlideServe
Télécharger Obtenir Pro
Menu
Accueil Pro
Préférences
ApparenceLight Aide et commentaires
© SlideServe · v2026

Effective Model Selection Techniques for Regression Analysis

lwiley avatar
lwiley
13 diapositives · 163 Views · Jan 03, 2020

Understand key criteria like SSE, R2, Adjusted R2, and MSE for comparing and selecting regression models. Learn about Cp, AIC, BIC, and Bayesian approaches. Explore various model selection procedures and prediction error measures.

#effective model selection techniques for regression analysis #effective model selection techniques for regression analysis ppt #powerpoint #presentation
Effective Model Selection Techniques for Regression Analysis - slide 1
01 / 13Effective Model Selection Techniques for Regression Analysis
1 / 17

Télécharger la présentation

Effective Model Selection Techniques for Regression Analysis
Une image / un lien ci-dessous est fourni (tel quel) pour télécharger la présentation

Politique de téléchargement : le contenu du site vous est fourni TEL QUEL pour votre information et votre usage personnel ; il ne peut être vendu, concédé sous licence ni partagé sur d’autres sites sans l’accord de son auteur.Le contenu vous est fourni TEL QUEL, pour votre information et votre usage personnel uniquement. Téléchargez la présentation en cliquant sur ce lien. Lors du téléchargement, si vous ne parvenez pas à télécharger une présentation, l’éditeur a peut-être supprimé le fichier de son serveur.Pendant le téléchargement, si vous ne parvenez pas à obtenir une présentation, le fichier a peut-être été supprimé par l’éditeur.

F I N

Plus de contenu associé

Transcription de la présentation

  1. Some Model Selection Criteria for Regression

  2. SSE, R2, Adjusted R2, and MSE • SSE decreases as variable is added to a model • R2 increases as variable is added to a model • Adjusted R2 and MSE take the number of predictors into account (K=number of predictors) • Useful for comparing models with different number of variables

  3. Cp Criteria • Mallows (1973) • Let p= K+1 • Choose the model that Cpis low and close to p

  4. Akiake Criteria • An Information Criteria for normal regression model (Akaike 1973) • p=K+1 • Choose the model that minimizes AICp • Derived from information theory

  5. Schwartz Criteria • Bayesian Information Criteria for normal regression model (Schwartz 1978) • Choose the model that minimizes BICp • Bayes factor • Also denoted as SICp

  6. Some Model Selection Procedures • All subset regression • Best subset regression • Forward selection • Backward elimination • Stepwise regression • Out of sample prediction • Forecasting • Cross-validation

  7. Prediction error • Validation of an estimated model by out of sample prediction (forecast) • Leave one out • Split sampling • New data • Prediction (forecast) error error = actual - forecast

  8. Leave out one • Leave one observation, i, out • Estimate the model using the n-1 remaining data • Predict yiby • Compute the prediction error • Repeat for all i = 1,2, . . . , n

  9. Measures of overall prediction error • Prediction error sum of square • Mean square prediction error • Root Mean square prediction error

  10. Measures of overall prediction error • Mean absolute prediction error • Relative (percent) mean absolute prediction error

  11. Split sampling • Divide the sample into two subsamples • Model estimation subsample (size n1) • Model validation subsample (size n2) • Cross-sectional data • select cases randomly • Time series data • Use period t = 1, …, T1 data for estimation • Use period t = T1+1, …, T for validation

  12. Measures of overall prediction error • Mean square prediction error • Root Mean square prediction error

  13. Measures of overall prediction error • Mean absolute prediction error • Relative (percent) mean absolute prediction error