Классификация и регрессия

1. Классификация и регрессия (продолжение) Храброва М.О.

2. Алгоритм покрытия.Алгоритм заключается в построении деревьев решений для каждого класса по отдельности.

3. Пример. Подбор контактных линз Нужно построить правило для определения условий, при которых необходимо рекомендовать жесткие линзы: если (?) то рекомендация = жесткие Выполним оценку каждой независимой переменной и всех их возможных значений: возраст = юным - 2/8; возраст = пожилой - 1/8; возраст = старческий - 1/8; предписание = близорукость - 3/12; предписание = дальнозоркость - 1/12; астигматизм = нет - 0/12; астигматизм = да - 4/12; степень износа низкая - 0/12; степень износа = нормальная - 4/12. Выбираем переменную и значение с максимальной оценкой астигматизм =да. Таким образом, получаем уточненное правило следующего вида: если (астигматизм = да и ?) то рекомендация = жесткие.

4. Пример. Подбор контактных линз Выполним повторную оценку для оставшихся независимых переменных и их значений, но уже на новом множестве: • возраст = юный - 2/4; • возраст = пожилой - 1/4; • возраст = старческий - 1/4; • предписание = близорукость - 3/6; • предписание = дальнозоркость - 1/6; • степень износа = низкая - 0/6; • степень износа = нормальная - 4/6. • После уточнения получим правило и множество, представленное в табл. 3: если (астигматизм = да и степень износа = нормальная) то рекомендация = жесткие.

5. Пример. Подбор контактных линз • Так как в полученном множестве все еще остаются объекты, не относящиеся к классу жесткий, то необходимо выполнить уточнение: • возраст юный - 2/2; • возраст пожилой - 1/2; • возраст старческий - 1/2; • предписание близорукость - 3/3; • предписание дальнозоркость - 1/3. Очевидно, что уточненное правило будет иметь следующий вид: если (астигматизм = да и степень износа = нормальная и предписание близорукость) то рекомендация = жесткие. Однако в полученном подмножестве отсутствует один из объектов, относящихся к классу жесткие, поэтому необходимо решить, какое из последних двух правил более приемлемо для аналитика.

6. Методы построения математических функций

7. Метод наименьших квадратов Линейные функции множества F имеют вид: Задача заключается в отыскании таких коэффициентов , чтобы удовлетворить условие: При решении задачи регрессии коэффициенты можно вычислить, используя квадратичную функцию потерь и множество линейных функций F: Необходимо найти решение следующей задачи:

8. Метод наименьших квадратов • Вычисляя производную R(f) по и вводя обозначение , получаем, что минимум достижим при условии: • Решением этого выражения будет: • Откуда и получаются искомые коэффициенты . Рассмотренный пример иллюстрирует поиск оптимальной функции f методом наименьших квадратов.

9. Нелинейные методы • Нелинейные модели лучше классифицируют объекты, однако их построение более сложно. В простейшем случае построение таких функций сводится к построению линейных моделей. Для этого исходное пространство объектов преобразуется к новому. В новом пространстве строится линейная функция, которая в исходном пространстве является нелинейной. Для использования построенной функции выполняется обратное преобразование в исходное пространство.

10. Support Vector Machines (SVM) • Идея метода основывается напредположении о том, что наилучшим способом разделения точек в m-мерном пространстве является m-1 плоскость.

11. Support Vector Machines (SVM) • Формально данную задачу можно описать как поиск функции, отвечающей следующим условиям: • Если f(x) линейна, то ее можно записать в виде:

12. Изначально алгоритм построения оптимальной разделяющей гиперплоскости — алгоритм линейной классификации. Однако в 1992 году ученые предложили способ создания нелинейного классификатора, в основе которого лежит переход от скалярных произведений к произвольным ядрам, так называемый kerneltrick, позволяющий строить нелинейные разделители. Результирующий алгоритм крайне похож на алгоритм линейной классификации, с той лишь разницей, что каждое скалярное произведение заменяется нелинейной функцией ядра (скалярным произведением в пространстве с большей размерностью).

13. Оcновные виды функций классификации, при меняемых в SVМ-методе.

14. Достоинстваи недостатки метода SVM: Достоинства метода SVM: • теоретическая и практическая обоснованность метода; • общий подход ко многим задачам; • устойчивые решения, нет проблем с локальными минимумами; • не подвержен проблеме overfitting; • работает в любом количестве измерений. Недостатками метода являются: • невысокая производительность по сравнению с более простыми методами; • отсутствие общих рекомендаций по подбору параметров и выбору ядра; • побочные эффекты нелинейных преобразований; • сложности с интерпретацией результата.

15. Прогнозирование временных рядов • Временной ряд – последовательность событий, упорядоченных по времени их наблюдения.События формируются через равные интервалы Tи представляются: • Задача построения прогноза: Пусть дан временной ряд, требуется на его основании определить значение при k>0

16. Прогнозирование временных рядов • Построение модели, характеризующей временной ряд. • Оценка построенной модели. • Если модель получила удовлетворительную оценку, то ее можно использовать для прогноза событий.

17. Методы прогнозирование временных рядов • Метод экстраполяции • Метод максимального сглаживания • Метод скользящего окна

18. Метод экстраполяции • Вид функции f может быть как линейный, так и линейный. В общем виде: где - искомые коэффициенты, подбираемые так, чтобы построенная функция имела бы минимальную ошибку прогноза.

19. Метод экспоненциального сглаживания Строит адаптивные модели прогнозирования • По нескольким первым уровням ряда оцениваются значения параметров модели. • По имеющейся модели строится прогноз на один шаг вперед, причем его отклонение от фактических уровней ряда расценивается как ошибка прогнозирования • Далее по модели со скорректированными параметрами рассчитывается прогнозная оценка на следующий момент времени и т.д.

20. Метод скользящего окна • Гипотеза, что существует закон, по которому можно определить значение очередного члена ряда как функцию от нескольких предыдущих членов. Фиксируют число k и предполагают, что только k предшествующих членов влияют на дальнейшее поведение ряда: