корреляция признаков в машинном обучении

Отбор признаков для машинного обучения на Python

Признаки (feature), используемые для обучения модели, оказывают большое влияние на качество результатов. Неинформативные или слабо информативные признаки могут существенно понизить эффективность модели.

В этой статье мы рассмотрим различные методы автоматизированного отбора признаков (feature selection), применяемые для подготовки данных. Примеры реализованы с помощью Python и библиотеки scikit-learn.

Отбор признаков

Отбор признаков – это процесс выбора признаков, имеющих наиболее тесные взаимосвязи с целевой переменной.

Присутствие в данных неинформативных признаков приводит к снижению точности многих моделей, особенно линейных, таких как линейная и логистическая регрессия.

Отбор признаков перед моделированием обеспечивает три следующих преимущества:

Подробное руководство по отбору признаков с помощью scikit-learn вы можете найти в документации к этой библиотеке в разделе Feature selection.

Методы отбора признаков

Итак, давайте рассмотрим 4 метода отбора признаков на Python. Демонстрационные примеры для каждого метода являются самостоятельными модулями, которые вы можете просто скопировать и использовать в своих проектах.

В наших примерах мы будем работать с набором данных, содержащим информацию о случаях сахарного диабета среди индейцев Пима (Pima Indians diabetes). Все признаки являются числовыми, а задача представляет собой двухклассовую классификацию.

Признаки, имеющие наиболее выраженную взаимосвязь с целевой переменной, могут быть отобраны с помощью статистических критериев. Библиотека scikit-learn содержит класс SelectKBest, реализующий одномерный отбор признаков (univariate feature selection). Этот класс можно применять совместно с различными статистическими критериями для отбора заданного количества признаков.

В примере ниже используется критерий хи-квадрат (chi-squared test) для неотрицательных признаков, чтобы отобрать 4 лучших признака.

Мы видим оценки для каждого признака и 4 отобранных признака (с наивысшими оценками): plas, test, mass и age.

Метод рекурсивного исключения признаков (recursive feature elimination, RFE) реализует следующий алгоритм: модель обучается на исходном наборе признаков и оценивает их значимость, затем исключается один или несколько наименее значимых признаков, модель обучается на оставшихся признаках, и так далее, пока не останется заданное количество лучших признаков. В документации scikit-learn вы можете подробнее прочитать о классе RFE.

В примере ниже метод RFE применяется в сочетании с логистической регрессией для отбора 3-х лучших признаков. Для совместного использования с RFE можно выбирать различные модели, важно лишь, чтобы они были достаточно эффективны и совместимы с RFE.

Мы видим, что в результате были отобраны 3 лучших признака: preg, mass, pedi. Отобранные признаки помечены значением «True» в массиве support_ и значением «1» в массиве ranking_.

Метод главных компонент (principal component analysis, PCA) позволяет уменьшить размерность данных с помощью преобразования на основе линейной алгебры. Пользователь может задать требуемое количество измерений (главных компонент) в результирующих данных.

В примере ниже мы выделяем 3 главных компоненты с помощью PCA.

Подробная информация о классе PCA доступна в документации scikit-learn. Если вас заинтересовала математика PCA, обратитесь к статье в Википедии.

Как видим, результат преобразования (3 главных компоненты) совсем не похож на исходные данные.

Ансамблевые алгоритмы на основе деревьев решений, такие как случайный лес (random forest), позволяют оценить важность признаков.

В представленном ниже примере мы обучаем классификатор ExtraTreesClassifier, чтобы с его помощью определить важность признаков. Подробнее о классе ExtraTreesClassifier можно узнать из документации scikit-learn.

Мы получили оценки для каждого признака. Чем больше значение оценки, тем важнее признак. Таким образом, согласно данному методу отбора, тремя наиболее важными признаками являются: plas, age и mass.

Заключение

В этой статье мы рассмотрели 4 метода отбора признаков на Python с применением библиотеки scikit-learn:

Источник

Отбор признаков в задачах машинного обучения. Часть 1

1. Методы фильтрации

Методы фильтрации применяются до обучения модели и, как правило, имеют низкую стоимость вычислений. К ним можно отнести визуальный анализ (например, удаление признака, у которого только одно значение, или большинство значений пропущено), оценку признаков с помощью какого-нибудь статистического критерия (дисперсии, корреляции, X 2 и др.) и экспертную оценку (удаление признаков, которые не подходят по смыслу, или признаков с некорректными значениями).

Простейшим способом оценки пригодности признаков является разведочный анализ данных (например, с библиотекой pandas-profiling). Эту задачу можно автоматизировать с помощью библиотеки feature-selector, которая отбирает признаки по следующим параметрам:

Количество пропущенных значений (удаляются признаки у которых процент пропущенных значений больше порогового).

Коэффициент корреляции (удаляются признаки, у которых коэффициент корреляции больше порогового).

Вариативность (удаляются признаки, состоящие из одного значения).

Оценка важности признаков с помощью lightgbm (удаляются признаки, имеющие низкую важность в модели lightgbm. Следует применять только если lightgbm имеет хорошую точность.)

Туториал по этой библиотеке находится здесь.

Более сложные методы автоматического отбора признаков реализованы в sklearn. VarianceThreshold отбирает признаки, у которых дисперсия меньше заданного значения. SelectKBest и SelectPercentile оценивают взаимосвязь предикторов с целевой переменной используя статистические тесты, позволяя отобрать соответственно заданное количество и долю наилучших по заданному критерию признаков. В качестве статистических тестов используются F-тест,

и взаимная информация.

F-тест

F-тест оценивает степень линейной зависимости между предикторами и целевой переменной, поэтому он лучше всего подойдёт для линейных моделей. Реализован в sklearn как f_regression и f_classif соответственно для регрессии и классификации.

Этот тест используется в задах классификации и оценивает зависимость между признаками и классами целевой пременной. Описание метода приведено здесьи здесь (для sklearn). Стоит отметить, что этот тип тестов требует неотрицательных и правильно отмасштабированных признаков.

Взаимная информация

2. Встроенные методы

Встроенные методы выполняют отбор признаков во время обучения модели, оптимизируя их набор для достижения лучшей точности. К этим методам можно отнести регуляризацию в линейных моделях (обычно L1) и расчёт важности признаков в алгоритмах с деревьями (который хорошо разобран здесь). Отметим, что для линейных моделей требуется масштабирование и нормализация данных.

Пример

fnlwgt (final weight) – примерная оценка количества людей, которое представляет каждая строка данных

educational-num – длительность обучения

capital-gain – прирост капитала

capital-loss – потеря капитала

hours-per-week – количество рабочих часов в неделю

Источник

FeatureSelector: отбор признаков для машинного обучения на Python

Поиск и отбор признаков в исходных данных является важнейшим этапом обучения. Рассмотрим 5 методов выборки и один удобный инструмент.

Ненужные признаки снижают скорость обучения модели, интерпретируемость и, главное, способность к обобщению. FeatureSelector – это специальный класс для отбора информативных признаков, написанный на языке Python, реализующий самые распространенные методы выборки. Его исходный код доступен на GitHub. Инструмент позволяет оценивать параметры по следующим характеристикам:

В статье мы рассмотрим пример использования FeatureSelector для машинного обучения на реальном наборе данных и убедимся, что он позволяет организовать работу быстро и эффективно.

На текущий момент инструмент находится в стадии разработки, так что вы можете внести собственный вклад в его развитие.

Исходный набор данных

Для примера мы будем использовать данные из Kaggle-соревнования по вычислению кредитных рисков. Загрузить полный датасет можно здесь. Его структура представлена на изображении:

Это задача контролируемой классификации. Набор данных замечательно подходит для примера. В нем много пропущенных значений, сильно коррелированных (коллинеарных) и нерелевантных признаков, которые мешают эффективному обучению модели.

Создание экземпляра

При создании экземпляра класса FeatureSelector ему необходимо передать структурированный набор данных с объектами наблюдения в строках и атрибутами в столбцах. Некоторые методы могут работать только с признаками, но методам, основанным на важности, нужны обучающие метки. Так как у нас задача контролируемой классификации, мы будем использовать набор функций и набор меток.

Убедитесь, что вы запускаете этот код в той же директории, что и feature_selector.py :

Методы

FeatureSelector также умеет строить графики, ведь визуальный контроль данных – это важный компонент машинного обучения.

Пропущенные значения

Первый метод осуществляет отбор признаков по очень простому алгоритму: подсчет количества пропущенных значений. Если оно превышает заданный порог, параметр рекомендуется удалить.

Этот код идентифицирует признаки, имеющие более 60% пропусков:

В этом фрейме показаны доли незаполненных значений для каждого параметра:

Чтобы увидеть удаляемые признаки, нужно обратиться к атрибуту ops класса FeatureSelector, который является словарем:

Построим график распределения пропущенных значений по всем атрибутам:

Коллинеарные признаки

Коллинеарными называются признаки, которые сильно коррелируют друг с другом. В машинном обучении это приводит к снижению производительности обобщения данных из-за высокой дисперсии и меньшей интерпретируемости модели.

Метод identify_collinear находит коллинеарные предикторы на основе заданного значения коэффициента корреляции. Для каждой пары коррелированных признаков он определяет один для удаления (так как нужно удалить только один):

Для визуализации можно построить тепловую карту. Она показывает все параметры, у которых есть хотя бы одна корреляция выше порогового значения:

Как и раньше, можно получить доступ к полному списку удаляемых признаков или изучить сильно коррелированные пары параметров в датафрейме:

Можно также построить график всех корреляций в наборе, передав вызову plot_all=True :

Признаки с нулевой важностью

Два перечисленных метода могут быть применены к любому структурированному набору данных. Они являются детерминированными, то есть результаты их работы не меняются в разных подходах.

Метод, который мы разберем сейчас, недетерминированный и предназначен только для задач контролируемого машинного обучения с обучающими метками. Функция identify_zero_importance находит признаки, которые имеют нулевую важность. В моделях на основе деревьев решений такие параметры не используются, поэтому мы можем смело удалить их, не влияя на производительность.

FeatureSelector устанавливает важность признаков с помощью алгоритма градиентного бустинга из библиотеки LightGBM. Показатель усредняется по 10 тренировочным прогонам GBM для уменьшения дисперсии. Кроме того, используется ранняя остановка с проверочным набором, чтобы предотвратить переобучение. Эту опцию можно отключить.

Приведенный ниже код производит отбор признаков с нулевой важностью:

Построим с помощью plot_feature_importance два графика:

Здесь мы видим нормализованные показатели важности plot_n самых значимых признаков:

На этом графике отражено изменение кумулятивной важности в зависимости от общего количества признаков. Вертикальная линия отмечает пороговое значение, в данном случае 99%.

Две важные вещи, которые нужно помнить, производя отбор признаков по важности:

Признаки с низкой важностью

Этот метод основан на предыдущем. Функция identify_low_importance находит параметры с наименьшей значимостью, которые не влияют на указанный общий уровень. Например, этот вызов отберет признаки, которые не вносят вклад в 99% общего значения:

Основываясь на графике кумулятивной важности, градиентный бустинг считает многие аргументы неактуальными. Опять же, результаты этого метода будут меняться при каждом обучении.

Можно просмотреть все удаляемые объекты в датафрейме:

Функция low_importance основывается на том же подходе, что и метод главных компонент (PCA).

Отбор признаков по их важности применим только в случае использования решающего дерева для создания прогнозов. Помимо того, что эти методы являются стохастическими, они представляют собой черный ящик, поскольку мы не знаем, почему модель считает признаки неактуальными. Запустите их несколько раз, чтобы увидеть, как изменяются результаты, и создайте при необходимости несколько наборов данных с разными параметрами для тестирования!

Признаки с единственным значением

Последний метод просто отбирает все столбцы, которые содержат только одно значение. Такие признаки не могут быть полезны для машинного обучения, так как имеют нулевую дисперсию. Например, деревья решений не могут их разделить.

Этот метод не принимает никаких параметров для настройки:

Построим гистограмму количества уникальных значений для каждого признака:

Помните, что Pandas отбрасывает значения NaN перед вычислением.

Удаление признаков

Метод возвращает фрейм данных с удаленными параметрами. Можно также удалить one-hot признаки, созданные во время обучения:

Отбор признаков всеми методами

Выводы

Класс FeatureSelector реализует несколько распространенных операций удаления признаков перед обучением модели. Их можно запускать по отдельности и одновременно. Кроме идентификации параметров, инструмент способен строить графики и гистограммы для визуализации.

Отбор признаков по пропущенным значениям, коллинеарности и малой дисперсии детерминирован, а методы основанные на важности, напротив, при каждом запуске выдают другие результаты. Выбор функции для отбора, как и вся сфера машинного обучения, является эмпирическим и требует тестирования нескольких комбинация для поиска оптимального варианта. FeatureSelector позволяет делать это быстро и эффективно.

Помните, что вы можете внести свой вклад в развитие проекта FeatureSelector.

Источник

Как использовать корреляцию для понимания взаимосвязи между переменными

Дата публикации 2018-04-27

Могут быть сложные и неизвестные отношения между переменными в вашем наборе данных.

Важно обнаружить и количественно определить степень зависимости переменных в вашем наборе данных друг от друга. Эти знания могут помочь вам лучше подготовить ваши данные, чтобы соответствовать ожиданиям алгоритмов машинного обучения, таких как линейная регрессия, производительность которых будет ухудшаться при наличии этих взаимозависимостей.

После завершения этого урока вы узнаете:

Обзор учебника

Этот урок состоит из 5 частей; они есть:

Что такое корреляция?

Переменные в наборе данных могут быть связаны по многим причинам.

Это может быть полезно при анализе данных и моделировании, чтобы лучше понять взаимосвязи между переменными. Статистическая связь между двумя переменными называется их корреляцией.

Корреляция может быть положительной, что означает, что обе переменные движутся в одном и том же направлении, или отрицательной, что означает, что когда значение одной переменной увеличивается, значения других переменных уменьшаются. Корреляция также может быть нейронной или нулевой, что означает, что переменные не связаны.

Производительность некоторых алгоритмов может ухудшиться, если две или более переменных тесно связаны между собой, что называется мультиколлинеарностью. Примером является линейная регрессия, где одна из нарушенных коррелированных переменных должна быть удалена, чтобы улучшить навыки модели.

Мы также можем быть заинтересованы в корреляции между входными переменными и выходной переменной, чтобы дать представление о том, какие переменные могут или не могут иметь значение в качестве входных данных для разработки модели.

Структура отношений может быть известна, например, оно может быть линейным, или мы можем не иметь представления, существует ли связь между двумя переменными или какую структуру она может принять. В зависимости от того, что известно о взаимосвязи и распределении переменных, могут быть рассчитаны различные оценки корреляции.

Тестовый набор данных

Прежде чем мы рассмотрим методы корреляции, давайте определим набор данных, который мы можем использовать для тестирования методов.

Мы будем использоватьrandn ()функция для генерации случайных гауссовских значений со средним значением 0 и стандартным отклонением 1, затем умножьте результаты на наше собственное стандартное отклонение и добавьте среднее значение для смещения значений в предпочтительный диапазон.

Генератор псевдослучайных чисел засеян, чтобы гарантировать, что мы получаем одну и ту же выборку чисел при каждом запуске кода.

При запуске примера сначала выводится среднее значение и стандартное отклонение для каждой переменной.

Разброс графика двух переменных создан. Поскольку мы создали этот набор данных, мы знаем, что между этими двумя переменными существует связь. Это становится ясным, когда мы просматриваем сгенерированный график рассеяния, где мы видим тенденцию к увеличению.

Прежде чем мы рассмотрим вычисление некоторых показателей корреляции, мы должны сначала взглянуть на важный статистический строительный блок, называемый ковариацией.

ковариации

Переменные могут быть связаны линейным отношением. Это отношение, которое последовательно аддитивно для двух выборок данных

Это соотношение можно суммировать между двумя переменными, называемыми ковариацией. Он рассчитывается как среднее произведение между значениями из каждого образца, где значения были отцентрированы (их среднее значение вычтено).

Расчет выборочной ковариации выглядит следующим образом:

Использование среднего значения в расчете указывает на необходимость того, чтобы каждая выборка данных имела гауссово или гауссовидное распределение.

Знак ковариации можно интерпретировать как изменение двух переменных в одном и том же направлении (положительное) или в разных направлениях (отрицательное). Величина ковариации не легко интерпретируется. Нулевое значение ковариации указывает, что обе переменные полностью независимы.

СОУ ()Функция NumPy может использоваться для вычисления ковариационной матрицы между двумя или более переменными.

Главная диагональ матрицы содержит ковариацию между каждой переменной и самой собой. Другие значения в матрице представляют ковариацию между двумя переменными; в этом случае два оставшихся значения одинаковы, учитывая, что мы рассчитываем ковариацию только для двух переменных.

Мы можем вычислить ковариационную матрицу для двух переменных в нашей тестовой задаче.

Полный пример приведен ниже.

Ковариационная и ковариационная матрицы широко используются в статистике и многомерном анализе для характеристики отношений между двумя или более переменными.

При выполнении примера вычисляется и печатается ковариационная матрица.

Поскольку набор данных был задуман для каждой переменной, взятой из гауссовского распределения, а переменные линейно коррелированы, ковариация является разумным методом для описания взаимосвязи.

Ковариация между двумя переменными составляет 389,75. Мы можем видеть, что это положительно, предполагая, что переменные изменяются в том же направлении, что и мы ожидаем.

Проблема с ковариацией как статистического инструмента заключается в том, что ее сложно интерпретировать. Это приводит нас к коэффициенту корреляции Пирсона дальше.

Корреляция Пирсона

Коэффициент корреляции Пирсона (названный по имени Карла Пирсона) можно использовать для обобщения силы линейной зависимости между двумя выборками данных.

Коэффициент корреляции Пирсона рассчитывается как ковариация двух переменных, деленная на произведение стандартного отклонения каждой выборки данных. Это нормализация ковариации между двумя переменными для получения интерпретируемой оценки.

Использование среднего значения и стандартного отклонения в расчете предполагает необходимость того, чтобы две выборки данных имели гауссово или гауссовидное распределение.

В результате расчета коэффициент корреляции можно интерпретировать, чтобы понять взаимосвязь.

pearsonr ()Функция SciPy может использоваться для расчета коэффициента корреляции Пирсона между двумя выборками данных одинаковой длины.

Мы можем вычислить корреляцию между двумя переменными в нашей тестовой задаче.

Полный пример приведен ниже.

При выполнении примера вычисляется и печатается коэффициент корреляции Пирсона.

Мы можем видеть, что две переменные положительно коррелируют и что корреляция составляет 0,8. Это говорит о высоком уровне корреляции, например значение выше 0,5 и близко к 1,0.

Коэффициент корреляции Пирсона можно использовать для оценки взаимосвязи между более чем двумя переменными.

Это можно сделать, рассчитав матрицу отношений между каждой парой переменных в наборе данных. Результатом является симметричная матрица, называемая корреляционной матрицей со значением 1,0 вдоль главной диагонали, поскольку каждый столбец всегда идеально коррелирует с самим собой.

Корреляция Спирмена

Две переменные могут быть связаны нелинейным отношением, так что отношение является более сильным или более слабым по распределению переменных.

Кроме того, две рассматриваемые переменные могут иметь негауссово распределение.

В этом случае коэффициент корреляции Спирмена (названный по имени Чарльза Спирмена) можно использовать для обобщения силы между двумя выборками данных. Этот тест взаимосвязи также можно использовать, если между переменными существует линейная зависимость, но он будет иметь немного меньшую мощность (например, может привести к более низким показателям коэффициента).

Вместо расчета коэффициента с использованием ковариации и стандартных отклонений для самих выборок эти статистические данные рассчитываются на основе относительного ранга значений для каждой выборки. Это общий подход, используемый в непараметрической статистике, например, статистические методы, где мы не предполагаем распределение данных, таких как гауссовский.

Линейная связь между переменными не предполагается, хотя предполагается монотонная связь. Это математическое имя для увеличения или уменьшения отношения между двумя переменными.

spearmanr ()Функция SciPy может быть использована для расчета коэффициента корреляции Спирмена между двумя выборками данных одинаковой длины.

Мы можем вычислить корреляцию между двумя переменными в нашей тестовой задаче.

Полный пример приведен ниже.

При выполнении примера вычисляется и печатается коэффициент корреляции Спирмена.

Мы знаем, что данные гауссовские и что соотношение между переменными является линейным. Тем не менее, непараметрический ранговый подход показывает сильную корреляцию между переменными 0,8.

Как и в случае коэффициента корреляции Пирсона, коэффициент можно рассчитать попарно для каждой переменной в наборе данных, чтобы получить матрицу корреляции для обзора.

расширения

В этом разделе перечислены некоторые идеи по расширению учебника, которые вы, возможно, захотите изучить.

Если вы исследуете какое-либо из этих расширений, я хотел бы знать.

Дальнейшее чтение

Этот раздел предоставляет больше ресурсов по теме, если вы хотите углубиться.

Сообщений

статьи

Резюме

В частности, вы узнали:

У вас есть вопросы?
Задайте свои вопросы в комментариях ниже, и я сделаю все возможное, чтобы ответить.

Источник