категориальные признаки машинное обучение

Категориальные признаки в машинном обучении

Существует несколько способов преобразовать категории в числа, каждый из них имеет свои плюсы и минусы. Выбор метода зависит от типа и смысла ваших данных, мощности множества категорий, алгоритма машинного обучения.

Ниже приведена схема, как выбрать подходящий метод кодирования.

Рассмотрим наиболее популярные методы преобразования категорий в числа.

Самый простой способ – обычная нумерация значений (0, 1, 2, …). У данного подхода есть существенный недостаток. Обычно он ведет к плохому результату так как, алгоритмы начинают учитывать бессмысленную упорядоченность значений признаков. Однако данный метод имеет преимущество с точки зрения памяти.

Метод реализован в классе sklearn.preprocessing.LabelEncoder.

Следующий способ – dummy-кодирование, также называемое — one-hot. Суть заключается в создании дополнительных N признаков (столбцов), где N – количество уникальных категорий. Новые признаки принимают значения 0 или 1 в зависимости от принадлежности к категории. One-hot encoder значительно увеличивает объем данных, что делает его неэффективным с точки зрения памяти, частично эту проблему решает применение разреженных матриц. Метод реализован в классе sklearn.preprocessing.OneHotEncoder.

Далее рассмотрим метод среднего кодирования (Mean/Target Encoding). Метод предполагает кодирование категорий средним арифметическим от суммы целевых меток (Target). Вариация этого метода рассматривалась нами ранее в задаче предсказания спроса, вместо целевых меток, мы брали другой признак — цену на товар, таким образом категории товаров упорядочивались их дороговизной. Однако, при кодировании средним по Target велика вероятность переобучения модели, эту проблему поможет решить регуляризация.

Простейший вариант Mean Encoding представлен ниже.

Подводя итоги, напомню, что методов кодирования существует гораздо больше, и среди них нет универсальных. Выбирая метод, стоит отталкиваться от ваших данных, мощности множества категорий и алгоритма машинного обучения.

Источник

Предварительная обработка данных

Всем привет! Я веб-разработчик и вот уже несколько лет интересуюсь машинным обучением. Поскольку в повседневной рабочей парктике мне приходится решать менее интересные для меня задачи, не связанные с машинным обучением, время от времени я забываю то, о чем когда-то читал или использовал. Чтобы составить памятку для себя, укрепить свои знания и поделиться ими с окружающими, я решил написать несколько статей по машинному обучению. Начну с предварительной обработки данных.

В этой статье я расскажу о том, какие проблемы случаются с данными, как их решать, а также про наиболее часто используемые методы подготовки данных перед тем как их «скармливать» разным моделям.

Пропуски

Рассмотрим набор данных следующего вида. Я его честно придумал и далее в рамках этой статьи буду ссылаться на него.

Очень часто случается так, что в наборе данных пропущены те или иные значения. Данные с пропусками чаще всего нельзя просто так взять передать в модель. Самый простой способ избавиться от пропусков в данных — просто удалить строки, в которых есть пропущенные значения. Но бывают случаи, когда такое удаление строк может привести к потере большого количества информации.

Помимо удаления строк существуют иные, более «стойкие» к потере обучающей информации, методы. Прежде чем рассмотреть эти методы, отмечу, что признаки можно поделить на категориальные и численные.

Категориальный признак — признак, значение которого можно отнести к какой-либо группе, но порядок значений в этой группе абсолютно не важен. Более того, между значениями категориальных признаков невозможно установить отношения «больше» или «меньше». Однако, никто не мешает исследователю отсортировать значения признака, например, по алфавиту для наглядности или по какому-либо другому критерию для какой-либо другой цели. Примеры категориальных признаков в моем наборе данных: Имя, Спортивная дисциплина, Страна, Год рождения спортсмена.

Значения численного признака является скаляром. Объекты в наборе данных можно упорядочить по значению такого признака в возрастающем или убывающем порядке. В качестве примеров численного признака можно привести Год рождения спортсмена и Вес спортсмена.

Я не ошибся, отнеся год рождения спортсмена как к численным так и к категориальным признакам. Дело в том, что многие признаки можно отнести одновременно к двум категориям. Но в модели такие признаки будут использоваться вполне однозначно: либо как численные, либо как категориальные. Классификация таких спорных признаков — творческий процесс и зависит от задачи, которую вы решаете.

Пропуски в категориальных признаках

Заполнить пропуски в категориальных признаках можно следующими способами:

Пропуски в численных признаках

Если имеем дело с численными признаками, можно применить следующие подходы:

Как видно из примера выше, выброс значения признака «Вес спортсмена» в строке с идентификатором 1 очень сильно повлиял на среднее значение.

Выбросы

В данных могут присутствовать значения, являющиеся выбросами. Это, как правило, не ошибки. Однако, своими значениями они «шокируют» модель. Пример выброса — значение веса Ивана из таблицы выше (ниже продублирована строка).

Для того, чтобы определить, является ли значение выбросом, пользуются характеристикой выборки, называемой интерквартильным размахом. Определяется он следующим образом:

где — первая квартиль — такое значение признака, меньше которого ровно 25% всех значений признаков. — третья квартиль — значение, меньше которого ровно 75% всех значений признака.

Для того, чтобы понять, является ли значение выбросом, можно воспользоваться эвристикой: выбросы лежат за пределами следующего интервала:

Чаще всего от выбросов в обучающей выборке лучше всего избавляться.

Нормализация

Нормализация — это приведение всех значений признака к новому диапазону. Например, к диапазону [0, 1]. Это полезно, поскольку значения признаков могут изменяться в очень большом диапазоне. Причем, значения разных признаков могут отличаться на несколько порядков. А после нормализации они все будут находиться в узком (и, часто, едином) диапазоне.

Наиболее популярным способом нормализации является нормализация методом минимакса. Для того, чтобы применить этот метод, должно быть известно максимальное и минимальное значение признака. Проблема в том, что эти значения известны не всегда.

Также довольно популярным методом является Z-нормализация. Диапазон новых значений для Z-нормализации выглядит следующим образом:

где — среднеквадратическое отклонение признака X.

Выполняется Z-нормализация по формуле ниже.

где M[X] — математическое ожидание признака X.

Отмечу, что в случае применения Z-нормализации к нескольким признакам, диапазон значений для них будет разным.

One-hot encoding

Это способ предварительной обработки категориальных признаков. Многие модели плохо работают с категориальными признаками как таковыми. Дело в том, что слово «Российская Федерация» нельзя просто взять и умножить на какое-нибудь число. Но многие модели работают именно так: берется коэффициент и на него умножается значение признака. Аналогичная операция выполняется с остальными признаками. Все результаты суммируются. На основе значения суммы делается вывод о принадлежности объекта к тому или иному классу (такие модели называются линейными).

Однако, как поступать с признаками, значения которых нельзя выразить численно? Можно заменить их значения численным идентификатором. Например, вместо значения «Российская Федерация» использовать значение 1, а вместо «Великобритания» — 2. Тогда линейная модель будет работать. Но, если поступить таким образом, будет утеряно свойство категориальности признака. Иными словами, модель будет пытаться сравнивать идентификаторы признаков между собой. Но они не сравнимы по значению.

Чтобы бороться с этой проблемой, был придуман способ преобразовать исходный признак в несколько новых, бинарных признаков. Например, можно признак «Страна» превратить в 4 новых бинарных признака следующим образом:

Для каждого из этих признаков линейная модель будет использовать независимый коэффициент и, таким образом, не будет сравнивать категориальные значения одного и того же признака между собой.

Заключение

Итак, мы имеем две группы методов предварительной обработки. Первая из них сфокусирована на исправлении ошибок данных. Конечно, ошибки можно не исправлять, а просто избавиться от объектов с ошибками. В некоторых случаях это будет даже лучше. Вторая группа методов сфокусирована на корректировке данных таким образом, чтобы известные модели работали лучше.

Спасибо, что дочитал или долистал до сюда. Я описал далеко не все способы предварительной обработки, да и эта статья вряд ли пригодится профессиональным data scientist-ам. Однако, если ты новичок и не знаешь что делать со своими данными, можешь смело сюда возвращаться. Удачи в обучении и интересных задач!

Список источников

Я не ученый и эта статья не претендует на звание научной. Поэтому и источники я не буду оформлять по ГОСТам. Прошу за это меня извинить.

Источник

Подготовка данных: кодирование категориальных признаков

В статье «особенности препроцессинга данных в scikit-learn» разбирались особенности кодирования признаков с помощью библиотеки scikit-learn. К сожалению, набор инструментов scikit-learn довольно скромный.

Часто данные содержат множественные категориальные признаки с разными представлениями категорий. В некоторых случаях категорий оказывается сравнительно много, по отношению к общему объему данных. Иногда значения в категориальных признаках имеют различные распределения, могут иметь как явный, так и неочевидный порядок. Все это не добавляет энтузиазма во время предварительной обработки.

К счастью, есть готовые решения, например библиотека Category Encoders (CE), предоставляющая широкий набор кодировщиков категориальных признаков.

Какие преимущества у CE

Наверное, самое основное — это полная совместимость с scikit-learn. Доступны методы fit, fit_transform, get_params, set_params и transform. На основе CE можно строить пайплайны в scikit-learn.

Поддержка numpy и pandas. Что важно — pandas dataframe можно получить и на выходе кодировщика. Иногда это весьма полезно, особенно когда нужно выполнить выборочное кодирование. Это позволяет не городить самодельный забор из кодировщиков, а использовать CE непосредственно в последовательном пайплайне scikit-learn.

Есть возможность задать маску для кодирования, т.е. сделать выборочное кодирование

Можно отбросить часть данных

Спроектированный кодировщик отлично портируется на рабочие данные.

Какие задачи можно решать с помощью CE

кодирование номинальных признаков (nominal) — признаки, порядок которых не определен (часто в табличных данных к таким признакам относятся распределения по цветам или по городам)

кодирование упорядоченных признаков (ordinal) — признаки, порядок которых можно считать определенным (например, распределение по яркости)

В CE можно кодировать бинарные признаки, упорядоченные по алфавиту или численному возрастанию признаки, а также географические, геометрические данные, данные о времени и другие структурированные данные. Единственное ограничение — решение не предоставляет собственного способа для создания масок для выборочного кодирования.

Что имеется в наборе CE

Contrast Coding

Данный тип кодирование разбивает признак на уровни (в каждом только значения, относящиеся к одной категории). Затем для каждого уровня вычисляется некоторая статистика. Например, вот так это делается в statsmodels. Метод подходит для кодирования номинальных и частично упорядоченных признаков.

В CE реализованы следующие кодеры:

Backward Difference Coding — сравнивается среднее для уровня со средним предыдущего уровня

Helmert Coding — сравнивается среднее для уровня со средним для всех последующих уровней. Больше подходит для номинальных переменных.

Sum Coding — сравнивается среднее для уровня со средним для всех остальных уровней

Polynomial Coding — используются линейные, квадратичные и кубические представления целевой категории. Подходит исключительно для упорядоченных признаков, интервалы между категориями которых одинаковы. Ну и довольно прожорлив по памяти.

Deviation Coding — более общий случай суммирующего кодирования, когда сравнение идет со всеми уровнями

Dummy Coding — сравнение со средним значением на уровне

Simple Coding — то же самое, что и Dummy Coding, только в качестве среднего принимается среднее всех значений фиксированного уровня

Reverse Helmet Coding

Forward Difference Coding

Target-based Coding

Для кодирования переменных используются сведения о разметке (цели) дата-сета. Тут надо знать следующие понятия: \(y\) общее число примеров, \(y^+\) число примеров, отнесенных к «положительному» классу, \(n\) число примеров на уровне, \(n^+\) число примеров уровня, отнесенных к положительному классу, \(\alpha\) регуляризирующий параметр, \(prior\) среднее значение цели. В CE реализованы:

M-estimate кодируется по формуле \(x^k = \frac + B * \frac\), где \(m = 1. 100\) — дополнительный гиперпараметр, регулирующий переобучение. По сути — упрощенный вариант Target Encoder. (На момент написания статьи кодировщик работает некорректно)

Альтернативой WOE является PRE (Probability Ratio Encoding). В этом случае для каждой метки вычисляется \(P(1)/P(0)\), т.е отношение вероятностей того, что объект размечен положительно и вероятность отрицательной разметки. Этим значением заменяется значение при кодировании. \(P(0)\) естественно ни при каких условиях не принимается равным 0. В CE метод не реализован.

Leave One Out (LOO) считается среднее цели для примера выбранной категории, для случая, когда пример удален из дата-сета.

Catboost Encoder улучшенный LOO (документация)

У всех target-based кодировщиков имеет место проблема риска переобучения, так как используются данные о разметке дата-сета. Два варианта решения — дополнительная регуляризация и двойная кросс-валидация. Кроме того LOO и Catboost Encoder работают плохо, если реальные данные имеют другую размерность, что приводит к сдвигу по отноешнию к данным, на которых производилось обучение.

Остальные кодировщики

В CE реализовано несколько базовых кодировщиков:

One Hot — аналог OnHotEncoder в scikit-learn или get_dummies в pandas

Ordinal только для упорядоченных признаков (обратите внимание при импорте, что класс в CE называется также, как OrdinalEncoder в scikit-learn)

Binary конвертит категории признака в бинарный код. Категории конвертятся в номера по порядку, затем номера кодируются на двоичной базе, а затем единицы и нули из полученых кодированных значений выносятся в новые признаки. По сути, \(n\) категорий переводятся в \(log_<2>n\) бинаризированных признаков. Это весьма значительно сокращает количество признаков на выходе по сравнению с One Hot и полезно, когда число кодируемых категорий значительно.

Base N комбинирует One Hot и Binary

Кроме того, реализован Hashing, позволяющий хешировать категории. Это аналог FeatureHasher (последний больше подходит для работы с текстом). Также походит для кодирования большого числа категорий, так как сокращает размерность на выходе по сравнению с One Hot.

Чего нет в CE

Не реализован Label Encoding. Можно воспользоваться factorize из pandas или LabelEncoder из sklearn или Ordinal, что то же самое. Не реализован Frequincy Encoding, когда категории кодируются в числовом виде в зависимости от частоты для признака в диапазоне [0, 1]. Кроме того, нет методов для кодирования признаков, которые явно упорядочены циклически, например, дат и времени. Ну и, естественно, нет методов для конструирования признаков, таких как разделение выражения на части и т.д. Все это придется написать самостоятельно или искать более специфическое решение.

Как использовать кодирование категориальных признаков

Есть множество разных рекомендаций. Все их можно свести к следующему:

Определить, относится ли вообще признак к категориальному и посчитать количество категорий.

Необходимо понять природу категориального признака, отнести его к номинальному или упорядоченному типу, установить циклические зависимости для категорий и другие особенности распределения категорий

Необходимо знать, к какому распределению данных лучше приспособлена обучаемая модель. Это позволит сразу выбрать наиболее оптимальный метод кодирования

Методы, использующие гиперпараметры, желательно сразу включить в цикл поиска оптимального решения.

Для частично упорядоченных признаков понять, можно ли соотнести категории с численными значениями, расположенными на эквивалентных интервалах. Если да, то стоит подумать о применении Ordinal Encoding. если нет, то можно попробовать один из методов контрастного кодирования. Если же количество категорий велико и есть проблемы с вычислительной сложностью по памяти, можно попробовать один из методов кодирования, сокращающий выходную размерность, например, хеширование. При этом надо помнить, что это может привести к потере данных.

Для неупорядоченных признаков можно использовать One Hot, если число категорий невелико. Большое количество категорий можно также бинаризировать или хешировать, если потеря части данных приемлема. Если нет, придется использовать один из методов target encoding. Необходимо помнить о переобучении и построить, при необходимости, двойную кросс-валидацию.

На практике, на мой взгляд, можно миксовать различные методы, попутно расширяя пространство признаков. Например, можно сконструировать новые признаки, применить относительно простые кодировщики к части исходных, а на выходе закодировать весь пул по цели. Пространство для экспериментов ограничено, как всегда, только по вычислительной сложности.

Дополнительные статьи по этой тематике: один, два

Источник

Категориальные данные

Дата публикации Jan 6, 2018

Введение

Мы рассмотрели различные стратегии проектирования элементов для работы со структурированными непрерывными числовыми данными впредыдущая статья в этой серии,В этой статье мы рассмотрим другой тип структурированных данных, который является дискретным по своей природе и обычно называется категориальными данными. Работа с числовыми данными часто проще, чем категориальные данные, поскольку нам не приходится сталкиваться с дополнительными сложностями семантики, относящейся к каждому значению категории в любом атрибуте данных, относящемся к категориальному типу. Мы будем использовать практический подход, чтобы обсудить несколько схем кодирования для работы с категориальными данными, а также пару популярных методов для работы с крупномасштабным взрывом объектов, часто называемым«Проклятие размерности»,

мотивация

Я уверен, что к настоящему времени вы должны понять мотивацию и важность разработки функций, мы подробно остановимся на том же‘Часть 1’из этой серии. Проверьте это для быстрого освежения в случае необходимости. Короче говоря, алгоритмы машинного обучения не могут работать напрямую с категориальными данными, и вам необходимо выполнить некоторое количество разработки и преобразования этих данных, прежде чем вы сможете начать моделирование ваших данных.

Понимание категориальных данных

Давайте разберемся с категориальным представлением данных, прежде чем углубляться в стратегии разработки функций. Как правило, любой атрибут данных, который по своей природе является категориальным, представляет собой дискретные значения, которые принадлежат конкретному конечному набору категорий или классов. Они также часто называются классами или метками в контексте атрибутов или переменных, которые должны быть предсказаны моделью (широко известной как переменные ответа). Эти дискретные значения могут иметь текстовую или числовую природу (или даже неструктурированные данные, такие как изображения!). Существует два основных класса категориальных данных: номинальные и порядковые.

В любом номинальном атрибуте категориальных данных отсутствует концепция упорядочения среди значений этого атрибута. Рассмотрим простой пример категорий погоды, как показано на следующем рисунке. Мы можем видеть, что у нас есть шесть основных классов или категорий в этом конкретном сценарии без какой-либо концепции или понятия порядка (ветреныйне всегда происходит раньшеСолнечныйне меньше и не большеСолнечный).

Точно так же жанры кино, музыки и видеоигр, названия стран, типы еды и кухни являются другими примерами номинальных категориальных атрибутов.

Порядковые категориальные атрибуты имеют некоторый смысл или понятие порядка среди своих значений. Например, посмотрите на следующий рисунок для размеров рубашки. Совершенно очевидно, что порядок или в этом случае‘размер’важно думать о рубашках (Sменьше чемMкоторый меньше чемLи так далее).

Размеры обуви, уровень образования и занятость являются некоторыми другими примерами порядковых категориальных атрибутов. Имея хорошее представление о категориальных данных, давайте теперь рассмотрим некоторые стратегии разработки функций.

Инженерия функций по категориальным данным

В то время как в различных системах машинного обучения был достигнут большой прогресс, он допускает сложные категориальные типы данных, такие как текстовые метки. Обычно любой стандартный рабочий процесс в проектировании функций включает в себя некоторую формупреобразованиеиз этих категориальных значений в числовые метки, а затем применяя некоторыесхема кодированияна эти значения. Мы загружаем необходимые предметы перед началом работы.

Преобразование Номинальных Атрибутов

Номинальные атрибуты состоят из дискретных категориальных значений без понятия или смысла порядка среди них. Идея здесь состоит в том, чтобы преобразовать эти атрибуты в более представительный числовой формат, который может быть легко понят нижестоящим кодом и конвейерами. Давайте посмотрим на новый набор данных, относящихся к продажам видеоигр. Этот набор данных также доступен наKaggleтак же как и в моемGitHub репозиторий.

Эти метки могут использоваться непосредственно часто, особенно с такими структурами, как scikit-learn если вы планируете использовать их в качестве переменных ответа для прогнозирования, однако, как уже говорилось ранее, нам потребуется дополнительный этап их кодирования, прежде чем мы сможем использовать их в качестве функций.

Преобразование Порядковых Атрибутов

Исходя из вышеприведенного вывода, мы можем видеть, что в общей сложности6поколения и каждый покемон, как правило, принадлежит к определенному поколению на основе видеоигр (когда они были выпущены), а также телесериал следует аналогичной временной шкале. Этот атрибут обычно порядковый (знание предметной области здесь необходимо), поскольку большинство покемонов, принадлежащих кПоколение 1были представлены ранее в видеоиграх и телевизионных шоу, чемПоколение 2как только. Поклонники могут проверить следующую фигуру, чтобы вспомнить некоторых популярных покемонов каждого поколения (мнения могут отличаться у разных фанатов!).

Следовательно, у них есть чувство порядка среди них. В общем, нет универсального модуля или функции для сопоставления и преобразования этих функций в числовые представления на основе автоматического порядка. Следовательно, мы можем использовать собственную схему кодирования \ отображения.

Из приведенного выше кода совершенно очевидно, что map(…) функция от pandas очень полезно в преобразовании этой порядковой особенности.

Кодирование категориальных атрибутов

Если вы помните, что мы упоминали ранее, обычно разработка функций для категориальных данных включает в себя процесс преобразования, который мы описали в предыдущем разделе, и процесс обязательного кодирования, где мы применяем конкретные схемы кодирования для создания фиктивных переменных или функций для каждой категории \ значения в определенной категориальный атрибут.

Вам может быть интересно, мы только что преобразовали категории в числовые метки в предыдущем разделе, зачем нам это сейчас нужно? Причина довольно проста. Учитывая жанры видеоигр, если мы напрямую кормили GenreLabel атрибут как функция в модели машинного обучения, он будет рассматривать его как непрерывное численное значение мышления признака10(Виды спорта) больше, чем6(гоночный) но это бессмысленно, потому чтоВиды спортажанр, конечно, не больше и не меньше, чемгоночныйэто принципиально разные значения или категории, которые нельзя сравнивать напрямую. Следовательно, нам нужен дополнительный уровень схем кодирования, где фиктивные объекты создаются для каждого уникального значения или категории из всех отдельных категорий для каждого атрибута.

Схема горячего кодирования

Учитывая, что у нас есть числовое представление любого категориального атрибута смметки (после преобразования), схема горячего кодирования, кодирует или преобразует атрибут вмдвоичные признаки, которые могут содержать только значение 1 или 0. Таким образом, каждое наблюдение в категориальном признаке преобразуется в вектор размерамтолько с одним из значений как1(указывая это как активный). Давайте возьмем подмножество нашего набора данных покемонов с двумя интересными атрибутами.

Атрибуты интереса покемонов Generation и их Legendary положение дел. Первым шагом являетсяпреобразованиеэти атрибуты в числовые представления на основе того, что мы узнали ранее.

Особенности Gen_Label а также Lgnd_Label Теперь изобразите числовые представления наших категориальных функций. Давайте теперь применим схему быстрого кодирования к этим функциям.

В общем, вы всегда можете кодировать обе функции вместе, используя fit_transform(…) функция, передав ему двумерный массив из двух объектов вместе (Проверьтедокументация!). Но мы кодируем каждую функцию в отдельности, чтобы было проще понять. Помимо этого, мы также можем создать отдельные фреймы данных и соответствующим образом пометить их. Давайте теперь объединим эти фреймы и посмотрим на конечный результат.

Таким образом, вы можете видеть, что6фиктивные переменные или двоичные объекты были созданы для Generation а также2для Legendary так как это общее количество различных категорий в каждом из этих атрибутов соответственно.активныйсостояние категории обозначается1значение в одной из этих фиктивных переменных, что вполне очевидно из приведенного выше фрейма данных.

Предположим, что вы построили эту схему кодирования на ваших тренировочных данных и создали некоторую модель, и теперь у вас есть некоторые новые данные, которые должны быть спроектированы для функций перед предсказаниями, как показано ниже.

Вы можете использовать scikit-learn’s отличный API здесь, позвонив transform(…) функция ранее построенной LabeLEncoder а также OneHotEncoder объекты на новые данные. Помните наш рабочий процесс, сначала мы делаемпреобразование,

Получив числовые метки, давайте применим схему кодирования сейчас!

Таким образом, вы можете легко применить эту схему к новым данным, используя scikit-learn’s мощный API.

Вышеупомянутый кадр данных изображает схему горячего кодирования, примененную к Generation атрибут и результаты такие же, как ожидалось, по сравнению с более ранними результатами.

Макетная схема кодирования

Если вы хотите, вы также можете отказаться от функции двоичного кодирования последнего уровня ( Gen 6 ) следующее.

Исходя из вышеприведенных рисунков, совершенно ясно, что категории, относящиеся к пропущенному элементу, представлены в виде вектора нулей (0)как мы обсуждали ранее.

Схема кодирования эффектов

Схема кодирования эффектов на самом деле очень похожа на схему фиктивного кодирования, за исключением того, что во время процесса кодирования кодированных признаков или вектора признаков для значений категорий, которые представляют все0в фиктивной схеме кодирования заменяется-1в схеме кодирования эффекта. Это станет понятнее со следующим примером.

Схема подсчета бинов

Схемы кодирования, которые мы обсуждали до сих пор, работают достаточно хорошо с категориальными данными в целом, но они начинают вызывать проблемы, когда число отдельных категорий в любой функции становится очень большим. Необходим для любой категориальноймотдельные ярлыки, вы получитемотдельные функции. Это может легко увеличить размер набора функций, вызывая такие проблемы, как хранение, проблемы с обучением модели в отношении времени, пространства и памяти. Помимо этого, мы также имеем дело с тем, что в народе называется«Проклятие размерности» где, в основном, с огромным количеством функций и недостаточно репрезентативными образцами, на производительность модели часто влияют перегрузки.

Схема хеширования функций

Схемы хеширования работают со строками, числами и другими структурами, такими как векторы. Вы можете думать о хэшированных выходных данных как о конечном наборебячейки, так что когда хеш-функция применяется к одним и тем же значениям \ категориям, они назначаются одному и тому же элементу (или подмножеству элементов) избкорзины на основе значения хеш-функции. Мы можем заранее определить значениебкоторый становится окончательным размером закодированного векторного признака для каждого категориального атрибута, который мы кодируем, используя схему хеширования признака.

Таким образом, даже если у нас есть более1000отдельные категории в функции, и мы устанавливаемб = 10в качестве окончательного размера вектора объектов выходной набор будет по-прежнему иметь только10особенности по сравнению с1000двоичные функции, если мы использовали схему горячего кодирования. Давайте рассмотрим Genre атрибут в нашем наборе данных видеоигр.

Мы видим, что в общей сложности существует 12 жанров видеоигр. Если мы использовали одну горячую схему кодирования на Genre особенность, у нас будет 12 бинарных функций. Вместо этого мы теперь будем использовать схему хеширования объектов, используя scikit-learn’s FeatureHasher класс, который использует 32-битную версию со знакомMurmurhash3хэш-функция Мы заранее определим окончательный размер векторного объекта6в этом случае.

Исходя из вышеприведенного вывода, Genre категориальный атрибут был закодирован с использованием схемы хеширования в6функции вместо12, Мы также можем видеть, что строки1а также6обозначить тот же жанр игр,Платформакоторые были правильно закодированы в один и тот же вектор признаков.

Вывод

Эти примеры должны дать вам хорошее представление о популярных стратегиях разработки функций для дискретных категориальных данных. Если вы читаетеЧасть 1из этой серии вы бы увидели, что работать с категориальными данными немного сложнее, чем с непрерывными числовыми данными, но, безусловно, интересно! Мы также говорили о некоторых способах обработки больших пространств пространственных объектов с помощью проектирования объектов, но вы также должны помнить, что существуют и другие методы, включаявыбор функцииа такжеуменьшение размерностиметоды для обработки больших пространств объектов. Мы рассмотрим некоторые из этих методов в следующей статье.

Далее будут представлены технические стратегии для неструктурированных текстовых данных. Следите за обновлениями!

Чтобы прочитать о стратегиях разработки функций для непрерывных числовых данных, ознакомьтесь сЧасть 1из этой серии!

Весь код и наборы данных, использованные в этой статье, доступны из моегоGitHub

Источник