классификация текста машинное обучение python

Машинное обучение, НЛП: классификация текста с использованием scikit-learn, python и NLTK.

Дата публикации Jul 23, 2017

Последнее обновление:
Я загрузил полный код (записную книжку Python и Jupyter) на GitHub:https://github.com/javedsha/text-classification

Классификация документа / текстаявляется одной из важных и типичных задач вконтролируемыйМашинное обучение (ML). Присвоение категорий документам, которые могут быть веб-страницей, библиотечной книгой, статьями для СМИ, галереей и т. Д., Имеет множество приложений, например, например. фильтрация спама, маршрутизация электронной почты, анализ настроений и т. д. В этой статье я хотел бы продемонстрировать, как мы можем выполнять классификацию текста с использованием python, scikit-learn и небольшого количества NLTK.

отказ:Я новичок в машинном обучении, а также в ведении блога (первый). Итак, если есть какие-либо ошибки, пожалуйста, дайте мне знать. Все отзывы приветствуются.

Давайте разделим проблему классификации на следующие шаги:

Шаг 1: Предварительные условия и настройка среды

Шаг 2:Загрузка набора данных в Jupyter.

Набор данных, который будет использоваться для этого примера, является известным набором данных «20 ​​Newsgoup». О данных из оригиналаВеб-сайт:

Набор данных 20 групп новостей представляет собой набор из примерно 20 000 документов групп новостей, равномерно распределенных (почти) по 20 различным группам новостей. Насколько мне известно, он был первоначально собран Кеном Лангом, вероятно, для егоNewsweeder: учимся фильтровать netnewsбумага, хотя он явно не упоминает эту коллекцию. Коллекция из 20 групп новостей стала популярным набором данных для экспериментов в текстовых приложениях методов машинного обучения, таких как классификация текста и кластеризация текста.

Этот набор данных встроен в Scikit, поэтому нам не нужно загружать его явно.

я. Откройте командную строку в Windows и введите «jupyter notebook». Это откроет записную книжку в браузере и начнет сеанс для вас.

III. Загрузка набора данных: (это может занять несколько минут, поэтому терпение)

Примечание: выше, мы загружаем толькоподготовкаданные. Мы загрузим тестовые данные отдельно позже в примере.

внутривенно Вы можете проверить целевые имена (категории) и некоторые файлы данных, выполнив следующие команды.

Шаг 3: Извлечение функций из текстовых файлов.

Текстовые файлы на самом деле представляют собой последовательность слов (упорядочены). Для запуска алгоритмов машинного обучения нам необходимо преобразовать текстовые файлы в числовые векторы функций. Мы будем использоватьмешок словмодель для нашего примера. Вкратце, мы разбиваем каждый текстовый файл на слова (для разбиения на английский по пробелам) и подсчитываем количество раз, которое каждое слово встречается в каждом документе, и, наконец, присваиваем каждому слову целочисленный идентификатор.Каждое уникальное слово в нашем словаре будет соответствовать функции (описательная функция).

Scikit-learn имеет высокоуровневый компонент, который создаст для нас векторы функций CountVectorizer. Подробнее об этомВот,

Здесь, делая ‘count_vect.fit_transform (twenty_train.data)’, Мы изучаем словарный словарь, и он возвращает матрицу Document-Term. [n_samples, n_features].

TF-IDF:Наконец, мы можем даже уменьшить вес более распространенных слов, таких как (есть, и т. Д.), Которые встречаются во всех документах. Это называетсяTF-IDF, т. Е. Термин «частота», умноженная на частоту обратного документа.

Мы можем добиться как с помощью строки кода ниже:

Шаг 4. Запуск алгоритмов ML.

Существуют различные алгоритмы, которые можно использовать для классификации текста. Начнем с самого простого ‘Наивный байесовский(NB) ’(не думаю, что это слишком наивно!😃)

Это обучит классификатор NB на данных обучения, которые мы предоставили

Строительство трубопровода:Мы можем написать меньше кода и выполнить все вышеперечисленное, построив конвейер следующим образом:

Имена «vect», «tfidf» и «clf» являются произвольными, но будут использоваться позже.

Производительность классификатора NB:Теперь мы проверим производительность классификатора NB натестовый набор,

Точность, которую мы получаем

Машины опорных векторов (SVM):Давайте попробуем использовать другой алгоритм SVM и посмотрим, сможем ли мы добиться большей производительности. Подробнее об этомВот,

Точность, которую мы получаем

82,38%.Да, немного лучше 👌

Шаг 5. Поиск по сетке

Почти все классификаторы будут иметь различные параметры, которые можно настраивать для получения оптимальной производительности. Scikit предоставляет чрезвычайно полезный инструмент «GridSearchCV».

Здесь мы создаем список параметров, для которых мы хотели бы выполнить настройку производительности. Все имена параметров начинаются с имени классификатора (запомните произвольное имя, которое мы дали). Например. vect__ngram_range; здесь мы советуем использовать униграмму и биграмму и выбрать тот, который оптимален.

Это может занять несколько минут, в зависимости от конфигурации машины.

Наконец, чтобы увидеть лучший средний балл и параметры, запустите следующий код:

Точность теперь увеличилась до

90,6%для классификатора NB(уже не так наивно! 😄) и соответствующие параметры: <‘clf__alpha’: 0.01, ‘tfidf__use_idf’: True, ‘vect__ngram_range’: (1, 2)>.

Точно так же мы получаем улучшенную точность

89,79%для классификатора SVM с кодом ниже.Примечание. Вы можете дополнительно оптимизировать классификатор SVM, настроив другие параметры. Это зависит от вас, чтобы узнать больше.

Шаг 6:Полезные советы и штрихи от НЛТК.

Это конвейер, который мы строим для классификатора NB. Запустите оставшиеся шаги, как раньше. Это повышает точность от77,38% до 81,69%(это слишком хорошо).Вы можете попробовать то же самое для SVM, а также во время поиска по сетке.

2.FitPrior = False:Когда установлено в false дляMultinomialNB, будет использоваться единый предварительный. Это не очень помогает, но увеличивает точность с 81,69% до 82,14% (незначительный прирост).Попробуйте и посмотрите, работает ли это для вашего набора данных.

Нам нужен NLTK, который можно установить сВот, НЛТК поставляется с различными стеммерами (подробности о том, как работают стеммеры, выходят за рамки данной статьи) который может помочь свести слова к их корневой форме. Снова используйте это, если это имеет смысл для вашей проблемы.

Ниже я использовал стеммер Snowball, который очень хорошо работает для английского языка.

Точность со стеммингом получается

81,67%. Маргинальное улучшение в нашем случае с классификатором NB. Вы также можете попробовать SVM и другие алгоритмы.

Вывод:Мы изучили классическую проблему в НЛП, текстовую классификацию. Мы узнали о важных понятиях, таких как пакет слов, TF-IDF и 2 важных алгоритма NB и SVM. Мы увидели, что для нашего набора данных оба алгоритма были почти одинаково согласованы при оптимизации.ИногдаЕсли у нас достаточно данных, выбор алгоритма вряд ли будет иметь какое-либо значение. Мы также увидели, как выполнять поиск по сетке для настройки производительности, и использовали подход NLTK. Вы можете использовать этот код в своем наборе данных и посмотреть, какие алгоритмы работают лучше для вас.

Обновить:Если кто-то попробует другой алгоритм, пожалуйста, поделитесь результатами в разделе комментариев, это будет полезно всем.

Пожалуйста, дайте мне знать, если были какие-либо ошибки, и отзывы приветствуются ✌️

Порекомендуйте, прокомментируйте, поделитесь, если вам понравилась эта статья.

Источник

Обзор методов классификации в машинном обучении с помощью Scikit-Learn

Авторизуйтесь

Обзор методов классификации в машинном обучении с помощью Scikit-Learn

Для машинного обучения на Python написано очень много библиотек. Сегодня мы рассмотрим одну из самых популярных — Scikit-Learn.

Scikit-Learn упрощает процесс создания классификатора и помогает более чётко выделить концепции машинного обучения, реализуя их с помощью понятной, хорошо документированной и надёжной библиотекой.

Что такое Scikit-Learn?

Scikit-Learn — это Python-библиотека, впервые разработанная David Cournapeau в 2007 году. В этой библиотеке находится большое количество алгоритмов для задач, связанных с классификацией и машинным обучением в целом.

Scikit-Learn базируется на библиотеке SciPy, которую нужно установить перед началом работы.

Основные термины

В системах машинного обучения или же системах нейросетей существуют входы и выходы. То, что подаётся на входы, принято называть признаками (англ. features).

3–5 декабря, Онлайн, Беcплатно

Признаки по существу являются тем же, что и переменные в научном эксперименте — они характеризуют какой-либо наблюдаемый феномен и их можно как-то количественно измерить.

Когда признаки подаются на входы системы машинного обучения, эта система пытается найти совпадения, заметить закономерность между признаками. На выходе генерируется результат этой работы.

Этот результат принято называть меткой (англ. label), поскольку у выходов есть некая пометка, выданная им системой, т. е. предположение (прогноз) о том, в какую категорию попадает выход после классификации.

В контексте машинного обучения классификация относится к обучению с учителем. Такой тип обучения подразумевает, что данные, подаваемые на входы системы, уже помечены, а важная часть признаков уже разделена на отдельные категории или классы. Поэтому сеть уже знает, какая часть входов важна, а какую часть можно самостоятельно проверить. Пример классификации — сортировка различных растений на группы, например «папоротники» и «покрытосеменные». Подобная задача может быть выполнена с помощью Дерева Решений — одного из типов классификатора в Scikit-Learn.

При обучении без учителя в систему подаются непомеченные данные, и она должна попытаться сама разделить эти данные на категории. Так как классификация относится к типу обучения с учителем, способ обучения без учителя в этой статье рассматриваться не будет.

Процесс обучения модели — это подача данных для нейросети, которая в результате должна вывести определённые шаблоны для данных. В процессе обучения модели с учителем на вход подаются признаки и метки, а при прогнозировании на вход классификатора подаются только признаки.

Принимаемые сетью данные делятся на две группы: набор данных для обучения и набор для тестирования. Не стоит проверять сеть на том же наборе данных, на которых она обучалась, т. к. модель уже будет «заточена» под этот набор.

Типы классификаторов

Scikit-Learn даёт доступ ко множеству различных алгоритмов классификации. Вот основные из них:

На сайте Scikit-Learn есть много литературы на тему этих алгоритмов с кратким пояснением работы каждого из них.

Метод k-ближайших соседей (K-Nearest Neighbors)

Этот метод работает с помощью поиска кратчайшей дистанции между тестируемым объектом и ближайшими к нему классифицированным объектами из обучающего набора. Классифицируемый объект будет относится к тому классу, к которому принадлежит ближайший объект набора.

Классификатор дерева решений (Decision Tree Classifier)

Этот классификатор разбивает данные на всё меньшие и меньшие подмножества на основе разных критериев, т. е. у каждого подмножества своя сортирующая категория. С каждым разделением количество объектов определённого критерия уменьшается.

Классификация подойдёт к концу, когда сеть дойдёт до подмножества только с одним объектом. Если объединить несколько подобных деревьев решений, то получится так называемый Случайный Лес (англ. Random Forest).

Наивный байесовский классификатор (Naive Bayes)

Такой классификатор вычисляет вероятность принадлежности объекта к какому-то классу. Эта вероятность вычисляется из шанса, что какое-то событие произойдёт, с опорой на уже на произошедшие события.

Каждый параметр классифицируемого объекта считается независимым от других параметров.

Линейный дискриминантный анализ (Linear Discriminant Analysis)

Этот метод работает путём уменьшения размерности набора данных, проецируя все точки данных на линию. Потом он комбинирует эти точки в классы, базируясь на их расстоянии от центральной точки.

Этот метод, как можно уже догадаться, относится к линейным алгоритмам классификации, т. е. он хорошо подходит для данных с линейной зависимостью.

Метод опорных векторов (Support Vector Machines)

Работа метода опорных векторов заключается в рисовании линии между разными кластерами точек, которые нужно сгруппировать в классы. С одной стороны линии будут точки, принадлежащие одному классу, с другой стороны — к другому классу.

Классификатор будет пытаться увеличить расстояние между рисуемыми линиями и точками на разных сторонах, чтобы увеличить свою «уверенность» определения класса. Когда все точки построены, сторона, на которую они падают — это класс, которому эти точки принадлежат.

Логистическая регрессия (Logistic Regression)

У каждого признака есть своя метка, равная только 0 или только 1. Логистическая регрессия является линейным классификатором и поэтому используется, когда в данных прослеживается какая-то линейная зависимость.

Примеры задач классификации

Задача классификации — эта любая задача, где нужно определить тип объекта из двух и более существующих классов. Такие задачи могут быть разными: определение, кошка на изображении или собака, или определение качества вина на основе его кислотности и содержания алкоголя.

В зависимости от задачи классификации вы будете использовать разные типы классификаторов. Например, если классификация содержит какую-то бинарную логику, то к ней лучше всего подойдёт логистическая регрессия.

По мере накопления опыта вам будет проще выбирать подходящий тип классификатора. Однако хорошей практикой является реализация нескольких подходящих классификаторов и выбор наиболее оптимального и производительного.

Реализация классификатора

Первый шаг в реализации классификатора — его импорт в Python. Вот как это выглядит для логистической регрессии:

Вот импорты остальных классификаторов, рассмотренных выше:

Однако, это не все классификаторы, которые есть в Scikit-Learn. Про остальные можно прочитать на соответствующей странице в документации.

После этого нужно создать экземпляр классификатора. Сделать это можно создав переменную и вызвав функцию, связанную с классификатором.

Теперь классификатор нужно обучить. Перед этим нужно «подогнать» его под тренировочные данные.

Обучающие признаки и метки помещаются в классификатор через функцию fit :

Эти этапы (создание экземпляра, обучение и классификация) являются основными при работе с классификаторами в Scikit-Learn. Но эта библиотека может управлять не только классификаторами, но и самими данными. Чтобы разобраться в том, как данные и классификатор работают вместе над задачей классификации, нужно разобраться в процессах машинного обучения в целом.

Процесс машинного обучения

Процесс содержит в себе следующие этапы: подготовка данных, создание обучающих наборов, создание классификатора, обучение классификатора, составление прогнозов, оценка производительности классификатора и настройка параметров.

Во-первых, нужно подготовить набор данных для классификатора — преобразовать данные в корректную для классификации форму и обработать любые аномалии в этих данных. Отсутствие значений в данных либо любые другие отклонения — все их нужно обработать, иначе они могут негативно влиять на производительность классификатора. Этот этап называется предварительной обработкой данных (англ. data preprocessing).

Следующим шагом будет разделение данных на обучающие и тестовые наборы. Для этого в Scikit-Learn существует отличная функция traintestsplit.

Как уже было сказано выше, классификатор должен быть создан и обучен на тренировочном наборе данных. После этих шагов модель уже может делать прогнозы. Сравнивая показания классификатора с фактически известными данными, можно делать вывод о точности классификатора.

Вероятнее всего, вам нужно будет «корректировать» параметры классификатора, пока вы не достигните желаемой точности (т. к. маловероятно, что классификатор будет соответствовать всем вашим требованиям с первого же запуска).

Ниже будет представлен пример работы машинного обучения от обработки данных и до оценки.

Реализация образца классификации

Поскольку набор данных iris достаточно распространён, в Scikit-Learn он уже присутствует, достаточно лишь заложить эту команду:

Тем не менее, тут ещё нужно подгрузить CSV-файл, который можно скачать здесь.

Благодаря тому, что данные уже были подготовлены, долгой предварительной обработки они не требуют. Единственное, что может понадобиться — убрать ненужные столбцы (например ID ) таким образом:

Теперь нужно определить признаки и метки. С библиотекой Pandas можно легко «нарезать» таблицу и выбрать определённые строки/столбцы с помощью функции iloc() :

Код выше выбирает каждую строку и столбец, обрезав при этом последний столбец.

Выбрать признаки интересующего вас набора данных можно также передав в скобках заголовки столбцов:

После того, как вы выбрали нужные признаки и метки, их можно разделить на тренировочные и тестовые наборы, используя функцию train_test_split() :

Чтобы убедиться в правильности обработки данных, используйте:

Теперь можно создавать экземпляр классификатора, например метод опорных векторов и метод k-ближайших соседей:

Теперь нужно обучить эти два классификатора:

Эти команды обучили модели и теперь классификаторы могут делать прогнозы и сохранять результат в какую-либо переменную.

Теперь пришло время оценить точности классификатора. Существует несколько способов это сделать.

Нужно передать показания прогноза относительно фактически верных меток, значения которых были сохранены ранее.

Вот, к примеру, результат полученных метрик:

Поначалу кажется, что KNN работает точнее. Вот матрица неточностей для SVC:

Количество правильных прогнозов идёт с верхнего левого угла в нижний правый. Вот для сравнения метрики классификации для KNN:

Оценка классификатора

Когда дело доходит до оценки точности классификатора, есть несколько вариантов.

Точность классификации

Точность классификации измерять проще всего, и поэтому этот параметр чаще всего используется. Значение точности — это число правильных прогнозов, делённое на число всех прогнозов или, проще говоря, отношение правильных прогнозов ко всем.

Хоть этот показатель и может быстро дать вам явное представление о производительности классификатора, его лучше использовать, когда каждый класс имеет хотя бы примерно одинаковое количество примеров. Так как такое будет случаться редко, рекомендуется использовать другие показатели классификации.

Логарифмические потери

Значение Логарифмических Потерь (англ. Logarithmic Loss) — или просто логлосс — показывает, насколько классификатор «уверен» в своём прогнозе. Логлосс возвращает вероятность принадлежности объекта к тому или иному классу, суммируя их, чтобы дать общее представление об «уверенности» классификатора.

Этот показатель лежит в промежутке от 0 до 1 — «совсем не уверен» и «полностью уверен» соответственно. Логлосс сильно падает, когда классификатор сильно «уверен» в неправильном ответе.

Площадь ROC-кривой (AUC)

Такой показатель используется только при бинарной классификации. Площадь под ROC-кривой представляет способность классификатора различать подходящие и не подходящие какому-либо классу объекты.

Значение 1.0 : вся область, попадающая под кривую, представляет собой идеальный классификатор. Следовательно, 0.5 означает, что точность классификатора соответствует случайности. Кривая рассчитывается с учётом точности и специфичности модели. Подробнее о расчётах можно прочитать здесь.

Матрица неточностей

Матрица неточностей (англ. Confusion Matrix) — это таблица или диаграмма, показывающая точность прогнозирования классификатора в отношении двух и более классов. Прогнозы классификатора находятся на оси X, а результат (точность) — на оси Y.

Ячейки таблицы заполняются количеством прогнозов классификатора. Правильные прогнозы идут по диагонали от верхнего левого угла в нижний правый. Про это можно почитать в данной статье.

Отчёт о классификации

В библиотеке Scikit-Learn уже встроена возможность создавать отчёты о производительности классификатора. Эти отчёты дают интуитивно понятное представление о работе модели.

Заключение

Чтобы лучше вникнуть в работу с Scikit-Learn, неплохо было бы узнать больше о работе различных методов классификации. После этого стоит лучше узнать о замере производительности классификаторов. Однако понимание многих нюансов в классификации приходит только со временем.

Источник

Практическая классификация текста с использованием Python и Keras

Перевод статьи Оглавление Выбор набора данных Определение базовой модели Учебник по (глубоким) нейронным сетям Представляем Keras Установка Кеras Ваша первая…

Представьте, что вы можете узнать настроение людей в Интернете. Может быть, вы не заинтересованы во всей его полноте, но только если люди сегодня счастливы на вашей любимой социальной сети. После этого урока вы будете готовы сделать это. Делая это, вы получите представление о текущих достижениях (глубоких) нейронных сетей и о том, как их можно применять к тексту.

Выбор набора данных

Прежде чем мы начнем, давайте посмотрим, какие данные у нас есть. Загрузите набор данных из набора данных Sentiment Labeled Sentences из репозитория машинного обучения UCI.

Кстати, этот репозиторий является прекрасным источником для наборов данных машинного обучения, когда вы хотите опробовать некоторые алгоритмы. Этот набор данных включает помеченные отзывы от IMDb, Amazon и Yelp. Каждый отзыв отмечен 0 баллами за негативное настроение или 1 баллом за позитивное настроение.

Извлеките папку в data папку и продолжайте загружать данные с помощью Pandas :

Результат будет следующим:

Это выглядит правильно. С помощью этого набора данных вы можете обучать модель прогнозированию настроения предложения. Уделите немного времени тому, чтобы подумать о том, как поступить с прогнозированием данных.

Один из способов сделать это – подсчитать частоту каждого слова в каждом предложении и связать этот счет со всем набором слов в наборе данных. Вы начинаете с того, что берете данные и создаете словарь из всех слов во всех предложениях. Коллекция текстов также называется корпусом в НЛП.

Давайте быстро проиллюстрируем это. Представьте, что у вас есть следующие два предложения:>>>

Затем вы можете использовать CountVectorizer предоставленную библиотеку scikit-learn для векторизации предложений. Он берет слова каждого предложения и создает словарь всех уникальных слов в предложениях. Этот словарь можно затем использовать для создания вектора признаков количества слов:>>>

Этот словарь также служит указателем каждого слова. Теперь вы можете взять каждое предложение и получить слова вхождения слов на основе предыдущего словаря. Словарь состоит из всех пяти слов в наших предложениях, каждое из которых представляет одно слово в словаре. Когда вы возьмете предыдущие два предложения и преобразуете их с помощью, CountVectorizer вы получите вектор, представляющий счетчик каждого слова в предложении:>>>

Определение базовой модели

Когда вы работаете с машинным обучением, одним из важных шагов является определение базовой модели. Обычно это простая модель, которая затем используется для сравнения с более продвинутыми моделями, которые вы хотите протестировать. В этом случае вы будете использовать базовую модель, чтобы сравнить ее с более продвинутыми методами, включающими (глубокие) нейронные сети, мясо и картофель этого учебника.

Во-первых, вы собираетесь разбить данные на набор для обучения и тестирования, который позволит вам оценить точность и посмотреть, хорошо ли обобщается ваша модель. Это означает, может ли модель хорошо работать с данными, которые она не видела ранее. Это способ проверить, подходит ли модель.

Переоснащение – это когда модель слишком хорошо обучена на данных обучения. Вы хотите избежать переоснащения, так как это будет означать, что модель в основном запоминает тренировочные данные. Это объясняет большую точность данных обучения, но низкую точность данных тестирования.

Здесь мы снова будем использовать предыдущую модель BOW для векторизации предложений. Вы можете использовать снова CountVectorizer для этой задачи. Поскольку у вас могут отсутствовать данные тестирования во время обучения, вы можете создать словарь, используя только данные обучения. Используя этот словарь, вы можете создать векторы функций для каждого предложения набора обучения и тестирования:>>>

CountVectorizer выполняет токенизацию, которая разделяет предложения на набор токенов, как вы видели ранее в словаре. Он дополнительно удаляет знаки препинания и специальные символы и может применять другую предварительную обработку к каждому слову. Если вы хотите, вы можете использовать собственный токенайзер из библиотеки NLTK с CountVectorizer или использовать любое количество настроек, которые вы можете изучить, чтобы улучшить производительность вашей модели.

Модель классификации, которую мы собираемся использовать, – это логистическая регрессия, которая представляет собой простую, но мощную линейную модель, которая математически фактически представляет собой форму регрессии между 0 и 1 на основе вектора входных признаков. Задав предельное значение (по умолчанию 0,5), регрессионная модель используется для классификации. Вы можете снова использовать библиотеку scikit-learn, которая предоставляет LogisticRegression классификатор:>>>

Вы можете видеть, что логистическая регрессия достигла впечатляющих 79,6%, но давайте посмотрим, как эта модель работает на других наборах данных, которые мы имеем. В этом сценарии мы выполняем и оцениваем весь процесс для каждого набора данных:

Большой! Вы можете видеть, что эта довольно простая модель достигает довольно хорошей точности. Было бы интересно посмотреть, сможем ли мы превзойти эту модель. В следующей части мы познакомимся с (глубокими) нейронными сетями и с тем, как применять их для классификации текста.

Учебник по (глубоким) нейронным сетям

Возможно, вы испытали некоторое волнение и страх, связанные с искусственным интеллектом и глубоким обучением. Возможно, вы наткнулись на какую-то сбивающую с толку статью или обеспокоенный разговор TED о приближающейся сингулярности, или, может быть, вы увидели роботов с обратным поворотом, и вам интересно, кажется ли жизнь в лесу разумной в конце концов.

Проще говоря, все исследователи ИИ согласились, что они не согласны друг с другом, когда ИИ превысит показатели человеческого уровня. Согласно этой статье у нас еще должно быть время.

Так что, возможно, вам уже любопытно, как работают нейронные сети. Если вы уже знакомы с нейронными сетями, не стесняйтесь переходить к частям, связанным с Keras. Кроме того, есть замечательная книга глубокого обучения Иана Гудфеллоу, которую я очень рекомендую, если вы хотите углубиться в математику. Вы можете прочитать всю книгу онлайн бесплатно. В этом разделе вы получите обзор нейронных сетей и их внутренней работы, а позже вы увидите, как использовать нейронные сети с выдающейся библиотекой Keras.

С тех пор нейронные сети перешли в несколько областей, включая классификацию, регрессию и даже генеративные модели. Наиболее распространенные области включают компьютерное зрение, распознавание голоса и обработку естественного языка (NLP).

Нейронные сети, или иногда называемые искусственной нейронной сетью (ANN) или нейронной сетью с прямой связью, являются вычислительными сетями, которые были смутно вдохновлены нейронными сетями человеческого мозга. Они состоят из нейронов (также называемых узлами), которые связаны, как показано на графике ниже.

Вы начинаете с наличия слоя входных нейронов, в который вы вводите векторы объектов, а затем значения передаются в скрытый слой. При каждом соединении вы передаете значение вперед, в то время как значение умножается на вес и смещение добавляется к значению. Это происходит при каждом соединении, и в конце вы получаете выходной слой с одним или несколькими выходными узлами.

Если вы хотите иметь двоичную классификацию, вы можете использовать один узел, но если у вас есть несколько категорий, вы должны использовать несколько узлов для каждой категории:

Модель нейронной сети

Вы можете иметь столько скрытых слоев, сколько пожелаете. Фактически, нейронная сеть с более чем одним скрытым слоем считается глубокой нейронной сетью. Не волнуйтесь: я не буду вдаваться в математические глубины, касающиеся нейронных сетей. Но если вы хотите получить интуитивно понятное визуальное представление о математике, вы можете просмотреть плейлист YouTube Гранта Сандерсона. Формула от одного слоя к следующему – это короткое уравнение:

Формула нейронной сети

Что вам нужно знать, так это то, что существуют различные методы оптимизации, которые вы можете использовать, но самый распространенный оптимизатор, используемый в настоящее время, называется Adam, который имеет хорошую производительность в различных задачах.

Вы также можете использовать различные функции потерь, но в этом руководстве вам понадобится только функция кросс-энтропийной потери или, более конкретно, бинарная кросс-энтропия, которая используется для задач двоичной классификации. Обязательно поэкспериментируйте с различными доступными методами и инструментами. Некоторые исследователи даже утверждают в недавней статье, что выбор лучших методов выполнения граничит с алхимией. Причина в том, что многие методы недостаточно хорошо объяснены и состоят из множества настроек и тестов.

Представляем Keras

Keras – это API глубокого обучения и нейронных сетей от Франсуа Шоле, который может работать поверх Tensorflow (Google), Theano или CNTK (Microsoft). Процитирую замечательную книгу Франсуа Шоле « Глубокое обучение с Python» :

Keras – это библиотека уровня моделей, предоставляющая строительные блоки высокого уровня для разработки моделей глубокого обучения. Он не обрабатывает низкоуровневые операции, такие как тензорные манипуляции и дифференцирование. Вместо этого для этого он использует специализированную, хорошо оптимизированную тензорную библиотеку, выступающую в качестве внутреннего механизма Keras ( Source ).

Это отличный способ начать экспериментировать с нейронными сетями без необходимости реализовывать каждый слой самостоятельно. Например, Tensorflow – отличная библиотека для машинного обучения, но вам нужно реализовать много стандартного кода, чтобы модель работала.

Установка Кераса

Вы можете выбрать серверную часть, которую хотите иметь, открыв файл конфигурации Keras, который вы можете найти здесь:

Вы можете заметить, что мы используем float32 данные в файле конфигурации. Причина этого заключается в том, что нейронные сети часто используются в графических процессорах, а вычислительным узким местом является память. Используя 32 бит, мы можем уменьшить нагрузку на память и не теряем слишком много информации в процессе.

Ваша первая модель Keras

Теперь вы, наконец, готовы экспериментировать с Керасом. Keras поддерживает два основных типа моделей. У вас есть API последовательной модели, который вы увидите в этом учебном пособии, и функциональный API, который может выполнять все из последовательной модели, но его также можно использовать для расширенных моделей со сложной сетевой архитектурой.

Последовательная модель представляет собой линейный стек слоев, где вы можете использовать большое разнообразие доступных слоев в Keras. Самый распространенный слой – это Плотный слой, который является вашим обычным плотно связанным нейросетевым слоем со всеми весами и уклонами, с которыми вы уже знакомы.

Перед тем, как построить нашу модель, нам нужно знать входное измерение векторов объектов. Это происходит только в первом слое, поскольку следующие слои могут делать автоматический вывод формы. Чтобы построить последовательную модель, вы можете добавлять слои один за другим в следующем порядке:>>>

Вы можете заметить, что у нас есть 8575 параметров для первого слоя и еще 6 в следующем. Откуда они взялись?

Видите, у нас есть 1714 измерений для каждого вектора объектов, а затем у нас есть 5 узлов. Нам нужны весовые коэффициенты для каждого измерения объекта и каждого узла, который учитывает 1714 * 5 = 8570 параметры, а затем у нас есть еще 5-кратное добавленное смещение для каждого узла, что дает нам 8575 параметров. В последнем узле у нас есть еще 5 весов и одно смещение, что приводит нас к 6 параметрам.

Вы уже можете видеть, что модель была переоснащена, так как она достигла 100% точности для тренировочного набора. Но это было ожидаемо, так как количество эпох было достаточно большим для этой модели. Тем не менее, точность испытательного комплекта уже превзошла нашу предыдущую логистическую регрессию с моделью BOW, что является большим шагом вперед с точки зрения нашего прогресса.

Чтобы использовать эту функцию, просто вызовите plot_history() с собранной точностью и потерями внутри history словаря:>>>

Точность и потеря для базовой модели

Вы можете видеть, что мы тренировали нашу модель слишком долго, так как тренировочный набор достиг 100% точности. Хороший способ увидеть, когда модель начинает переоснащение, – это когда потери данных проверки снова начинают расти. Это хороший момент, чтобы остановить модель. Вы можете увидеть это около 20-40 эпох в этом тренинге.

Примечание. При обучении нейронных сетей следует использовать отдельный набор для тестирования и проверки. Обычно вы берете модель с наивысшей точностью проверки и затем тестируете модель с набором для тестирования.

Это гарантирует, что вы не надеваете модель. Использование набора проверки для выбора наилучшей модели – это форма утечки данных (или «мошенничество»), позволяющая выбрать результат, который дал лучший результат теста из сотен из них. Утечка данных происходит, когда в модели используется информация вне обучающего набора данных.

В этом случае наш набор для тестирования и проверки идентичен, поскольку у нас меньший размер выборки. Как мы уже говорили ранее, (глубокие) нейронные сети работают лучше всего, когда у вас очень большое количество выборок. В следующей части вы увидите другой способ представления слов как векторов. Это очень интересный и мощный способ работы со словами, где вы увидите, как представлять слова в виде плотных векторов.

Что такое вложение слова?

Текст считается формой данных последовательности, аналогичной данным временного ряда, которые вы бы имели в данных о погоде или финансовых данных. В предыдущей модели BOW вы видели, как представлять целую последовательность слов в виде одного вектора признаков. Теперь вы увидите, как представлять каждое слово как вектор. Существуют различные способы векторизации текста, такие как:

В этом уроке вы увидите, как работать с представлением слов в качестве векторов, что является распространенным способом использования текста в нейронных сетях. Два возможных способа представления слова в виде вектора – однократное кодирование и встраивание слова.

One-Hot Кодирование

Первый способ представления слова в виде вектора – создание так называемого однократного кодирования, которое просто выполняется путем взятия вектора длины словаря с записью для каждого слова в корпусе.

Таким образом, у вас есть для каждого слова, если оно имеет место в словаре, вектор с нулями везде, кроме соответствующего места для слова, которое установлено в единицу. Как вы можете себе представить, это может стать довольно большим вектором для каждого слова, и оно не дает никакой дополнительной информации, такой как связь между словами.

Допустим, у вас есть список городов, как в следующем примере:>>>

Вы можете использовать scikit-learn и the LabelEncoder для кодирования списка городов в категориальные целочисленные значения, как здесь:>>>

Используя это представление, вы можете использовать OneHotEncoder предоставляемый scikit-learn для кодирования категориальных значений, которые мы получили ранее, в числовой массив с горячим кодированием. OneHotEncoder ожидает, что каждое категориальное значение будет находиться в отдельной строке, поэтому вам нужно изменить форму массива, после чего вы можете применить кодировщик:>>>

Вложения слов

Этот метод представляет слова в виде плотных векторов слов (также называемых встраиваниями слов), которые обучаются в отличие от однократного кодирования, которое жестко закодировано. Это означает, что вложения слова собирают больше информации в меньшее количество измерений.

Как вы можете получить такое вложение слова? У вас есть два варианта для этого. Одним из способов является обучение ваших встраиваний слов во время обучения вашей нейронной сети. Другой способ заключается в использовании предварительно обученных вложений слов, которые вы можете напрямую использовать в своей модели. Там у вас есть возможность либо оставить эти вложения слов без изменений во время обучения, либо вы также тренируете их.

Теперь вам нужно токенизировать данные в формате, который может использоваться встраиванием слов. Keras предлагает несколько удобных методов для предварительной обработки текста и последовательности, которые вы можете использовать для подготовки текста.

Неизвестные слова (слова, которых нет в словаре) обозначаются в керасе, word_count + 1 поскольку они также могут содержать некоторую информацию. Вы можете увидеть индекс каждого слова, взглянув на word_index словарь Tokenizer объекта:>>>

Одна проблема, которая у нас есть, состоит в том, что каждая текстовая последовательность в большинстве случаев имеет разную длину слов. Чтобы противостоять этому, вы можете использовать, pad_sequence() который просто дополняет последовательность слов нулями. По умолчанию он добавляет нули, но мы хотим добавить их. Как правило, не имеет значения, добавляете ли вы нули или дополняете их.

Кроме того, вы хотели бы добавить maxlen параметр, чтобы указать, как долго должны быть последовательности. Это сокращает последовательности, которые превышают это число. В следующем коде вы можете увидеть, как дополнять последовательности с помощью Keras:>>>

Первые значения представляют индекс в словаре, как вы узнали из предыдущих примеров. Вы также можете видеть, что результирующий вектор объектов содержит в основном нули, поскольку у вас есть довольно короткое предложение. В следующей части вы узнаете, как работать с вложениями слов в Keras.

Слой встраивания Keras

Обратите внимание, что на данный момент наши данные все еще жестко закодированы. Мы не говорили Keras изучать новое пространство для встраивания с помощью последовательных задач. Теперь вы можете использовать слой вложения Keras, который берет предварительно вычисленные целые числа и отображает их в плотный вектор вложения. Вам понадобятся следующие параметры:

Со Embedding слоем у нас теперь есть пара вариантов. Одним из способов было бы взять вывод встроенного слоя и подключить его к Dense слою. Чтобы сделать это, вы должны добавить Flatten слой между ними, который подготавливает последовательный ввод для Dense слоя:

Результат будет следующим:

Результат будет следующим:

Точность и потеря для первой модели

Как правило, это не очень надежный способ работы с последовательными данными, как вы можете видеть в производительности. При работе с последовательными данными вы хотите сосредоточиться на методах, которые обращаются к локальной и последовательной информации, а не к абсолютной позиционной информации.

Другим способом работы с вложениями является использованием MaxPooling1D / AveragePooling1D или GlobalMaxPooling1D / GlobalAveragePooling1D слоя после того, как вложения. Вы можете думать о пулах как способ уменьшить выборку (способ уменьшить размер) входящих векторов объектов.

В случае максимального пула вы берете максимальное значение всех объектов в пуле для каждого измерения объекта. В случае среднего пула вы берете среднее, но максимальный пул, кажется, используется чаще, так как он выделяет большие значения.

Глобальное максимальное / среднее объединение занимает максимальное / среднее значение для всех функций, тогда как в другом случае вы должны определить размер пула. У Keras снова есть собственный слой, который вы можете добавить в последовательную модель:

Результат будет следующим:

Порядок обучения не меняется:

Результат будет следующим:

Точность и потеря для максимальной модели пула

Вы уже можете увидеть некоторые улучшения в наших моделях. Далее вы увидите, как мы можем использовать предварительно подготовленные вложения слов и помогают ли они нам в нашей модели.

Использование встроенных слов

Мы только что видели пример совместного изучения встраивания слов, включенного в более крупную модель, которую мы хотим решить.

Альтернатива состоит в том, чтобы использовать предварительно вычисленное пространство внедрения, которое использует намного больший корпус. Можно заранее вычислить вложение слов, просто обучив их на большом корпусе текста. Среди наиболее популярных методов – Word2Vec, разработанный Google, и GloVe (Global Векторы для представления слов), разработанный Stanford NLP Group.

Обратите внимание, что это разные подходы с одной и той же целью. Word2Vec достигает этого, используя нейронные сети, а GloVe достигает этого с помощью матрицы совместного использования и с использованием факторизации матрицы. В обоих случаях вы имеете дело с уменьшением размерности, но Word2Vec более точен, а GloVe быстрее вычисляется.

В этом руководстве вы узнаете, как работать с вложениями слов GloVe из Stanford NLP Group, поскольку их размер более управляем, чем вложения слов Word2Vec, предоставляемые Google. Идите и загрузите отсюда 6B (обучено 6 миллиардам слов) встраивания слов (822 MB).

Теперь, когда мы вас охватили, вы можете начать использовать встраивание слов в ваших моделях. В следующем примере вы можете увидеть, как вы можете загрузить матрицу встраивания. Каждая строка в файле начинается со слова и сопровождается вектором внедрения для конкретного слова.

Это большой файл с 400000 строками, каждая строка которого представляет слово, за которым следует вектор в виде потока с плавающей точкой. Например, вот первые 50 символов первой строки:

Поскольку вам не нужны все слова, вы можете сосредоточиться только на тех словах, которые есть в нашем словаре. Поскольку у нас в словаре ограниченное количество слов, мы можем пропустить большинство из 40000 слов во встроенных словах:

Вы можете использовать эту функцию сейчас, чтобы получить матрицу встраивания:>>>

Чудесно! Теперь вы готовы использовать матрицу встраивания в обучении. Давайте продолжим и используем предыдущую сеть с глобальным максимальным пулом и посмотрим, сможем ли мы улучшить эту модель. Когда вы используете предварительно обученные встраивания слов, у вас есть выбор: разрешить обновление встраивания во время обучения или использовать только получившиеся векторы встраивания в том виде, как они есть.

Во-первых, давайте кратко рассмотрим, сколько векторов внедрения отличны от нуля:>>>

Это означает, что 95,1% словарного запаса покрыто предварительно обученной моделью, которая является хорошим охватом нашего словарного запаса. Давайте посмотрим на производительность при использовании GlobalMaxPool1D слоя:

Результат будет следующим:

Результат будет следующим:

Точность и потеря для нетренированных вложений в слова

Поскольку вложения слова дополнительно не обучаются, ожидается, что они будут ниже. Но давайте теперь посмотрим, как это работает, если мы позволим обучить внедрению с помощью trainable=True :

Результат будет следующим:

Результат будет следующим:

Точность и потеря для предварительно обученных вложений в слова

Вы можете видеть, что наиболее эффективно разрешить обучение встраиваниям. Когда имеешь дело с большими тренировочными наборами, это может ускорить тренировочный процесс намного быстрее, чем без него. В нашем случае это помогло, но не сильно. Это не должно быть из-за предварительно обученных вложений слов.

Теперь пришло время сосредоточиться на более продвинутой модели нейронной сети, чтобы увидеть, возможно ли улучшить модель и дать ей преимущество над предыдущими моделями.

Сверточные нейронные сети (CNN)

Сверточные нейронные сети или также называются коннетами являются одним из самых интересных разработок в области машинного обучения в последние годы.

Они произвели революцию в классификации изображений и компьютерном зрении, благодаря возможности извлекать функции из изображений и использовать их в нейронных сетях. Свойства, которые сделали их полезными при обработке изображений, делают их также удобными для обработки последовательностей. Вы можете представить CNN как специализированную нейронную сеть, способную обнаруживать определенные паттерны.

Если это просто еще одна нейронная сеть, что отличает ее от того, что вы изучили ранее?

У CNN есть скрытые слои, которые называются сверточными слоями. Когда вы думаете об изображениях, компьютер должен иметь дело с двумерной матрицей чисел, и поэтому вам нужен какой-то способ для обнаружения функций в этой матрице. Эти сверточные слои способны обнаруживать края, углы и другие виды текстур, что делает их таким специальным инструментом. Сверточный слой состоит из нескольких фильтров, которые скользят по изображению и способны обнаруживать определенные особенности.

Когда вы работаете с последовательными данными, такими как текст, вы работаете с одномерными свертками, но идея и приложение остаются неизменными. Вы все еще хотите выбрать шаблоны в последовательности, которые становятся более сложными с каждым добавленным сверточным слоем.

На следующем рисунке вы можете увидеть, как работает такая свертка. Он начинается с патча входных функций с размером ядра фильтра. С помощью этого патча вы берете произведение умноженных весов фильтра. Одномерный коннет инвариантен к переводам, что означает, что определенные последовательности могут быть распознаны в другой позиции. Это может быть полезно для определенных шаблонов в тексте:

Теперь давайте посмотрим, как вы можете использовать эту сеть в Керасе. Keras снова предлагает различные сверточные слои, которые вы можете использовать для этой задачи. Слой, который вам нужен, это Conv1D слой. Этот слой снова имеет различные параметры для выбора. На данный момент вас интересуют количество фильтров, размер ядра и функция активации. Вы можете добавить этот слой между Embedding слоем и GlobalMaxPool1D слоем:

Результат будет следующим:

Результат будет следующим:

Точность и потеря для сверточной нейронной сети

Вы можете видеть, что точность 80%, кажется, является трудным препятствием, чтобы преодолеть с этим набором данных, и CNN, возможно, не хорошо оборудован. Причиной такого плато может быть то, что:

CNN лучше всего работают с большими обучающими наборами, где они могут найти обобщения, где простая модель, такая как логистическая регрессия, не сможет.

Оптимизация гиперпараметров

Как вы видели в моделях, которые мы использовали до сих пор, даже с более простыми, у вас было большое количество параметров для настройки и выбора. Эти параметры называются гиперпараметрами. Это самая трудоемкая часть машинного обучения, и, к сожалению, не существует готовых универсальных решений.

Вы можете видеть, как это может очень быстро стать вычислительно дорогостоящим, но, к счастью, и поиск по сетке, и случайный поиск смущают параллельно, и классы имеют n_jobs параметр, который позволяет вам параллельно тестировать пространства сетки. Сетка параметров инициализируется следующим словарем:

Теперь вы уже готовы начать случайный поиск. В этом примере мы перебираем каждый набор данных, а затем вы хотите предварительно обработать данные так же, как и ранее. После этого вы берете предыдущую функцию и добавляете ее в KerasClassifier класс-оболочку, включая количество эпох.

Это займет некоторое время, что является отличным шансом выйти на улицу, чтобы подышать свежим воздухом или даже отправиться в поход, в зависимости от того, сколько моделей вы хотите запустить. Давайте посмотрим, что мы получили:

Интересно! По какой-то причине точность тестирования выше, чем точность обучения, которая может быть из-за большой разницы в оценках во время перекрестной проверки. Мы можем видеть, что мы все еще не смогли сильно пробить ужасные 80%, что является естественным ограничением для этих данных с их заданным размером. Помните, что у нас небольшой набор данных, и сверточные нейронные сети, как правило, лучше всего работают с большими наборами данных.

Другим методом CV является вложенная перекрестная проверка (показанная здесь ), которая используется, когда гиперпараметры также необходимо оптимизировать. Это используется, потому что результирующая не вложенная модель CV имеет смещение к набору данных, что может привести к чрезмерно оптимистичному баллу. Видите ли, при выполнении оптимизации гиперпараметров, как мы делали в предыдущем примере, мы выбираем лучшие гиперпараметры для этого конкретного обучающего набора, но это не означает, что эти гиперпараметры обобщают лучшие.

Вывод

Вот и все: вы узнали, как работать с классификацией текста с помощью Keras, и мы перешли от модели мешка слов с логистической регрессией к все более совершенным методам, ведущим к сверточным нейронным сетям.

Теперь вы должны быть знакомы с встраиванием слов, почему они полезны, а также с тем, как использовать предварительно обученные вложения слов для обучения. Вы также узнали, как работать с нейронными сетями и как использовать оптимизацию гиперпараметров, чтобы выжать из вашей модели больше производительности.

Теперь у вас есть понимание важнейшего краеугольного камня в обработке естественного языка, который вы можете использовать для классификации текста всех видов. Анализ настроений является наиболее ярким примером для этого, но это включает в себя множество других приложений, таких как:

Вы можете использовать эти знания и модели, которые вы изучили в продвинутом проекте, как в этом руководстве, чтобы использовать анализ настроений в непрерывном потоке данных Twitter с Kibana и Elasticsearch. Вы также можете объединить анализ настроений или классификацию текста с распознаванием речи, как в этом удобном руководстве, используя библиотеку SpeechRecognition в Python.

Источник