классификация ip трафика методами машинного обучения под ред профессора о и шелухина

Классификация IP-трафика методами машинного обучения

Рассмотрены задачи, методы и проблемы классификации сетевого трафика методами машинного обучения и интеллектуального анализа данных. Анализируются актуальные вопросы классификации IP-трафика на основе портов, полезной нагрузки, статистических методов. Рассмотрены важные для практического использования вопросы контроля и анализа сетевого трафика. Анализируются особенности формирования, оценки влияния структуры и объема обучающей и тестирующей выборок на эффективность классификации приложений на уровне пакетов и потоков. Рассмотрена контролируемая и неконтролируемая классификация сетевых приложений WEB (http, https), mail (smtp, imap), Ftp (Ftp-data, Ftp-commands), SSH, Skype, BitTorrent, P2P и др. с использованием алгоритмов классификации ID3, C4.5, CART, SVM, Randomforest, Bootstrap, Baggingи AdaBoost и др. Рассмотрены особенности классификации шифрованного трафика и трафика мобильных приложений Skype, Steam, BitTorrent, YouTube, Vkontakte, Tоrrent и др. Анализируется эволюция алгоритмов потоковой классификации сетевых приложений в режиме реального времени. Для повышения эффективности в условиях априорной неопределенности введено понятие неконтролируемой и полуконтролируемой кластеризации сетевого трафика.
Для широкого круга научных сотрудников и специалистов-практиков в области инфокоммуникаций и информационной безопасности, будет полезна аспирантам, магистрам и бакалаврам соответствующих специальностей.
Шелухин Олег Иванович – доктор технических наук, профессор, зав. кафедрой « Информационная безопасность» МТУСИ. Заслуженный деятель науки РФ. Область научных интересов – программная защита информации, машинное обучение, интеллектуальный анализ данных.
Ерохин Сергей Дмитриевич – кандидат технических наук, доцент. Ректор МТУСИ, доцент кафедры « Информационная безопасность» МТУСИ. Область научных интересов – методы машинного обучения, сетевые технологии, информационная безопасность нфокоммуникационных систем.
Ванюшина Анна Вячеславовна – старший преподаватель кафедры «Информационная безопасность» МТУСИ. Область научных интересов – сетевые технологии, машинное обучение, интеллектуальный анализ данных

1. КЛАССИФИКАЦИЯ. ОСНОВНЫЕ ПОНЯТИЯ, ЗАДАЧИ И ПРОБЛЕМЫ
1.1. Задачи классификации IP-трафика
1.2. Методы классификации сетевого трафика
1.2.1. Классификация IP-трафика на основе портов
1.2.2. Классификация сетевого трафика на основе полезной нагрузки
1.2.3. Классификация на основе статистических методов
1.2.4. Особенности применения методов машинного обучения для классификации сетевого трафика
1.2.5. Статистическая кластеризация
1.2.6. Иные подходы
Литература

2. КЛАССИЧЕСКИЕ ПАРАДИГМЫ МАШИННОГО ОБУЧЕНИЯ И ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ
2.1. Основные понятия. Технологии KDD и Data Mining
2.2. Классификация. Основы обучения с учителем
2.2.1. Классификация на основе ассоциативных правил
2.2.2. Искусственные нейронные сети (ИНС)
2.2.3. Метод опорных векторов
2.2.4. Решающие деревья
2.2.5. Алгоритм ID3
2.2.6. Алгоритм C4.5
2.2.7. Алгоритм CART
2.2.8. Алгоритм CHAID
2.2.9. Алгоритм QUEST
2.2.10. Алгоритм случайного леса
2.2.11. Алгоритмы Bootstrap, Bagging и AdaBoost
2.2.12. Наивный байесовский классификатор
2.2.13. Байесовские сети
2.2.14. Оценка устойчивости классификатора
2.2.15. Методы поиска аномалий, основанные на классификации
2.3. Кластеризация. Основы обучения с учителем
2.3.1. Основные понятия
2.3.2. Методы кластерного анализа данных
2.3.3. Иерархические методы
2.3.4. Неиерархические методы
2.3.5. Неинкрементальные алгоритмы
2.3.6. Сравнительный анализ методов кластеризации
2.3.7. Самоорганизующаяся карта Кохонена
2.3.8. Генетические алгоритмы
2.3.9. Достоинства и недостатки методов кластеризации
2.3.10. Методы поиска аномалий, основанные на кластеризации
2.4. Метрики оценки эффективности классификации и кластеризации
2.5. Инструменты для интеллектуального анализа данных
2.5.1. Rattle
2.5.2. Weka
2.5.3. MOA
2.5.4. Orange
2.5.5. RapidMiner
2.5.6. Scikitlearn
2.6. Проблемы машинного обучения (контролируемое и неконтролируемое обучение)
Литература

3. АНАЛИЗ И МОНИТОРИНГ СЕТЕВОГО ТРАФИКА
3.1. Проблемы контроля и анализа сетевого трафика
3.1.1. Место контроля трафика
3.1.2. Задачи контроля
3.2. Сетевые анализаторы трафика
3.2.1. Задачи анализа сетевого трафика
3.2.2. Средства анализа сетевого трафика
3.2.3. Программный сниффер Wireshark
3.2.4. Аппаратный сниффер network associates
3.2.5. Iris Network Traffic Analyzer
3.3. Сбор данных с помощью протокола NetFlow
3.3.1. Мониторинг
3.3.2. Примеры контрольных и аналитических инструментов потока сетевого трафика с помощью протокола NetFlow
3.4. Сбор данных с помощью протокола SNMP
3.4.1. Контроль сетевых устройств
3.4.2. Примеры контрольных и аналитических инструментов потока сетевого трафика помощью протокола SNMP
3.5. Программный сниффер Tcpdump
3.6. Другие технологии и подходы к сетевому мониторингу
3.6.1. Трассировка событий сетевого стека
3.6.2. Протокол ICMP
3.6.3. Анализ системных журналов
3.7. Инструменты классификации. Технология DPI
3.7.1. PACE
3.7.2. OpenDPI
3.7.3. nDPI
3.7.4. Libprotoident
3.7.5. Cisco NBAR
3.7.6. L7-фильтр
3.8. Использование инструментов DPI для классификации и учета трафика
3.8.1. Использование инструментов DPI для классификации трафика
3.8.2. Использование инструментов DPI для целей учета трафика
3.8.3. Влияние усечения пакетов и потоков на классификацию трафика
Литература

4. КЛАССИФИКАЦИЯ ТРАФИКА МЕТОДАМИ МАШИННОГО ОБУЧЕНИЯ
4.1. Анализ алгоритмов выбора атрибутов классификации
4.2. Формирование исходных данных и анализ программного обеспечения
4.2.1. Методы захвата трафика
4.2.2. Результаты применения программного обеспечения
4.2.3. Выбор атрибутов классификации
4.3. Влияние структуры обучающей выборки на эффективность классификации приложений
4.3.1. Процедура сбора трафика
4.3.2. Обучающие выборки
4.3.3. Выбор атрибутов для классификации
4.3.4. Результаты эксперимента
4.4. Эффективность алгоритмов выделения атрибутов
4.4.1. Формирование исходных данных
4.4.2. Сравнительные оценки алгоритмов выделения информативных признаков
4.4.3. Результаты классификации
4.5. Влияние объема обучающей выборки на качество классификации
4.5.1. Алгоритм SVM
4.5.2. Алгоритм AdaBoost
4.5.3. Классификатор наивный классификатор Байеса
4.5.4. Алгоритм CART
4.5.5. Случайный лес
4.6. Эффективность алгоритма RF в задачах классификации приложений
4.6.1. Формирование данных
4.6.2. Методология решения задачи классификации с помощью алгоритма Random Forest
4.6.3. Результаты классификации
4.7. Классификация трафика мобильных сетей
4.7.1. Захват и анализ сетевого трафика мобильных сетей (приложений)
4.7.2. Результаты классификации
4.8. Влияние прореживания пакетов на качество классификации
4.8.1. Формирование и анализ исходных данных
4.8.2. Результаты классификации
4.9. Влияние фонового трафика на качество классификации
4.9.1. Постановка задачи
4.9.2. Результаты классификации
4.9.3. Сравнительный ROC — анализ работы алгоритмов при наличии фонового трафика
4.10. Классификация шифрованного трафика
4.10.1. Формирование и характеристики используемых наборов данных
4.10.2. Классификация трафика с помощью формирования сетевых потоков
4.10.3. Классификация трафика на основе анализа каждого захваченного сетевого пакета
4.11. Интеграция множества классификаторов
4.11.1. Ансамбли классификаторов
4.11.2. Распространенные типы классификаторов
4.11.3. Мультиклассификационная модель классификации
4.12. Классификация в режиме реального времени
4.12.1. Сценарии обработки потоковых данных
4.12.2. Технология смещения концепций
4.12.3. Эволюция алгоритмов потоковой классификации
4.12.4. Алгоритмы классификации, основанные на потоковых деревьях принятия решений
4.12.5. Динамический потоковый Random Forests
4.13. Неконтролируемая кластеризация сетевого трафика
4.13.1. Технологии кластеризации
4.13.2. Кластеризация методом Random Forest и RF близость
4.13.3. Кластеризация на основе близости RF
4.13.4. Наборы данных
4.13.5. Методы оценки
4.14. Полуконтролируемая кластеризация сетевого трафика
4.14.1. Источники дополнительной информации
4.14.2. Алгоритм кластеризации с ограничениями
4.14.3. Статистика дополнительной информации
4.15. Проблемы классификации трафика
Литература

Источник

Отраслевая литература

Классификация IP-трафика методами машинного обучения / Под ред. профессора О. И. Шелухина

Шелухин О. И., Ерохин С. Д., Ванюшина А. В.

Рассмотрены задачи, методы и проблемы классификации сетевого трафика методами машинного обучения и интеллектуального анализа данных. Анализируются актуальные вопросы классификации IP-трафика на основе портов, полезной нагрузки, статистических методов. Рассмотрены важные для практического использования вопросы контроля и анализа сетевого трафика. Анализируются особенности формирования, оценки влияния структуры и объема обучающей и тестирующей выборок на эффективность классификации приложений на уровне пакетов и потоков. Рассмотрена контролируемая и неконтролируемая классификация сетевых приложений WEB (http, https), mail (smtp, imap), Ftp (Ftp-data, Ftp-commands), SSH, Skype, BitTorrent, P2P и др. с использованием алгоритмов классификации ID3, C4.5, CART, SVM, Randomforest, Bootstrap, Baggingи AdaBoost и др. Рассмотрены особенности классификации шифрованного трафика и трафика мобильных приложений Skype, Steam, BitTorrent, YouTube, Vkontakte, Tоrrent и др. Анализируется эволюция алгоритмов потоковой классификации сетевых приложений в режиме реального времени. Для повышения эффективности в условиях априорной неопределенности введено понятие неконтролируемой и полуконтролируемой кластеризации сетевого трафика.

Для широкого круга научных сотрудников и специалистов-практиков в области инфокоммуникаций и информационной безопасности, будет полезна аспирантам, магистрам и бакалаврам соответствующих специальностей.

Шелухин Олег Иванович –
доктор технических наук, профессор, зав. кафедрой « Информационная безопасность» МТУСИ. Заслуженный деятель науки РФ.
Область научных интересов – программная защита информации, машинное обучение, интеллектуальный анализ данных.

Ерохин Сергей Дмитриевич –
кандидат технических наук, доцент. Ректор МТУСИ, доцент кафедры
« Информационная безопасность» МТУСИ.
Область научных интересов – методы машинного обучения, сетевые технологии, информационная безопасность нфокоммуникационных систем.

Ванюшина Анна Вячеславовна –
старший преподаватель кафедры «Информационная безопасность» МТУСИ.
Область научных интересов – сетевые технологии, машинное обучение, интеллектуальный анализ данных

Источник

Машинное обучение вместо DPI. Строим классификатор трафика

Вряд ли можно представить мир современных сетевых технологий без DPI (deep packet inspection – глубокий анализ пакетов). На нём держатся системы обнаружения сетевых атак, львиная доля политик безопасности корпоративных сетей, шейпинг и блокировка пользовательского трафика оператором связи – да-да, чтобы выполнять требования Роскомнадзора, средства DPI обязан иметь каждый провайдер.

И всё-таки, при всей своей востребованности, DPI имеет некоторые недостатки. Главный из них в том, что средствам DPI необходимо видеть полезную нагрузку анализируемых пакетов. А что делать, когда клиент использует шифрование? Или, например, если у нас нет DPI здесь и сейчас, но в перспективе потребуется проводить какой-то анализ текущего по сети трафика – тогда нам остаётся только сохранять всю полезную нагрузку для последующего анализа, что очень неудобно.

В данной статье я хочу предложить альтернативный способ решения одной из главных задач DPI – определения протокола прикладного уровня – на основе очень маленького количества информации, при этом не сверяясь со списком широко известных портов (well-known ports) и не глядя в полезную нагрузку пакетов. Вообще.

Подход к решению

Во-первых, определимся с объектом классификации — для какой сущности мы будем определять протокол прикладного уровня?

Идея, которая лежит в основе предлагаемого метода, заключается в том, что разные приложения, пользующиеся разными протоколами, также генерируют потоки транспортного уровня с разными статистическими характеристиками. Если аккуратно и ёмко определить набор статистических метрик потока, то по значениям этих метрик можно будет с высокой точностью предсказывать, какое приложение сгенерировало данный поток, и, соответственно, какой протокол прикладного уровня этим потоком переносится.

В данном примере после TCP-рукопожатия клиент начинает передавать полезную нагрузку – следовательно, начинается порция данных со стороны клиента. Пока сервер не посылает никакой полезной нагрузки в ответ, а всего лишь шлёт ACK, порция данных со стороны клиента продолжается. Когда сервер ощущает необходимость передать какую-то нагрузку прикладного уровня, порция данных клиента заканчивается, и начинается порция данных сервера. Как несложно понять, вся передача полезной нагрузки представляет собой чередование порций данных то с одной, то с другой стороны. При очень интенсивном обмене данных с обеих сторон порции данных могут вырождаться в отдельные IP-пакеты.

Статистические метрики потока

Во-первых, признаки вида «общее количество Х» сами по себе нестабильны, потому что их значение зависит от того, как долго мы наблюдаем за потоком. Чем больше наблюдаем, тем, естественно, больше будет передано и байт, и прикладной нагрузки, и сегментов, и порций данных. Чтобы добавить определённости в эти показатели, мы в будущем будем рассматривать не весь поток целиком от начала наблюдения и до конца, а некоторый срез каждого потока по первым N сегментам транспортного уровня. При рассчёте всех перечисленных метрик будем использовать только первые N сегментов.

Во-вторых, может быть непонятно, зачем нам в показателях размер первого и второго сегмента и порции данных с каждой стороны. Как показано в одной из научных работ на эту тему [1] (ссылка в источниках), размеры первых нескольких IP-пакетов могут нести много информации об используемом протоколе. Так что лишними эти показатели не будут.

Теперь определимся, как мы будем пытаться угадать протокол прикладного уровня конкретного потока, имея на руках рассчитанные статистические метрики. Здесь нам поможет машинное обучение. Рассматриваемая задача – это в своей классической формулировке задача классификации объектов на несколько классов.

У каждого объекта целых 32 характеристики, причём релевантность каждой из них имеющейся у объекта метке класса на данном этапе исследования остаётся под вопросом. Поэтому разумно будет выбрать популярный алгоритм машинного обучения «Случайный Лес» («Random Forest»), поскольку он слабо чувствителен к шумам и корреляции признаков (а некоторые наши статистические метрики, скорее всего, сильно коррелируют между собой).

Данный алгоритм работает по принципу «обучение с учителем». Это значит, что нам нужна некоторая выборка объектов, для которой уже известны метки классов. Эту выборку мы разделим в пропорции 1 к 2 на обучающую и проверочную. На обучающей выборке мы проведём обучение модели (в нашем случае обучение заключается в построении набора решающих деревьев), а на проверочной будем оценивать, насколько хорошо модель справляется с поставленной задачей.

Время жатвы

С методологией проведения эксперимента теперь всё понятно, осталось найти сам трафик, характеристики которого будем рассчитывать.

Никакой провайдер, конечно, не пустит нас в свою сеть собирать трафик – кто там знает, какие данные мы будем собирать? Обойдёмся кустарными условиями. В течение нескольких дней я проводил захват трафика своего собственного компьютера, попутно делая обычные дела – сидел в ВК, смотрел видео на Youtube, сделал несколько звонков в Скайпе, скачал парочку торрентов. В результате получилось более 3 Гб захваченного трафика.

Теперь вспомним, что кроме самого трафика нам также нужно для каждого захваченного потока достоверно определить переносимый им протокол прикладного уровня. И вот тут нам помогут средства DPI, конкретно – библиотека nDPI. В комплекте с этой библиотекой поставляется пример анализатора трафика под названием ndpiReader – он нам и пригодится. Приятный бонус заключается в том, что это приложение само за нас разделит все наши сырые дампы трафика на потоки транспортного уровня, так что нам этим даже не придётся заниматься.

Но всё-таки покопаться в недрах pcap-файлов будет нужно. Для этого используем библиотеку dpkt. К огромному сожалению, её не портировали на третью версию Python, так что скрипт обработки pcap-файлов напишем на второй версии языка.

Собирая всё выше изложенные воедино, напишем скрипт, который преобразовывает PCAP-файлы в таблицу признаков и экспортирует её в формат CSV. Ссылка на репозиторий с этим скриптом в конце статьи.

What time is it? Classification time!

Да-да, наконец-то мы добрались до того, ради чего всё затевалось!

Но перед тем, как с корабля на бал запихивать всю таблицу признаков в первый попавшийся Random Forest, рассмотрим данные немного внимательнее. Вот список прикладных протоколов и количество потоков каждого протокола, которое имеется в нашей выборке:

Первое, что хочется сделать – слить весь трафик SSL_No_Cert в SSL, потому что это по сути одно и то же.

Второе – выкинуть трафик Apple, NTP, Unencrypted_Jabber и Unknown. У первых трёх протоколов слишком мало потоков, чтобы проводить классификацию, а под Unknown может скрываться всё что угодно.

Теперь разделим наши данные на обучающую и проверочную выборки. Получим такой расклад:

Выше представлена таблица точности и полноты предсказаний по каждому классу. Точность для класса K – это доля предсказаний вида «объект X принадлежит классу K», которые оказались верными. Полнота для класса K – количество объектов X, которые распознаны классификатором как принадлежащие классу K, делённое на общее количество принадлежащих классу K объектов. Ф-мера – среднее гармоническое полноты и точности.

Ну и чуть более простая таблица:

Здесь в каждой ячейке указано число, которое означает количество случаев, когда поток трафика, принадлежащий указанному в заголовке строки классу, был классифицирован как принадлежащий указанному в заголовке столбца классу. То есть, числа на главной диагонали – правильные классификации, числа вне её – разного рода ошибки.

В целом, кажется, что классификатор справляется со своей работой неплохо. За исключением редких ошибок, все предсказания оказываются верны.

Алгоритм машинного обучения «Случайный Лес» хорош ещё и тем, что он может дать нам информацию о том, какие признаки оказались более полезными, чем другие. Из любопытства взглянем на самые важные признаки:

Топ стабильно занимают признаки, завязанные на статистические характеристики клиентской стороны. Отсюда можно сделать вывод, что именно клиенты разных приложений отличаются между собой больше всего, а серверы – меньше.

От сервера затесался только размер второго пакета. Это легко объясняется тем, что по размеру второго пакета можно очень просто выделить SSL из всего остального трафика, ведь во втором пакете сервера передаётся сертификат.

Приятно удивляет то, что тип протокола транспортного уровня входит всего лишь в ТОП-10 самых важных признаков – хотя, казалось бы, очень много информации в этом признаке содержится! А значит, в наших статистических метриках информации намного больше.

Ещё хочется отметить, что при изменении семени генератора псевдослучайных чисел топ самых важных признаков несколько меняется. Общим остаётся о, что завязанные на клиента метрики стабильно вверху, но их порядок меняется. А протокол транспортного уровня прыгает между первым и десятым местом.

Теперь самое интересное. До этого мы брали срез по первым 1000 сегментам каждого потока, и на основе этого среза рассчитывали статистические метрики. Возникает закономерный вопрос: а насколько можно уменьшить этот срез и всё равно получать хорошие показатели классификации?

Ответ обескураживает. Можно опускать количество сегментов в каждом потоке до… трёх. Не включая TCP handshake, разумеется, ведь он никакой информации не несёт.

Ниже представлены значения полноты и точности для каждого класса, таблица реальных и предсказанных классов и топ характеристик при построении и проверке модели всего лишь на первых трёх сегментах транспортного уровня (для TCP это на самом деле 6 сегментов, три первые отбрасываются).

Внимательный читатель может заметить, что суммарное количество записей в выборке стало меньше по сравнению с прошлым случаем. Дело в том, что для расчёта большинства характеристик нужно, чтобы была хотя бы одна порция данных со стороны клиента и хотя бы одна со стороны сервера. Если выясняется, что в первых 3 сегментах передавал только клиент или только сервер, такой поток отбрасывается ещё на этапе составления таблицы признаков.

Результат получился неожиданный тем, что с резким уменьшением количества сегментов в каждом потоке качество классификации не ухудшилось, а даже несколько улучшилось. Связать это можно с тем, что именно первые переданные сегменты несут наибольшую информацию о типе приложения. Поэтому при уменьшении количества сегментов наши статистические метрики начинают нести информацию только о первых сегментах, а не обо всех, и качество классификации несколько увеличивается.

Заключение

В данной статье я наглядно продемонстрировал, как можно производить достаточно качественный анализ трафика с целью определения протокола прикладного уровня без средств DPI. Что характерно, можно достаточно точно определить прикладной протокол уже по первым нескольким переданным сегментам транспортного уровня.

Весь разработанный код выложен в репозитории на github. В readme репозитория дана инструкция, как вы можете повторить полученные в статье результаты. В папке csv находятся таблицы признаков, полученные после обработки собранных PCAP-файлов. А вот сами файлы PCAP вы там не найдёте – прошу прощения, но конфиденциальность моих данных прежде всего.

В качестве наглядной иллюстрации работы классификатора в реальном времени я разработал несложное приложение на PyQt4. И даже записал видео с демонстрацией его работы.

Для чего можно применять изложенный подход? Например, для идентификации используемых протоколов прикладного уровня в тех условиях, когда полезная нагрузка зашифрована (привет, паранойя). Или для превентивного сбора статистики для анализа на случай, если такой анализ потребуется – ведь для определения протокола прикладного уровня достаточно иметь всего 256 байт информации на каждый поток (32 числа с плавающей точкой).

Благодарности

Хочу поблагодарить Даниила Прохорова и Надежду Трофлянину, с которыми мы занимались разработкой этой идеи, собирали трафик и потом выступали на VII Молодёжном Научном Форуме МТУСИ.

Источник