интерпретируемость модели машинное обучение

Интерпретируемая модель машинного обучения

Материал из MachineLearning.

Интерпретируемая модель машинного обучения — это такая модель, структуру которой способен объяснить эксперт. Она не противоречит той модели измерений, согласно которой была получена выборка.

При интерпретации модели эксперт объясняет

При построении интерпретируемых моделей, аппроксимирующих нейросети, черные ящики, или пополняемые выборки, накладываются следующие ограничения, определяющие интерпретируемость.

Примеры интерпретируемых моделей: обобщенно-линейные модели, функции радиального базиса малой размерности, решающие правила, суперпозиции нелинейных функций-примитивов, суррогатные модели, смеси экспертов. Пример интерпретации скоринговой модели: модель является (обобщенной) линейной комбинацией переменных, источник которых задают эксперты (поля анкеты клиента), области значений переменных заданы, веса комбинации положительны, их значения соответствуют экспертным ожиданиям.

При построении моделей, аппроксимирующих нейросети, учитывается тот факт, что сеть может быть прорежена без значимого падения точности аппроксимации. Интерпретируемая модель может быть построена, если статистическая сложность прореженной сети позволяет представить элементы сети в виде интерпретируемой суперпозиции. Иначе, интерпретируемая модель может быть построена при условии, что падение точности аппроксимации не значимо и допустимо для получения адекватной модели.

Источник

Интерпретируемая модель машинного обучения. Часть 1

Всем привет. До старта курса «Machine Learning» остается чуть больше недели. В преддверии начала занятий мы подготовили полезный перевод, который будет интересен как нашим студентам, так и всем читателям блога. Начнем.

Пора избавиться от черных ящиков и укрепить веру в машинное обучение!

В своей книге “Interpretable Machine Learning” Кристоф Мольнар прекрасно выделяет суть интерпретируемости Машинного Обучения с помощью следующего примера: Представьте, что вы эксперт Data Science, и в свободное время пытаетесь спрогнозировать куда ваши друзья отправятся в отпуск летом, основываясь на их данных из facebook и twitter. Итак, если прогноз окажется верным, то ваши друзья будут считать вас волшебником, который может видеть будущее. Если прогнозы будут неверны, то это не принесет вреда ничему, кроме вашей репутации аналитика. Теперь представим, что это был не просто забавный проект, а к нему были привлечены инвестиции. Скажем, вы хотели инвестировать в недвижимость, где ваши друзья, вероятно, будут отдыхать. Что произойдёт, если предсказания модели будут неудачными? Вы потеряете деньги. Пока модель не оказывает существенного влияния, ее интерпретируемость не имеет большого значения, но когда есть финансовые или социальные последствия, связанные с предсказаниями модели, ее интерпретируемость приобретает совершенно другое значение.

Объяснимое машинное обучение

Интерпретировать, значит, объяснить или показать в понятных терминах. В контексте ML-системы, интерпретируемость – это способность объяснить ее действие или показать его в понятном человеку виде.

Модели машинного обучения многие люди окрестили «черными ящиками». Это означает, что несмотря на то, что мы можем получить от них точный прогноз, мы не можем понятно объяснить или понять логику их составления. Но каким образом можно извлечь инсайты из модели? Какие вещи следует иметь в виду и какие инструменты нам понадобятся для этого? Это важные вопросы, которые приходят на ум, когда речь идет об интерпретируемости модели.

Важность интерпретируемости

Вопрос, которым задаются некоторые люди, звучит как, почему бы просто не радоваться тому, что мы получаем конкретный результат работы модели, почему так важно знать, как было принято то или иное решение? Ответ кроется в том, что модель может оказывать определенное влияние на последующие события в реальном мире. Для моделей, которые предназначены для рекомендации фильмов интерпретируемость будет гораздо менее важна, чем для тех моделей, которые используются для прогнозирования результата воздействия медицинского препарата.

«Проблема заключается в том, что всего одна метрика, такая как точность классификации, является недостаточным описанием большинства реальных задач.» (Доши-Велес и Ким 2017)

Вот большая картинка про объяснимое машинное обучение. В каком-то смысле мы захватываем мир (а точнее информацию из него), собирая необработанные данные и используя их для дальнейших прогнозов. По сути, интерпретируемость – это всего лишь еще один слой модели, который помогает людям понять весь процесс.

Некоторые из преимуществ, которые приносит интерпретируемость:

Методы Интерпретации моделей

Теория имеет смысл только до тех пор, пока мы можем применять ее на практике. В случае, если вы действительно хотите разобраться с этой темой, можете попробовать пройти курс Machine Learning Explainability от Kaggle. В нем вы найдете правильное соотношение теории и кода, чтобы понять концепции и уметь применять на практике к реальным кейсам концепции интерпретируемости (объяснимости) моделей.

Нажмите на скриншот ниже, чтобы перейти непосредственно на страницу курса. Если вы хотите сначала получить краткий обзор темы, продолжайте чтение.

Инсайты, которые можно извлечь из моделей

Для понимания модели нам потребуются следующие инсайты:

Давайте обсудим несколько методов, которые помогают извлекать вышеперечисленные инсайты из модели:

Permutation Importance

Какие признаки модель считает важными? Какие признаки оказывают наибольшее влияние? Эта концепция называется важностью признаков (feature importance), а Permutation Importance – это метод, широко используемый для вычисления важности признаков. Он помогает нам увидеть, в какой момент модель выдает неожиданные результаты, он же помогает нам показать другим, что наша модель работает именно так, как нужно.

Permutation Importance работает для многих оценок scikit-learn. Идея проста: Произвольным образом переставить или перетасовать один столбец в наборе датасета валидации, оставив все остальные столбцы нетронутыми. Признак считается «важным», если точность модели падает и его изменение вызывает увеличение ошибок. С другой стороны, признак считается «неважным», если перетасовка его значений не влияет на точность модели.

Как это работает?

Permutation Importance вычисляется с использованием библиотеки ELI5. ELI5 – это библиотека в Python, которая позволяет визуализировать и отлаживать различные модели машинного обучения с помощью унифицированного API. Она имеет встроенную поддержку для нескольких ML-фреймворков и обеспечивает способы интерпретации black-box модели.

Интерпретация

Практика

А теперь, чтобы посмотреть на полный пример и проверить правильно ли вы все поняли, перейдите на страницу Kaggle по ссылке.

Вот и подошла к концу первая часть перевода. Пишите ваши комментарии и дл встречи на курсе!

Источник

Интерпретация моделей машинного обучения

Дата публикации Feb 20, 2018

Независимо от конечной цели ваших решений по науке о данных конечный пользователь всегда будет отдавать предпочтение решениям, которые можно интерпретировать и понять. Более того, будучи специалистом по данным, вы всегда извлекаете выгоду из интерпретируемости вашей модели для проверки и улучшения вашей работы. В этом посте я попытаюсь объяснить важность интерпретируемости в машинном обучении и обсудить некоторые простые действия и структуры, с которыми вы можете поэкспериментировать.

Почему интерпретируемость в машинном обучении важна?

В традиционной статистике мы строим и проверяем гипотезы, исследуя данные в целом. Мы строим модели для построения правил, которые мы можем включить в наши ментальные модели процессов. Например, маркетинговая фирма может построить модель, которая сопоставляет данные маркетинговой кампании с финансовыми данными, чтобы определить, что составляет эффективную маркетинговую кампанию.
Это нисходящий подход к науке о данных, и интерпретируемость является ключевой, поскольку он является краеугольным камнем определяемых правил и процессов. Поскольку корреляция часто не равна причинно-следственной связи, необходимо твердое понимание модели, когда речь идет о принятии решений и их объяснении.

В рамках восходящего подхода к науке о данных мы делегируем части бизнес-процесса моделям машинного обучения. Кроме того, совершенно новые бизнес-идеи возможны благодаря машинному обучению. Наука снизу вверх обычно соответствует автоматизации ручных и трудоемких задач. Фирма-производитель может, например, установить датчики на свои машины и выполнить профилактическое обслуживание. В результате инженеры по техническому обслуживанию могут работать более эффективно, и им не нужно выполнять дорогостоящие периодические проверки. Интерпретируемость модели необходима для проверки того, что то, что делает модель, соответствует тому, что вы ожидаете, и это позволяет завоевать доверие пользователей и облегчить переход от ручных к автоматизированным процессам.

Как специалист по обработке данных, вы часто заботитесь о тонкой настройке моделей для достижения оптимальной производительности. Наука о данных часто описывается следующим образом: «при наличии данных X с метками y найдите модель с минимальной ошибкой». Хотя умение обучать эффективные модели является критическим навыком для исследователя данных, важно уметь смотреть на картину в целом. Интерпретируемость данных и моделей машинного обучения является одним из тех аспектов, которые имеют решающее значение для практической «полезности» конвейера данных и обеспечивают соответствие модели той проблеме, которую вы хотите решить. Хотя при создании моделей легко потерять себя, экспериментируя с самыми современными методами, способность правильно интерпретировать полученные результаты является важной частью процесса обработки данных.

Почему важно провести углубленный анализ ваших моделей?

Есть несколько причин, чтобы сосредоточиться на интерпретируемости модели как ученый данных. Хотя между ними есть частичное совпадение, они отражают различные мотивы интерпретации:

Выявить и смягчить предвзятость.

Смещение потенциально присутствует в любом наборе данных, и ученый, работающий с данными, должен определить и попытаться исправить это. Размеры наборов данных могут быть ограничены, и они могут не быть представимыми для всего населения, или процесс сбора данных мог не учитывать потенциальные искажения. Смещения часто становятся очевидными только после тщательного анализа данных или когда анализируется связь между предсказаниями модели и входными данными модели. Если вы хотите узнать больше о различных типах смещения, я настоятельно рекомендую видео ниже. Обратите внимание, что не существует единого решения для устранения предвзятости, но критический шаг к интерпретируемости, осознавая потенциальную предвзятость.

Другими примерами смещения являются следующие:

например векторы word2vec содержатгендерные предубежденияиз-за пристрастий, которые присутствуют в корпусах, на которых они были обучены. Когда вы тренируете модель с этими встраиваниями слов, рекрутер, ищущий «технические профили», оставит женские резюме в нижней части стопки.

например Когда вы тренируете модель обнаружения объекта в небольшом, созданном вручную наборе данных, часто случается, что ширина изображений слишком ограничена. Для того, чтобы избежать модели, которая подходит только для шумных и неважных элементов в данных, требуется большое разнообразие изображений объектов в разных средах, разных условиях молнии и разных ракурсах.

В большинстве задач вы работаете с набором данных, который является лишь приблизительным представлением проблемы, которую вы пытаетесь решить, и модель машинного обучения обычно не может охватить всю сложность реальной задачи. Интерпретируемая модель помогает вам понимать и учитывать факторы, которые (не) включены в модель, и учитывать контекст проблемы при выполнении действий, основанных на предсказаниях модели.

Улучшение обобщения и производительности.

Высокая интерпретируемость обычно приводит к модели, которая лучше обобщается. Интерпретируемость заключается не в понимании каждой детали модели для всех точек данных. Сочетание достоверных данных, модели и понимания проблемы необходимо для решения, которое работает лучше.

В таких отраслях, как финансы и здравоохранение, важно проверять процесс принятия решений и обеспечивать, например, его принятие. не дискриминационные или нарушающие какие-либо законы. С ростом регулирования защиты данных и конфиденциальности, такого как GDPR, интерпретируемость становится еще более важной. Кроме того, в медицинских приложениях или в автомобилях с самостоятельным вождением один неверный прогноз может оказать существенное влияние, и возможность «проверки» модели имеет решающее значение. Следовательно, система должна быть в состоянии объяснить, как она достигла данной рекомендации.

Интерпретация ваших моделей

Важность функции

Обобщенные линейные модели (GLM-х) все основаны на следующем принципе:
если вы берете линейную комбинацию ваших функцийИксс весами моделивеси передать результат через функцию сквошаеВы можете использовать его для прогнозирования широкого спектра переменных ответа. Наиболее распространенными приложениями для GLM являются регрессия (линейная регрессия), классификация (логистическая регрессия) или моделирование пуассоновских процессов (пуассоновская регрессия). Веса, полученные после обучения, являются прямым показателем важности функций и обеспечивают очень конкретную интерпретацию внутренних элементов модели.

например при построении текстового классификатора вы можете нанести на график наиболее важные элементы и проверить, не перегружает ли модель шум. Если наиболее важные слова не соответствуют вашей интуиции (например, имена или стоп-слова), это, вероятно, означает, что модель соответствует шуму в наборе данных и не будет хорошо работать с новыми данными.

Даже нелинейные модели, такие как древовидные модели (например, Случайный лес), также позволяют получать информацию о важности функции. В Random Forest важность функций предоставляется бесплатно при обучении модели, поэтому это отличный способ проверить первоначальные гипотезы и определить, «что» изучает модель. Веса в подходах, основанных на ядре, таких как SVM, часто не очень хороший показатель важности функций. Преимущество методов ядра заключается в том, что вы можете захватывать нелинейные отношения между переменными, проецируя функции в пространство ядра. С другой стороны, просто рассмотрение весов как важности функции не делает справедливым взаимодействие функций.

Модели глубокого обучения известны своей непонятностью из-за большого количества параметров и сложного подхода к извлечению и объединению функций. Поскольку этот класс моделей способен обеспечить самые современные характеристики по многим задачам, многие исследования сосредоточены на увязке предсказаний модели с входными данными.

Особенно при переходе к еще более сложным системам, которые обрабатывают текстовые и графические данные, становится трудно интерпретировать то, что на самом деле изучает модель. В настоящее время основное внимание в исследованиях уделяется прежде всего связыванию и сопоставлению результатов или прогнозов с входными данными. Хотя это довольно просто в контексте линейной модели, это все еще нерешенная проблема для сетей глубокого обучения. Два основных подхода основаны либо на градиенте, либо на внимании

— В методах на основе градиента градиенты целевого концепта, рассчитанные в обратном проходе, используются для создания карты, которая выделяет важные области на входе для прогнозирования целевого концепта. Это обычно применяется в контексте компьютерного зрения.

Методы, основанные на внимании, обычно используются с последовательными данными (например, текстовыми данными). В дополнение к обычным весам сети, тренируются веса внимания, которые действуют как «входные врата». Эти веса внимания определяют, сколько каждого из различных элементов в конечном сетевом выводе. Помимо интерпретируемости, внимание в контексте, например, текстовый ответ на вопросы также приводит к лучшим результатам, поскольку сеть способна «сфокусировать» свое внимание.

ЛАЙМ

Лаймявляется более общей структурой, целью которой является сделать предсказания «любой» модели машинного обучения более интерпретируемыми.

Чтобы оставаться независимым от модели, LIME работает путем локального изменения входных данных для модели. Таким образом, вместо того, чтобы пытаться понять всю модель в одно и то же время, конкретный входной экземпляр изменяется и отслеживается влияние на прогнозы. В контексте классификации текста это означает, что некоторые слова, например, заменить, чтобы определить, какие элементы входных данных влияют на прогнозы.

Если у вас есть какие-либо вопросы по интерпретируемости в машинном обучении, я буду рад прочитать их в комментариях. Следуй за мной посреднийилищебетесли вы хотите получать обновления на мои сообщения в блоге!

Источник

Интерпретируемая модель машинного обучения. Часть 2

Всем привет. Считанные дни остаются до старта курса «Machine Learning». В преддверии начала занятий мы подготовили полезный перевод, который будет интересен как нашим студентам, так и всем читателям блога. И сегодня делимся с вами завершающей частью данного перевода.

Partial Dependence Plots

Partial Dependence Plots (графики частичной зависимости или же PDP, PD-графики) показывают незначительное влияние одного или двух признаков на прогнозируемый результат модели машинного обучения ( J. H. Friedman 2001 ). PDP может показать связь между целью и выбранными признаками с помощью 1D или 2D графиков.

Как это работает?

PDP также высчитываются уже после того, как модель обучена. В задаче с футболом, которую мы обсуждали выше, было много признаков, таких как переданные пассы, попытки забить в ворота, забитые голы и т.д. Начнем с рассмотрения одной строки. Скажем строка представляет из себя команду, у которой мяч был 50% времени, которая сделала 100 передач, 10 попыток забить и 1 гол.

Мы действуем, обучая нашу модель и вычисляя вероятность того, что у команды есть игрок, который получил “Man of the Game”, что является нашей целевой переменной. Затем мы выбираем переменную и непрерывно изменяем ее значение. Например, мы рассчитаем результат, при условии, что команда забила 1 гол, 2 гола, 3 гола и т.д. Все эти значения отражаются на графике, в итоге мы получаем график зависимости прогнозируемых результатов от забитых голов.

Библиотека, используемая в Python для построения PDP называется python partial dependence plot toolbox или просто PDPbox.

Интерпретация

Мы также можем визуализировать частичную зависимость двух признаков одновременно, используя 2D графики.

SHAP-значения

SHAP расшифровывается как SHapley Additive explanation. Этот метод помогает разбить на части прогноз, чтобы выявить значение каждого признака. Он основан на Векторе Шепли, принципе, используемом в теории игр для определения, насколько каждый игрок при совместной игре способствует ее успешному исходу (https://medium.com/civis-analytics/demystifying-black-box-models-with-shap-value-analysis-3e20b536fc80). Как правило, нахождение компромисса между точностью и интерпретируемостью может оказаться трудным балансом, однако значения SHAP могут обеспечить и то, и другое.

Как это работает?

И снова вернемся к примеру с футболом, где мы хотели предсказать вероятность того, что в команде есть игрок, который выиграл награду “Man of the Game”. SHAP – значения интерпретируют влияние определенного значения признака в сопоставлении с прогнозом, которое мы сделали бы, если бы этот признак принял бы некоторое базовое значение.

SHAP – значения рассчитываются с помощью библиотеки Shap, которую можно легко установить из PyPI или conda.

SHAP – значения показывают, насколько данный конкретный признак изменил наше предсказание (по сравнению с тем, как мы сделали бы это предсказание при некотором базовом значении этого признака). Допустим, мы хотели узнать, каким был бы прогноз, если бы команда забила 3 гола, вместо фиксированного базового количества. Если мы можем ответить на этот вопрос, мы можем выполнить те же шаги для других признаков следующим образом:

Следовательно, прогноз может быть представлен в виде следующего графика:

Вот ссылка на большую картинку.

Интерпретация

В примере выше показаны признаки, каждый из которых способствует перемещению выходных данных модели при базовом значении (среднестатистические выходные данные модели по датасету для обучения, который мы передали в нее ранее) в окончательные выходные данные модели. Признаки, продвигающие прогноз выше, показаны красным цветом, а те, что понижают его точность – ниже.

Практика

SHAP – значения имеют гораздо более глубокое теоретическое обоснование, чем то, что я затронул здесь. Для лучшего понимания вопроса, пройдите по ссылке.

Продвинутое использование SHAP-значений

Агрегирование множества SHAP-значений поможет сформировать более детальное представление о модели.

Чтобы получить представление о том, какие признаки наиболее важны для модели, мы можем построить SHAP – значения для каждого признака и для каждой выборки. Сводный график показывает, какие признаки являются наиболее важными, а также их диапазон влияния на датасет.

Точка в левом верхнем углу означает команду, которая забила несколько голов, но уменьшила вероятность успешного прогноза на 0,25.

В то время, как сводный график SHAP дает общий обзор каждого признака, график зависимости SHAP показывает, как выходные данные модели зависят от значения признака. График зависимости вклада SHAP обеспечивает аналогичное PDP понимание, но добавляет больше деталей.

График зависимости от вклада

Графики, представленные выше, говорят о том, что наличие меча увеличивает шансы команды на то, что именно их игрок получит награду. Но если команда забивает всего один гол, то эта тенденция меняется, поскольку судьи могут решить, что игроки команды слишком долго держат у себя мяч, и слишком мало голов забивают.

Заключение

Машинное обучение больше не должно быть черным ящиком. Какая польза от хорошей модели, если мы не моем объяснить результаты ее работы другим? Интерпретируемость стала такой же важной, как и качество модели. Для того, чтобы добиться признания, крайне важно, чтобы системы машинного обучения могли предоставить понятные объяснения своих решений. Как сказал Альберт Эйнштейн: «Если вы не можете объяснить что-то простым языком, вы этого не понимаете».

Источник

Уже не black box. Новые возможности в машинном обучении (и как бизнесу их использовать)

сооснователь и CTO Celsus, технический директор Fscorelab

Машинное обучение (ML) все чаще применяется в самых разных сферах жизни для решения задач прогнозирования, классификации и разработки рекомендательных систем. Такие популярные ныне ML-алгоритмы как нейронные сети или градиентный бустинг способны распознать даже самые глубокие взаимосвязи в наборах данных, что часто позволяет добиться очень высокой точности предсказания.

Несмотря на это очевидное преимущество, многие компании все еще неохотно внедряют подобные модели в свои бизнес-процессы. В чем же дело? Отвечает Евгений Никитин, технический директор Fscorelab.

Препятствия для распространения машинного обучения

Одним из основных препятствий для широкого распространения машинного обучения в бизнесе является компромисс между интерпретируемостью и сложностью алгоритма. Чем сложнее внутренняя структура модели, тем более глубокие взаимосвязи между переменными она может находить, но и тем труднее она становится для понимания людьми, особенно не связанными напрямую с миром машинного обучения и статистики.

Самый банальный пример простой модели — линейная регрессия. Каждый коэффициент линейной регрессии показывает, как в среднем изменится предсказанное значение, если значение переменной вырастет на одну единицу.

К примеру, рисунок 1 демонстрирует простейшую модель для предсказания количества дней просрочки выплаты кредитного займа с одной переменной — возрастом клиента. Согласно этой модели, увеличение возраста клиента на один год в среднем снижает прогноз по просрочке на 0,36 дней.

Первая всероссийская премия в области AgroTech-решений. Участвуй сам или номинируй достойных!

Однако, даже с линейными моделями не все так просто. Например, если в модели есть несколько сильно коррелированных переменных (например, возраст и количество закрытых кредитов в кредитной истории), прямая интерпретация коэффициентов при этих переменных может стать не такой уж банальной задачей. Еще сложнее дело обстоит с нелинейными моделями, где зависимости между переменными и предсказанием могут иметь сложную, немонотонную форму со множеством взаимозависимостей.

Такие модели в машинном обучении часто называют «черными ящиками» (black box). На вход модели подается набор переменных, на основе которых она рассчитывает свое предсказание, но то, как именно было принято это решение, какие факторы на него повлияли — ответы на эти вопросы зачастую остаются спрятаны в «черном ящике» алгоритма.

Что такое интерпретируемость?

Прежде чем перейти к описанию существующих методов интерпретации, нелишним будет обсудить, что же именно понимается под интерпретируемостью модели и зачем вообще нужно интерпретировать и объяснять предсказания ML-моделей.

Термин «интерпретируемость модели» является зонтичным, то есть он включает в себя целый набор признаков и определений.

В наиболее общем виде, интерпретируемость можно определить как степень того, насколько человек может понять причину, по которой было принято определенное решение (например, решение выдать кредит клиенту).

Это определение является хорошей стартовой точкой, но оно не дает ответа на многие важные вопросы. Например, кто именно имеется в виду под «человеком» — эксперт в данной предметной области или обычный человек «с улицы»? Какие факторы должны учитываться при оценке интерпретируемости — затраченные временные и умственные ресурсы, глубина понимания внутренних процессов моделей, доверие человека к ним?

Несмотря на отсутствие на текущий момент единого подхода к этому понятию, мы интуитивно чувствуем, что делает ML-модель более или менее интерпретируемой. Это любая информация в форме доступной для восприятия, которая улучшает наше понимание того, какие факторы и как именно повлияли на данное конкретное предсказание и на работу модели в целом. Эта информация может принимать разную форму, например, визуализации и графики или текстовые объяснения.

Зачем интерпретировать ML-модели?

Почему вообще возникла необходимость интерпретировать предсказания ML-моделей, и какая от этого польза? Ответ на этот вопрос зависит от контекста и может включать:

Стоит отметить, что не стоит слепо гнаться за максимальной интерпретируемостью модели. К примеру, если стоимость ошибки в предсказании невелика (к примеру, рекомендация фильма пользователю), то и прилагать огромные усилия для того, чтобы сделать модель более интерпретируемой, возможно, не стоит. В этом случае можно ограничиться стандартной процедурой валидации качества модели.

Как интерпретировать модели?

Способы интерпретации ML-моделей в целом делятся на локальные и глобальные.

Одним из самых известных и традиционных показателей интерпретируемости моделей типа «черный ящик» является важность переменных (feature importance). Важность — это некий численный показатель, который показывает то, какое влияние в среднем оказывает данная переменная на предсказания модели, по сравнению с другими переменными. Конкретный способ расчета важности зависит от алгоритма. Например, в случае с деревьями решений мы можем посчитать сколько раз та или иная переменная была использована в дереве для разделения на «ветки» (split). Рисунок 2 демонстрирует пример диаграммы важности переменных. Как мы видим, количество предыдущих займов в этой модели играют наибольшую роль.

Этот метод имеет как минимум два очевидных недостатка.

Для решения этих и других проблем за последние пару лет было предложено около десятка различных методов, например, LIME или treeinterpreter. Многие из этих методов основаны на идее замены сложной, плохо интерпретируемой модели на одну или несколько простых моделей, похожих по своим свойствам. Одним из самых многообещающих методов, который является одной из стандартных практик в нашей компании, является метод расчета SHAP values.

Основную идею этого метода можно продемонстрировать на примере, который весьма соответствует моменту. Представьте, что вам нужно набрать футбольную команду из 11 человек из большого списка кандидатов. Без команды ваша вероятность победить равняется 0%.

Аналогия с машинным обучением здесь легко угадывается, команда — это модель, а игроки — переменные. Как можно заметить, влияние каждой переменной на результат (вероятность победы) зависит в том числе от присутствия и отсутствия других переменных в модели.

Основная идея метода SHAP как раз и состоит в расчете вклада каждой переменной для всех возможных комбинаций других переменных в модели. Финальный вклад каждой переменной рассчитывается как средневзвешенное всех возможных вкладов.

Например, если это значение для Артема А. равно 7%, это значит, что среди всех возможных комбинаций составов команды, он в среднем увеличивает вероятность победы на 7%.

Еще одно преимущество этого метода заключается в том, что его авторы предложили очень эффективную реализацию алгоритма для ансамблей деревьев, которые демонстрируют отличное качество предсказаний во многих практических задачах.

На следующем рисунке показан пример объяснения предсказания дефолта для конкретного клиента с помощью одной из моделей градиентного бустинга. Средняя вероятность дефолта по всему набору данных (base value) равна 0,06 или 6%. Предсказанная вероятность дефолта для этого клиента — 0,19 (19%, выделено жирным шрифтом).

Какие же факторы привели к относительно высокой предсказанной вероятности дефолта для этого клиента? Переменные, выделенные красным (например, доход и количество предыдущих займов), увеличивают эту вероятность. Переменные, выделенные синим (возраст и количество недавних запросов к НБКИ), ее уменьшают. С помощью этой диаграммы кредитный специалист может оценить, насколько он доверяет прогнозу модели в данном конкретном случае.

Индивидуальные объяснения также могут быть агрегированы на уровне всего набора данных. На следующей диаграмме каждая точка — это один клиент, синим цветом обозначены клиенты с низким значением соответствующей переменной, а красным — с высоким. Горизонтальная ось показывает влияние каждой переменной на предсказанную вероятность дефолта для каждого клиента.

Глядя на эту диаграмму, мы можем быстро оценить, насколько логика модели соответствует нашим ожиданиям или здравому смыслу. В данном случае маленькое количество предыдущих займов увеличивает предсказанную вероятность дефолта для большинства клиентов. Аналогично, высокий стаж и доход ведут к уменьшению предсказанной вероятности дефолта.

Заключение

Итак, как мы видим, интерпретация даже самых сложных ML-моделей — отнюдь не невозможное дело. Недавно разработанные методы позволяют лучше понимать внутреннюю логику, которая стоит за автоматизированным принятием важных решений, таких как выдача займов клиенту или определение диагноза пациента, при этом не жертвуя качеством модели.

Конечно же, большое количество способов интерпретации и визуализации осталось за рамками данной статьи. Например, широко используемые Partial Dependence Plots (PDP) и Individual Conditional Expectation (ICE) plots, а также вышеупомянутый LIME (Local Interpretable Model-agnostic Explanations). Предлагаем читателю самостоятельно с ними ознакомиться. Ниже вы найдете список полезных статей, которые можно почитать на эту тему.

Источник