квантитативные методы исследования элементы машинного обучения
Что нужно знать UX-специалисту о количественных и качественных исследованиях
Редактор Екатерина Малахова рассказала о том, что нужно знать об исследованиях UX-специалисту и дизайнеру.
У Гильдии вольных проектировщиков не так давно была лекция о количественных и качественных исследованиях для UX — её провел Виталий Мазуревич, ведущий UX-проектировщик в AGIMA и сооснователь Гильдии. По его мнению, технологии перестали быть конкурентным преимуществом: они становятся всё доступнее и быстро теряют уникальность. Скопировать можно что угодно. Но именно взаимодействие с людьми выходит на первый план.
Например, банк раньше ассоциировался со зданием, куда нужно было прийти и отстоять очередь, чтобы получить деньги или оплатить счета. Сейчас доступ к любым банковским услугам есть у каждого из нас в смартфоне — условия взаимодействия диктуют уже не технологии, а пользователи.
Разработка успешного продукта начинается с определения «боли» пользователя — главной проблемы, которую нужно решить. Для исследования аудитории UX-специалисту пригодятся разные методы сбора и анализа информации. Рассмотрим основные из них.
Качественные методы исследования
Задача этих методов — помочь понять мотивы поведения и логику пользователей. Разберем, в чем заключаются их особенности.
Наблюдение — это непосредственное отслеживание какой-либо ситуации в реальном времени (прямое наблюдение) или работа с его результатами (непрямое). В зависимости от того, что изучает проектировщик (конкретный элемент или процесс в целом), наблюдение называют структурализованным или неструктурализованным. Оно может осуществляться с помощью человека или специальных технических средств.
Интервью бывает индивидуальным или групповым. Во втором случае есть риск, что получить полную и достоверную информацию от всех собеседников не удастся. Например, если в дискуссии одновременно участвуют начальник и подчиненный. Поэтому важно позаботиться о том, чтобы каждое мнение было услышано.
Ещё один вариант — экспертное интервью или метод «Дельфи». В нем исследователь предлагает группе независимых экспертов дистанционно заполнить анкету с вопросами, после чего выносит противоположные мнения на следующий круг обсуждения, пока не получится добиться максимального консенсуса. Такой метод позволяет избежать открытых споров и приспособления к мнению большинства.
Юзабилити-тестирование лучше всего проводить с участием реальных пользователей, а не членов команды или случайных людей.
Дневниковые исследования подойдут, если нужно изучить, как меняется интерес к продукту в течение определенного срока. Для них следует заранее запланировать достаточное количество времени.
Проективные методики помогают выявить скрытые мотивы и внутренние желания пользователя, понять его отношение к бренду или продукту. К ним относится следующее:
Качественные сортировки пригодятся для структурирования информации — допустим, каталога товаров на сайте. Рассмотрим, как упорядочить его с помощью этого метода. Всего выделяют три вида сортировки:
Также не стоит пренебрегать анализом обратной связи: люди всегда могут рассказать что-то интересное об использовании продукта.
Важно не только собирать информацию, но и делать правильные выводы.
Количественные методы исследования
Количественные исследования направлены на то, чтобы опросить как можно больше респондентов и получить числовой результат. Чаще всего используются следующие методы:
Задача проектировщика — подобрать способы исследования, которые лучше всего подойдут для проекта. Чтобы получить точную и достоверную информацию, важно использовать количественные и качественные методы вместе.
Количественные исследования
Качественные исследования
Выявляют многообразие гипотез
Оценивают гипотезы
Задают общий вектор исследований
Позволяют быть уверенными в полученных выводах
Помогают интерпретировать количественные показатели
Не формируют целостную картину пользовательского опыта,
не отвечают на вопрос «Почему?» и оставляют простор
для неадекватных личных интерпретаций.
Не позволяют оценить достоверность гипотез
или ранжировать их по приоритетности
«Золотого стандарта» методик не существует.
Заключение
У UX-специалиста не всегда есть возможность провести полноценные исследования при работе над проектом: часто не хватает времени, денег или понимания со стороны клиента. Когда проектирование выполняется без исследований, нужно мыслить конкретными пользовательскими сценариями — это снизит вероятность ошибки.
Исследования не заканчиваются после выпуска продукта: чтобы постоянно совершенствоваться в условиях жесткой конкуренции, важно понимать потребности пользователей.
Проектировщик не использует все методы сразу, а выбирает наиболее подходящие для конкретной задачи.
Мнение автора и редакции может не совпадать. Хотите написать колонку для «Нетологии»? Читайте наши условия публикации.
Статистические типы данных, используемые в машинном обучении
Sep 21, 2020 · 7 min read
Введение в статистику
Статистика — это наука об изучении данных. Знания в этой области позволяют использовать подходящие методы сбора и анализа данных, а также эффективно представлять результаты такого анализа. Статистика играет ключевую роль в научных открытиях, принятии решений и составлении прогнозов, основанных на данных. Она позволяет гораздо глубже разобраться в объекте исследования.
Чтобы стать успешным специалистом по теории и методам анализа данных, необходимо знать основы статистики. Математика и статистика — “строительные блоки” алгоритмов машинного обучения. Чтобы понимать, как и когда следует использовать различные алгоритмы, нужно знать, какие методы за ними стоят. Тут встаёт вопрос — что именно собой представляет статистика?
Ста т истика — это математическая наука о сборе, анализе, интерпретации и представлении данных.
Для чего изучать статистику?
Один из основных принципов науки о данных — получение выводов из их анализа. Статистика отлично для этого подходит. Она является разновидностью математики и использует формулы, но она отнюдь не обязательно покажется пугающей, даже если вам не приходилось сталкиваться с ней раньше.
Машинное обучение зародилось из статистики. Основой используемых в нём алгоритмов и моделей является так называемое статистическое обучение. Знание основ статистики крайне полезно вне зависимости от того, изучаете вы глубоко алгоритмы МО или просто хотите быть в курсе новейших исследований в этой сфере.
Введение в типы данных
Хорошее понимание разных типов данных (шкал измерений) — основное условие для проведения разведочного анализа данных (EDA), ведь для определённых типов данных можно использовать только ограниченный набор статистических измерений.
Чтобы решить, какой метод визуализации выбрать, также необходимо понимать, с какими данными вы имеете дело. Думайте о типах данных как о способе категоризации разновидностей переменных. Далее мы обсудим основные типы данных и рассмотрим примеры для каждого из них.
Данные:
2. Категориальные (выражены словами): цвет глаз, пол, группа крови, этническая принадлежность
Типы данных:
Качественные и количественные данные
Разделение данных на качественные и количественные — основополагающий принцип разделения данных на типы. Чтобы определить тип, нужно выяснить, можно ли объективно измерить исследуемую характеристику с помощью чисел.
1) Качественные данные
В информации представлены характеристики, которые не измеряются числами, в то время как сами наблюдения можно разделить на измеряемое количество групп. Информацию, хранящуюся в таком типе переменной, трудно измерить, а измерения могут быть субъективными. Вкус, цвет автомобиля, архитектурный стиль, семейное положение — всё это типы качественных данных. Аналитики также называют такие данные категориальными.
1.1) Номинальные данные
Номинальные значения выражают дискретные единицы и служат для обозначения переменных, которые не имеют количественного выражения. Номинальные данные не имеют порядка, поэтому при изменении порядка значений итоговый результат не меняется. Ниже представлено два примера номинальных признаков:
Методы визуализации: для визуализации номинальных данных можно использовать круговую или столбчатую диаграмму.
В науке о данных можно использовать прямое кодирование, чтобы преобразовать номинальные данные в числовое свойство.
1.2) Порядковые данные
Порядковые данные — это смесь числовых и категориальных данных. Данные можно разбить на категории, но числа, ассоциируемые с каждой категорией, имеют значение. К примеру, рейтинг ресторана от 0 (самый низкий) до 4 (самый высокий) звёзд — это пример порядковых данных. Порядковые данные часто обрабатываются как категориальные, когда при построении диаграмм и графиков данные разделяются на упорядоченные группы. Однако, в отличие от категориальных, числа в порядковых данных имеют математическое значение. Таким образом, порядковые данные — это почти то же самое, что и номинальные, с тем лишь отличием, что в номинальных порядок не имеет значения. Взгляните на пример ниже:
Порядковые шкалы обычно используются для измерения нечисловых свойств, таких как счастье, уровень удовлетворённости клиентов, успеваемость студентов в классе, уровень квалификации и т. д.
Такие данные можно обобщать с помощью частотности, пропорций, процентных долей, а визуализировать — с помощью круговых и столбчатых диаграмм. Кроме того, можно использовать процентиль, медиану, моду, межквартильный размах.
В дополнение к порядковым и номинальным есть особый тип категориальных данных — бинарные (двоичные).
Бинарные данные принимают только два значения — “да” или “нет”, что можно представить разными способами: “истина” и “ложь” или 1 и 0. Бинарные данные широко применяются в классификационных моделях машинного обучения. В качестве примеров бинарных переменных можно привести следующие ситуации: отменил человек подписку или нет, купил машину или нет.
2) Количественные данные
Информация записывается в виде чисел и представляет объективное измерение или подсчёт. Температура, вес, количество транзакций — вот примеры количественных данных. Аналитики также называют такие данные числовыми.
2.1) Дискретные данные
Дискретные количественные данные — это подсчёт случаев наличия характеристики, результата, предмета, деятельности. Эти измерения невозможно поделить на более мелкие части без потери смысла. Например, у семьи может быть 1 или 2 машины, но их не может быть 1,6. Таким образом, существует конечное число возможных значений, которые можно зарегистрировать в процессе наблюдений.
У дискретных переменных можно подсчитать и оценить интенсивность потока событий или сводное количество (медиана, мода, среднеквадратичное отклонение). К примеру, в 2014 году у каждой американской семьи было, в среднем, по 2,11 транспортных средства.
Обычный способ графического представления дискретных переменных — столбчатые диаграммы, где каждый отдельный столбик представляет отдельное значение, а высота столбика означает его пропорцию к целому.
2.2) Непрерывные данные
Непрерывные данные могут принимать практически любое числовое значение и могут быть разделены на меньшие части, включая дробные и десятичные значения. Непрерывные переменные часто измеряют по шкале. Когда вы измеряете высоту, вес, температуру, вы имеете дело с непрерывными данными.
Например, средний рост в Индии составляет 5 футов 9 дюймов (
175 см.) для мужчин и 5 футов 4 дюйма (
Непрерывные данные подразделяются на 2 типа:
а) Интервальные данные
Интервальные значения представлены упорядоченными единицами, которые имеют одинаковое отличие друг от друга. Таким образом, мы говорим об интервальных данных, когда есть переменная, которая содержит упорядоченные числовые значения, и нам известны точные отличия этих значений. Примером может служить температура в заданном месте:
Проблема со значениями интервальных данных в том, что у них нет “ абсолютного нуля”.
б) Данные соотношения
Данные соотношения также представляют собой упорядоченные единицы с одинаковыми отличиями друг от друга. Это практически то же самое, что и интервальные данные, однако данные соотношения имеют “ абсолютный ноль”. Подходящие примеры — высота, вес, длина и т. д.
При работе с непрерывными данными можно использовать практически все методы: процентиль, медиану, межквартильный размах, среднее арифметическое, моду, среднеквадратичное отклонение, амплитуду.
Для визуализации непрерывных данных можно воспользоваться гистограммой или диаграммой размаха. С помощью гистограммы можно определить среднее значение и крутость распределения, изменчивость и модальность. Имейте в виду, что гистограмма не показывает выбросы — для этого нужно использовать диаграмму размаха.
Заключение
Из этой статьи вы узнали о различных типах данных, используемых в статистике, о разнице между дискретными и непрерывными данными, а также о том, что собой представляют номинальные, порядковые, бинарные, интервальные данные и данные соотношения. Кроме того, теперь вы знаете, какие статистические измерения и методы визуализации можно применять для разных типов данных и как преобразовать категориальные переменные в числовые. Это позволит вам провести большую часть разведочного анализа на представленном наборе данных.
ПРИМЕНЕНИЕ КВАЛИТАТИВНЫХ И КВАНТИТАТИВНЫХ МЕТОДОВ В ЛИНГВИСТИЧЕСКИХ ИССЛЕДОВАНИЯХ
Ищем педагогов в команду «Инфоурок»
ПРИМЕНЕНИЕ КВАЛИТАТИВНЫХ И КВАНТИТАТИВНЫХ МЕТОДОВ В ЛИНГВИСТИЧЕСКИХ ИССЛЕДОВАНИЯХ
Квантитативные исследования – исследования, которые в основном полагаются на ряд количественных данных. Корректные квантитативные данные придают исследованию логическую стройность и убедительность. Наиболее активно занимаются количественным анализом языка и речи математическая
лингвистика, квантитативная лингвистика, статистика речи, лингвостатистика. Существуют отдельные области лингвистических исследований, которые обладают в большей степени теми или иными признаками, так, например, речь и ее письменное воплощение – текст обладают значительным количеством признаков, поддающихся именно количественному анализу.
Необходимо отметить, что любая категоризация, т.е. качественный анализ языка, неразрывно связана с квантификацией языка, т.е. его количественным анализом. Более того, можно сказать, что точные исчисления, структурированное представление качественных признаков являются необходимыми составляющими любой научной работы.
В.В. Левицкий утверждает, что в лингвистических работах, какой бы уровень языка или текста ни был в них объектом изучения, количественные методы играют вспомогательную роль при осуществлении собственно лингвистического («качественного») анализа. В целом можно полагать, что количественный анализ помогает исследователю ответить, прежде всего, как устроен изучаемый объект. Главная же цель качественного анализа заключается в установлении причинных отношений между изучаемыми явлениями.
Если Вы считаете, что материал нарушает авторские права либо по каким-то другим причинам должен быть удален с сайта, Вы можете оставить жалобу на материал.
Введение в машинное обучение
1.1 Введение
Благодаря машинному обучению программист не обязан писать инструкции, учитывающие все возможные проблемы и содержащие все решения. Вместо этого в компьютер (или отдельную программу) закладывают алгоритм самостоятельного нахождения решений путём комплексного использования статистических данных, из которых выводятся закономерности и на основе которых делаются прогнозы.
Технология машинного обучения на основе анализа данных берёт начало в 1950 году, когда начали разрабатывать первые программы для игры в шашки. За прошедшие десятилетий общий принцип не изменился. Зато благодаря взрывному росту вычислительных мощностей компьютеров многократно усложнились закономерности и прогнозы, создаваемые ими, и расширился круг проблем и задач, решаемых с использованием машинного обучения.
Чтобы запустить процесс машинного обучение, для начала необходимо загрузить в компьютер Датасет(некоторое количество исходных данных), на которых алгоритм будет учиться обрабатывать запросы. Например, могут быть фотографии собак и котов, на которых уже есть метки, обозначающие к кому они относятся. После процесса обучения, программа уже сама сможет распознавать собак и котов на новых изображениях без содержания меток. Процесс обучения продолжается и после выданных прогнозов, чем больше данных мы проанализировали программой, тем более точно она распознает нужные изображения.
Благодаря машинному обучению компьютеры учатся распознавать на фотографиях и рисунках не только лица, но и пейзажи, предметы, текст и цифры. Что касается текста, то и здесь не обойтись без машинного обучения: функция проверки грамматики сейчас присутствует в любом текстовом редакторе и даже в телефонах. Причем учитывается не только написание слов, но и контекст, оттенки смысла и другие тонкие лингвистические аспекты. Более того, уже существует программное обеспечение, способное без участия человека писать новостные статьи (на тему экономики и, к примеру, спорта).
1.2 Типы задач машинного обучения
Все задачи, решаемые с помощью ML, относятся к одной из следующих категорий.
1)Задача регрессии – прогноз на основе выборки объектов с различными признаками. На выходе должно получиться вещественное число (2, 35, 76.454 и др.), к примеру цена квартиры, стоимость ценной бумаги по прошествии полугода, ожидаемый доход магазина на следующий месяц, качество вина при слепом тестировании.
2)Задача классификации – получение категориального ответа на основе набора признаков. Имеет конечное количество ответов (как правило, в формате «да» или «нет»): есть ли на фотографии кот, является ли изображение человеческим лицом, болен ли пациент раком.
3)Задача кластеризации – распределение данных на группы: разделение всех клиентов мобильного оператора по уровню платёжеспособности, отнесение космических объектов к той или иной категории (планета, звёзда, чёрная дыра и т. п.).
4)Задача уменьшения размерности – сведение большого числа признаков к меньшему (обычно 2–3) для удобства их последующей визуализации (например, сжатие данных).
5)Задача выявления аномалий – отделение аномалий от стандартных случаев. На первый взгляд она совпадает с задачей классификации, но есть одно существенное отличие: аномалии – явление редкое, и обучающих примеров, на которых можно натаскать машинно обучающуюся модель на выявление таких объектов, либо исчезающе мало, либо просто нет, поэтому методы классификации здесь не работают. На практике такой задачей является, например, выявление мошеннических действий с банковскими картами.
1.3 Основные виды машинного обучения
Основная масса задач, решаемых при помощи методов машинного обучения, относится к двум разным видам: обучение с учителем (supervised learning) либо без него (unsupervised learning). Однако этим учителем вовсе не обязательно является сам программист, который стоит над компьютером и контролирует каждое действие в программе. «Учитель» в терминах машинного обучения – это само вмешательство человека в процесс обработки информации. В обоих видах обучения машине предоставляются исходные данные, которые ей предстоит проанализировать и найти закономерности. Различие лишь в том, что при обучении с учителем есть ряд гипотез, которые необходимо опровергнуть или подтвердить. Эту разницу легко понять на примерах.
Машинное обучение с учителем
Предположим, в нашем распоряжении оказались сведения о десяти тысячах московских квартир: площадь, этаж, район, наличие или отсутствие парковки у дома, расстояние от метро, цена квартиры и т. п. Нам необходимо создать модель, предсказывающую рыночную стоимость квартиры по её параметрам. Это идеальный пример машинного обучения с учителем: у нас есть исходные данные (количество квартир и их свойства, которые называются признаками) и готовый ответ по каждой из квартир – её стоимость. Программе предстоит решить задачу регрессии.
Ещё пример из практики: подтвердить или опровергнуть наличие рака у пациента, зная все его медицинские показатели. Выяснить, является ли входящее письмо спамом, проанализировав его текст. Это всё задачи на классификацию.
Машинное обучение без учителя
В случае обучения без учителя, когда готовых «правильных ответов» системе не предоставлено, всё обстоит ещё интереснее. Например, у нас есть информация о весе и росте какого-то количества людей, и эти данные нужно распределить по трём группам, для каждой из которых предстоит пошить рубашки подходящих размеров. Это задача кластеризации. В этом случае предстоит разделить все данные на 3 кластера (но, как правило, такого строгого и единственно возможного деления нет).
Если взять другую ситуацию, когда каждый из объектов в выборке обладает сотней различных признаков, то основной трудностью будет графическое отображение такой выборки. Поэтому количество признаков уменьшают до двух или трёх, и становится возможным визуализировать их на плоскости или в 3D. Это – задача уменьшения размерности.
1.4 Основные алгоритмы моделей машинного обучения
1. Дерево принятия решений
Это метод поддержки принятия решений, основанный на использовании древовидного графа: модели принятия решений, которая учитывает их потенциальные последствия (с расчётом вероятности наступления того или иного события), эффективность, ресурсозатратность.
Для бизнес-процессов это дерево складывается из минимального числа вопросов, предполагающих однозначный ответ — «да» или «нет». Последовательно дав ответы на все эти вопросы, мы приходим к правильному выбору. Методологические преимущества дерева принятия решений – в том, что оно структурирует и систематизирует проблему, а итоговое решение принимается на основе логических выводов.
2. Наивная байесовская классификация
Наивные байесовские классификаторы относятся к семейству простых вероятностных классификаторов и берут начало из теоремы Байеса, которая применительно к данному случаю рассматривает функции как независимые (это называется строгим, или наивным, предположением). На практике используется в следующих областях машинного обучения:
Всем, кто хоть немного изучал статистику, знакомо понятие линейной регрессии. К вариантам её реализации относятся и наименьшие квадраты. Обычно с помощью линейной регрессии решают задачи по подгонке прямой, которая проходит через множество точек. Вот как это делается с помощью метода наименьших квадратов: провести прямую, измерить расстояние от неё до каждой из точек (точки и линию соединяют вертикальными отрезками), получившуюся сумму перенести наверх. В результате та кривая, в которой сумма расстояний будет наименьшей, и есть искомая (эта линия пройдёт через точки с нормально распределённым отклонением от истинного значения).
Линейная функция обычно используется при подборе данных для машинного обучения, а метод наименьших квадратов – для сведения к минимуму погрешностей путем создания метрики ошибок.
4. Логистическая регрессия
Логистическая регрессия – это способ определения зависимости между переменными, одна из которых категориально зависима, а другие независимы. Для этого применяется логистическая функция (аккумулятивное логистическое распределение). Практическое значение логистической регрессии заключается в том, что она является мощным статистическим методом предсказания событий, который включает в себя одну или несколько независимых переменных. Это востребовано в следующих ситуациях:
Это целый набор алгоритмов, необходимых для решения задач на классификацию и регрессионный анализ. Исходя из того что объект, находящийся в N-мерном пространстве, относится к одному из двух классов, метод опорных векторов строит гиперплоскость с мерностью (N – 1), чтобы все объекты оказались в одной из двух групп. На бумаге это можно изобразить так: есть точки двух разных видов, и их можно линейно разделить. Кроме сепарации точек, данный метод генерирует гиперплоскость таким образом, чтобы она была максимально удалена от самой близкой точки каждой группы.
SVM и его модификации помогают решать такие сложные задачи машинного обучения, как сплайсинг ДНК, определение пола человека по фотографии, вывод рекламных баннеров на сайты.
Он базируется на алгоритмах машинного обучения, генерирующих множество классификаторов и разделяющих все объекты из вновь поступающих данных на основе их усреднения или итогов голосования. Изначально метод ансамблей был частным случаем байесовского усреднения, но затем усложнился и оброс дополнительными алгоритмами:
Кластеризация заключается в распределении множества объектов по категориям так, чтобы в каждой категории – кластере – оказались наиболее схожие между собой элементы.
Кластеризировать объекты можно по разным алгоритмам. Чаще всего используют следующие:
8. Метод главных компонент (PCA)
Метод главных компонент, или PCA, представляет собой статистическую операцию по ортогональному преобразованию, которая имеет своей целью перевод наблюдений за переменными, которые могут быть как-то взаимосвязаны между собой, в набор главных компонент – значений, которые линейно не коррелированы.
Практические задачи, в которых применяется PCA, – визуализация и большинство процедур сжатия, упрощения, минимизации данных для того, чтобы облегчить процесс обучения. Однако метод главных компонент не годится для ситуаций, когда исходные данные слабо упорядочены (то есть все компоненты метода характеризуются высокой дисперсией). Так что его применимость определяется тем, насколько хорошо изучена и описана предметная область.
9. Сингулярное разложение
В линейной алгебре сингулярное разложение, или SVD, определяется как разложение прямоугольной матрицы, состоящей из комплексных или вещественных чисел. Так, матрицу M размерностью [m*n] можно разложить таким образом, что M = UΣV, где U и V будут унитарными матрицами, а Σ – диагональной.
Одним из частных случаев сингулярного разложения является метод главных компонент. Самые первые технологии компьютерного зрения разрабатывались на основе SVD и PCA и работали следующим образом: вначале лица (или другие паттерны, которые предстояло найти) представляли в виде суммы базисных компонент, затем уменьшали их размерность, после чего производили их сопоставление с изображениями из выборки. Современные алгоритмы сингулярного разложения в машинном обучении, конечно, значительно сложнее и изощрённее, чем их предшественники, но суть их в целом нем изменилась.
10. Анализ независимых компонент (ICA)
Это один из статистических методов, который выявляет скрытые факторы, оказывающие влияние на случайные величины, сигналы и пр. ICA формирует порождающую модель для баз многофакторных данных. Переменные в модели содержат некоторые скрытые переменные, причем нет никакой информации о правилах их смешивания. Эти скрытые переменные являются независимыми компонентами выборки и считаются негауссовскими сигналами.
В отличие от анализа главных компонент, который связан с данным методом, анализ независимых компонент более эффективен, особенно в тех случаях, когда классические подходы оказываются бессильны. Он обнаруживает скрытые причины явлений и благодаря этому нашёл широкое применение в самых различных областях – от астрономии и медицины до распознавания речи, автоматического тестирования и анализа динамики финансовых показателей.
1.5 Примеры применения в реальной жизни
Пример 1. Диагностика заболеваний
Пациенты в данном случае являются объектами, а признаками – все наблюдающиеся у них симптомы, анамнез, результаты анализов, уже предпринятые лечебные меры (фактически вся история болезни, формализованная и разбитая на отдельные критерии). Некоторые признаки – пол, наличие или отсутствие головной боли, кашля, сыпи и иные – рассматриваются как бинарные. Оценка тяжести состояния (крайне тяжёлое, средней тяжести и др.) является порядковым признаком, а многие другие – количественными: объём лекарственного препарата, уровень гемоглобина в крови, показатели артериального давления и пульса, возраст, вес. Собрав информацию о состоянии пациента, содержащую много таких признаков, можно загрузить её в компьютер и с помощью программы, способной к машинному обучению, решить следующие задачи:
Пример 2. Поиск мест залегания полезных ископаемых
В роли признаков здесь выступают сведения, добытые при помощи геологической разведки: наличие на территории местности каких-либо пород (и это будет признаком бинарного типа), их физические и химические свойства (которые раскладываются на ряд количественных и качественных признаков).
Для обучающей выборки берутся 2 вида прецедентов: районы, где точно присутствуют месторождения полезных ископаемых, и районы с похожими характеристиками, где эти ископаемые не были обнаружены. Но добыча редких полезных ископаемых имеет свою специфику: во многих случаях количество признаков значительно превышает число объектов, и методы традиционной статистики плохо подходят для таких ситуаций. Поэтому при машинном обучении акцент делается на обнаружение закономерностей в уже собранном массиве данных. Для этого определяются небольшие и наиболее информативные совокупности признаков, которые максимально показательны для ответа на вопрос исследования – есть в указанной местности то или иное ископаемое или нет. Можно провести аналогию с медициной: у месторождений тоже можно выявить свои синдромы. Ценность применения машинного обучения в этой области заключается в том, что полученные результаты не только носят практический характер, но и представляют серьёзный научный интерес для геологов и геофизиков.
Пример 3. Оценка надёжности и платёжеспособности кандидатов на получение кредитов
С этой задачей ежедневно сталкиваются все банки, занимающиеся выдачей кредитов. Необходимость в автоматизации этого процесса назрела давно, ещё в 1960–1970-е годы, когда в США и других странах начался бум кредитных карт.
Лица, запрашивающие у банка заём, – это объекты, а вот признаки будут отличаться в зависимости от того, физическое это лицо или юридическое. Признаковое описание частного лица, претендующего на кредит, формируется на основе данных анкеты, которую оно заполняет. Затем анкета дополняется некоторыми другими сведениями о потенциальном клиенте, которые банк получает по своим каналам. Часть из них относятся к бинарным признакам (пол, наличие телефонного номера), другие — к порядковым (образование, должность), большинство же являются количественными (величина займа, общая сумма задолженностей по другим банкам, возраст, количество членов семьи, доход, трудовой стаж) или номинальными (имя, название фирмы-работодателя, профессия, адрес).
Для машинного обучения составляется выборка, в которую входят кредитополучатели, чья кредитная история известна. Все заёмщики делятся на классы, в простейшем случае их 2 – «хорошие» заёмщики и «плохие», и положительное решение о выдаче кредита принимается только в пользу «хороших».
Более сложный алгоритм машинного обучения, называемый кредитным скорингом, предусматривает начисление каждому заёмщику условных баллов за каждый признак, и решение о предоставлении кредита будет зависеть от суммы набранных баллов. Во время машинного обучения системы кредитного скоринга вначале назначают некоторое количество баллов каждому признаку, а затем определяют условия выдачи займа (срок, процентную ставку и остальные параметры, которые отражаются в кредитном договоре). Но существует также и другой алгоритм обучения системы – на основе прецедентов.