книги про нейронные сети и машинное обучение
36 материалов о нейросетях: книги, статьи и последние исследования
Что делать, если хочется побольше узнать про нейронные сети, методы распознавания образов, компьютерное зрение и глубокое обучение? Один из очевидных вариантов — подыскать для себя какие-либо курсы и начать активно изучать теорию и решать практические задачи. Однако на это придется выделить значительную часть личного времени. Есть другой способ — обратиться к «пассивному» источнику знаний: выбрать для себя литературу и погрузиться в тему, уделяя этому всего полчаса-час в день.
Поэтому, желая облегчить жизнь себе и читателям, мы сделали краткую подборку из книг, статей и текстов по направлению нейросетей и глубокого обучения, рекомендуемых к прочтению резидентами GitHub, Quora, Reddit и других платформ. В неё вошли материалы как для тех, кто только начинает знакомство с нейротехнологиями, так и для коллег, желающих расширить свои знания в этой области или просто подобрать «легкое чтение» на вечер.
Актуальный контекст
Любой предложенный список, сколь бы длинным он ни был, будет обладать главной и определяющей чертой — неполнотой. Потому что жизнь не стоит на месте: и научная мысль, и технологии развиваются, многие постановки задач описываются, а полученные решения — раскрываются в отчетных публикациях конференций, в журналах и сборниках. Для тех, кто задается вопросом, что происходит в настоящий момент и чем живет сообщество, стоит порекомендовать следить за материалами профильных мероприятий — ICML и NIPS.
И всё же, с чего начать?
Neural Networks and Deep Learning
Это бесплатная онлайн-книга ученого и программиста Майкла Нильсена (Michael Nielsen). Автор раскрывает тему глубокого обучения нейронных сетей и отвечает на такие вопросы, как: «Почему нейросети сложно тренировать?», «Как работает алгоритм обратного распространения ошибки?».
Автор книги: Tariq Rashid
Make Your Own Neural Network
Книга раскрывает математические принципы, лежащие в основе нейронных сетей, и предлагает написать собственную нейросеть на Python. Сеть будет распознавать написанные от руки цифры. Цель книги — дать читателю четкое понимание того, как работают нейросистемы, сделать информацию доступнее.
A Brief Introduction to Neural Networks
Автор книги, специалист по анализу данных и машинному обучению, простым языком объясняет принципы работы нейронных сетей. После прочтения можно самому начать работать с нейросистемами и разбираться в чужом коде. Книга постоянно улучшается, в обновленных версиях, на основании фидбека от читателей.
An Introduction to Statistical Learning
Книга-введение в методы статистического обучения. Целевая аудитория — студенты и выпускники вузов, в том числе нематематических специальностей. Всё очень доступно и с туториалами на R.
Programming Collective Intelligence
Книга рассказывает, как анализировать пользовательский опыт и человеческое поведение на основании информации, получаемой нами ежедневно. Предложенные алгоритмы сопровождаются кодом, который можно сразу использовать на веб-сайте или в приложении. Каждая глава включает практические упражнения, задача которых — усилить, отшлифовать алгоритмы.
Neural Networks: A Systematic Introduction
Общая теория о создании искусственных нейронных сетей. Каждая глава содержит примеры, иллюстрации и библиографию. Книга подойдет для тех, кто хочет углубить свои знания в этой сфере, но также может служить неплохой базой для курсов по нейровычислениям.
Deep Learning: Methods and Applications
Книга от Microsoft Research с основными методологиями глубокого обучения. Авторы рассказывают о том, как нейросети используются в задачах обработки сигналов и информации. Рассматриваются области, в которых глубокое обучение уже нашло активное применение, а также сферы, где оно может оказать значительное влияние в долгосрочной перспективе.
Deep Learning Tutorial
Издание Монреальского университета (Канада). Здесь собраны руководства по наиболее важным алгоритмам глубокого обучения. В книге показано, как реализовать их с помощью библиотеки Theano. Как отмечают авторы, читатель должен иметь представление о Python и NumPy, а также пройти курс по обращению с Theano.
Pattern Recognition and Machine Learning
Это первый учебник по распознаванию образов, представляющий Байесовский метод. В книге собраны алгоритмы приближенного вывода для ситуаций, в которых точные ответы получить невозможно. Информация подкрепляется графическими моделями для описания распределения вероятностей. Книга подходит каждому, поскольку для её свободного чтения не требуется доскональное знание концепций машинного обучения и распознавания паттернов.
Автор книги: Simon S Haykin
Neural Networks and Learning Machines
В книге разбираются концепции и принципы работы нейронных сетей и самообучающихся машин. На сегодняшний день выпущено уже третье издание.
Hands-On Machine Learning
С помощью наглядных примеров, минимума теории и двух production-ready фреймворков для Python автор помогает понять, как строятся интеллектуальные системы. Вы узнаете о различных техниках: начиная с простой линейной регрессии и заканчивая глубоким обучением. В каждой главе предусмотрены упражнения для закрепления приобретенных знаний.
Руководство хакера по нейронным сетям
Андрей Карпаты (Andrej Karpathy), заведующий разработкой ИИ в Tesla, предлагает заглянуть в прошлое нейронных сетей и начать знакомство с технологией real-valued circuits. Автор также является преподавателем курса CS231 в Стэнфорде, материалы которого тесно связаны с этой статьей. Слайды можно найти по ссылке. А заметки – тут.
Глубокое обучение, обработка естественного языка и представление данных
Как использовать глубокие нейронные сети для обработки естественного языка (NLP). Автор также старается дать ответ на вопрос, почему работают нейронные сети.
Глубокое обучение: Руководство
Java-разработчик Иван Васильев представляет ключевые концепции и алгоритмы, стоящие за глубоким обучением, используя для этого язык программирования Java. Библиотека Java для глубокого обучения находится здесь.
Происхождение глубокого обучения
Эта публикация — исторический обзор развития глубоких моделей обучения. Авторы начинают повествование с того, как появились нейронные сети, и плавно переходят к технологиям последнего десятилетия: глубоким сетям доверия, сверточным и рекуррентным нейронным сетям.
Глубокое обучение с подкреплением: Обзор
Материал посвящен последним достижениям в отрасли глубокого обучения с подкреплением (RL). Сперва авторы обращаются к принципам глубокого обучения и обучения с подкреплением, а затем переходят к проблемам их реальной применимости: играм (AlphaGo), робототехнике, чат-ботам и др.
/ Flickr / Brandur Øssursson / PD
Продвинутое чтение
Neural Networks for Applied Sciences and Engineering
Обзор архитектур нейронных сетей для непосредственного анализа данных. В отдельных главах авторы рассуждают о применимости самоорганизующихся карт для кластеризации нелинейных данных, а также об использовании рекуррентных сетей в науке.
Нейронные сети. Полный курс
В книге рассматриваются парадигмы искусственных нейронных сетей с иллюстрациями и примерами конкретных задач. Анализируется роль нейронных сетей при решении задач распознавания образов, управления и обработки сигналов. Книга будет полезна для инженеров, специалистов в области компьютерных наук, физиков, а также для всех, кто интересуется искусственными нейронными сетями.
Самоорганизующиеся карты
Самоорганизующиеся карты, вместе с их разновидностями, представляют собой одну из наиболее популярных нейросетевых архитектур, ориентированных на обучение без учителя. В книге дается детальное изложение математического аппарата и применений для самоорганизующихся карт. Подходит для специалистов в области нейромоделирования, а также студентов и аспирантов университетов.
Автор книги: Ian Goodfellow
Deep Learning (Adaptive Computation and Machine Learning series)
«Deep Learning» является единственной исчерпывающей книгой в этой области», — это слова Илона Маска, соучредителя Tesla и SpaceX. В тексте аккумулирован математический бэкграунд, рассматриваются важные концепции линейной алгебры, теории вероятностей, теории информации и машинного обучения.
Neural Networks for Pattern Recognition
В книге приведены техники для моделирования функций плотности вероятности. Рассматриваются алгоритмы минимизации функции ошибок, а также Байесовский метод и его применение. Кроме того, авторы собрали под этой обложкой более ста полезных упражнений.
Быстрый обучающий алгоритм для глубоких сетей доверия
Авторы статьи предлагают алгоритм, способный обучать глубокие сети доверия (DBM) по одному слою за раз. Также стоит обратить внимание на видеоруководство по глубоким сетям доверия от одного из авторов — Джеффри Хинтона (G. E. Hinton).
Обучение представлений методом обратного распространения ошибки
Считается основой концепции обучения нейронных сетей. Исторический экскурс и реализация. Рекомендуется к прочтению.
Учимся генерировать кресла, столы и автомобили с помощью сверточных сетей
Статья показывает, что генеративные сети могут находить сходства между объектами, обладая более высокой производительностью, по сравнению с конкурентными решениями. Концепция, представленная в этой статье, также может использоваться для генерации лиц.
Завершение изображений с глубоким обучением в TensorFlow
Статья рассказывает, как использовать глубокое обучение для завершения изображений, используя DCGAN. Пост рассчитан на техническую аудиторию с бэкграундом в машинном обучении. Весь исходный код автор выложил на GitHub.
Генератор лиц в Torch
Автор реализует генеративную модель, которая превращает случайный «шум» в изображения лиц. Делается это с помощью генеративной состязательной сети (GAN).
Практическое руководство по тренировке ограниченных машин Больцмана
Обзор ограниченных машин Больцмана. Авторы приводят множество рецептов по отладке и улучшению работы системы: назначению весов, мониторингу, выбору числа скрытых узлов.
Улучшение нейронных сетей путем предотвращения коадаптации детекторов признаков
Когда крупная нейронная сеть обучается на небольшом тренировочном наборе данных, она обычно выдает плохие результаты. Авторы предлагают способ, который должен решить проблему «переобучения», научив нейроны определять признаки, помогающие сгенерировать корректный ответ.
YOLO: обнаружение объектов в реальном времени
Авторы демонстрируют подход к распознаванию объектов — YOLO (You Only Look Once). По их задумке, с изображением работает одна нейронная сеть, которая делит его на регионы. Регионы очерчиваются граничными рамками и «взвешиваются» на основании предсказанных вероятностей. Как реализовать «миниверсию» YOLO для работы на мобильных устройствах под iOS вы можете узнать из этой статьи.
Как предсказать нераспознаваемые изображения
Одно из недавних исследований показало, что изменение изображения (незаметное для человека) способно обмануть глубокие нейронные сети, заставив последнюю установить неверный маркер. Эта работа проливает свет на интересные различия между человеческим и машинным зрением.
Deep Voice: преобразование «текст-в-речь» в реальном времени
Авторы представляют систему Deep Voice для преобразования текста в речь, построенную на глубоких нейронных сетях. По уверениям ученых, за каждый компонент отвечает своя нейросеть, поэтому их система гораздо быстрее традиционных решений. Стоит пощупать.
PixelNet: Представление пикселей, пикселями и для пикселей
Авторы исследуют принципы генерализации на пиксельном уровне, предлагая алгоритм, адекватно показывающий себя в таких задачах, как семантическая сегментация, выделение границ и оценка нормалей к поверхностям.
Генеративные модели от OpenAI
Этот пост описывает четыре проекта, которые адаптируют генеративные модели. Авторы рассказывают, что это такое, где они используются и почему важны.
Учимся генерировать кресла с помощью сверточных нейронных сетей
Здесь описан процесс тренировки генеративной сверточной нейронной сети для генерации изображений объектов по типу и цвету. Сеть умеет интерполировать ряды изображений и заполнять «пустые места» недостающими элементами.
Генеративно-состязательная сеть в 50 строках кода
Как натренировать генеративную состязательную сеть (GAN)? Нужно лишь взять PyTorch и написать 50 строчек кода. Попробуем на досуге.
And last but not least
Какая книга лежит на столах у многих сотрудников Neurodata Lab и может считаться одной из любимых?
Авторы книги: Amit Konar, Aruna Chakraborty
Emotion Recognition. A Pattern Analysis Approach
Прекрасный материал, грамотно структурированный и опирающийся на большой объем источников и данных. Книга подходит для всех, кто увлечен проблематикой детекции и распознавания эмоций с технической точки зрения, и тем кто просто ищет захватывающее чтение.
Книги про нейронные сети и машинное обучение
6 книг по искусственному интеллекту [Python]
[1] Python для сложных задач. Наука о данных и машинное обучение [2018] Плас Дж
Это подробное руководство по самым разным вычислительным и статистическим методам, без которых немыслима любая интенсивная обработка данных, научные исследования и передовые разработки. Читатели, уже имеющие опыт программирования и желающие эффективно использовать Python в сфере Data Science, найдут в этой книге ответы на всевозможные вопросы.
[2] Машинное обучение и TensorFlow [2019] Шакла
[3] Основы Data Science и Big Data. Python и наука о данных [2018] Силен
[5] Прикладное машинное обучение с помощью Scikit-Learn и TensorFlow. Концепции, инструменты и техники для создания интеллектуальных систем [2018] Жерон
«Эта книга — замечательное введение в теорию и практику решения задач с помощью нейронных сетей. Она охватывает ключевые моменты, необходимые для построения эффективных приложений, а также обеспечивает достаточную основу для понимания результатов новых исследований по мере их появления. Я рекомендую эту книгу всем, кто заинтересован в освоении практического машинного обучения».
— Пит Уорден, технический руководитель направления TensorFlow.
Благодаря серии недавних достижений глубокое обучение значительно усилило всю область машинного обучения. В наше время даже программисты, почти ничего не знающие об этой технологии, могут использовать простые и эффективные инструменты для реализации программ, которые способны обучаться на основе данных. В настоящем практическом руководстве показано, что и как следует делать.
За счет применения конкретных примеров, минимума теории и двух фреймворков Python производственного уровня — Scikit-Learn и TensorFlow — автор книги Орельен Жерон поможет вам получить интуитивное представление о концепциях и инструментах, предназначенных для построения интеллектуальных систем. Вы узнаете о ряде приемов, начав с простой линейной регрессии и постепенно добравшись до глубоких нейронных сетей. Учитывая наличие в каждой главе упражнений, призванных закрепить то, чему вы научились, для начала работы нужен лишь опыт программирования.
— Исследуйте область машинного обучения, особенно нейронные сети.
— Используйте Scikit-Learn для отслеживания проекта машинного обучения от начала до конца.
— Исследуйте некоторые обучающие модели, включая методы опорных векторов, деревья принятия решений, случайные леса и ансамблевые методы.
— Применяйте библиотеку TensorFlow для построения и обучения нейронных сетей.
— Исследуйте архитектуры нейронных сетей, включая сверточные сети, рекуррентные сети и глубокое обучение с подкреплением.
— Освойте приемы для обучения и масштабирования глубоких нейронных сетей.
— Используйте практические примеры кода, не овладевая чрезмерно теорией машинного обучения или деталями алгоритмов.
[6] Глубокое обучение в Python [2018] Франсуа Шолле
18 лучших книг про нейронные сети, искусственный интеллект, машинное обучение и big data
Автор полезных текстов в MC.today
Нейронные сети могут отследить мошенничество с банковскими картами, организовать логистику, предсказать рост или падение цен и так далее. Редакция MC.today собрала лучшие книги про нейронные сети для новичков и профессионалов. Они помогут разобраться, как работает машинное и глубокое обучение и как внедрить искусственный интеллект в бизнес.
Нейронные сети
«Создаем нейронную сеть», Тарик Рашид
Тарик Рашид – специалист в сфере количественного анализа данных. В книге он несложно рассказывает, что такое нейросети, как они работают и где используются. Еще он объясняет, как на языке Python создать код, который распознает написанные от руки цифры.
«Нейронные сети. Полный курс», Саймон Хайкин
Книга про нейронные сети для инженеров, физиков, программистов и всех, кому это интересно. Вы узнаете, как они распознают образы и обрабатывают сигналы. Автор подкрепил теорию математическими вычислениями, компьютерными исследованиями и практическими примерами.
Чем полезна? Книгу можно использовать для разработки курсов по нейронным сетям. Здесь рассматриваются важные системы нейросетей, есть много практических задач, а в конце автор представил список дополнительной литературы, если вы захотите еще больше углубиться в тему. Заказать книгу.
«Нейронные сети для прикладных наук и инженерии: от основ до распознавания сложных образов», Сандхья Самарасингхе
Автор делает обзор архитектур нейронных сетей для анализа информации. Она объясняет все этапы разработки модели нейросетей на примерах и рассказывает, как с их помощью можно делать прогнозы. Еще вы узнаете, как нейросети связаны со статистикой.
Чем полезна? Несмотря на научный контекст, книга написана просто, а сложные математические понятия объясняются с помощью изображений.
«Распознавание эмоций. Подход к анализу паттернов», Амит Конар, Аруна Чакраборти
Авторы собрали самые важные достижения науки в сфере распознавания эмоций нейросетями. Они объясняют, как машина может считать эмоции человека по выражению лица, голосу и жестам. Например, в автомобильной сфере нейросети выясняют уровень стресса и гнева водителей. Эмоциональное состояние последних влияет на их способность управлять автомобилем и может привести к аварии. Амит Конар и Аруна Чакраборти говорят, что потребность в таком анализе появляется и в других областях: психиатрии, медицине и государственных структурах.
Чем полезна? Вы узнаете, в каком направлении будут развиваться новые технологии в сфере распознавания эмоций.
Искусственный интеллект
«Искусственный интеллект: современный подход (AIMA-2). 2-е издание», Стюарт Рассел, Питер Норвиг
Авторы считают: искусственный интеллект – это наука об «агентах», которые получают информацию, а затем выполняют действия. Они рассказывают о математической логике, теории вероятностей и непрерывных функциях. Книга предназначена для студентов IT-специальностей, аспирантов и разработчиков, которые изучают искусственный интеллект. Если хотите больше примеров, книга дополнена специальным интернет-ресурсом, на который ссылаются авторы на страницах.
Чем полезна? Кроме теории здесь описаны работающие алгоритмы. Еще Стюарт Рассел и Питер Норвиг делятся профессиональным опытом и дают советы разработчикам. Заказать книгу.
«Внедрение искусственного интеллекта в бизнес-практику. Преимущества и сложности», Томас Дэвенпорт
Эксперт в области аналитики и больших данных Томас Дэвенпорт рассказывает, зачем компаниям внедрять искусственный интеллект. В книге он рассматривает машинное и глубокое обучение, нейронные сети, обработку языка и роботизацию и рассказывает, как они повлияют на бизнес-процессы. Материал подойдет руководителям IT-отдела и отдела инноваций, топ-менеджерам и операционным директорам.
Чем полезна? На примерах компаний Amazon, Google, Facebook, GlaxoSmithKline, Uber и GE автор разбирает, когда эти технологии принесли пользу, а когда стали провальными. Заказать книгу.
«Совместимость. Как контролировать искусственный интеллект», Стюарт Рассел
Профессор компьютерных наук в Калифорнийском университете в Беркли Стюарт Рассел считает, что конфликта между машинами и людьми можно избежать. Но для этого сначала нужно сделать некоторые открытия. По словам автора, главная задача – перестроить машины так, чтобы они решали задачи людей, а не свои собственные. Например, роботы могут помогать людям, которые не могут сами за собой ухаживать – так последние получат определенную независимость. Он считает: действия машин должны ограничиваться.
Чем полезна? Автор расписывает возможности и угрозы искусственного интеллекта. Заказать книгу.
«Искусственный интеллект с примерами на Python», Пратик Джоши
Автор рассказывает, как искусственный интеллект используют в поисковиках, беспилотных автомобилях, для распознавания образов и так далее. Вы узнаете, как программа принимает решения на основе алгоритмов. Еще автор объясняет:
Чем полезна? Вы на примерах разберете, как обучать искусственный интеллект. Заказать книгу.
Глубокое обучение
«Основы глубокого обучения. Создание алгоритмов для искусственного интеллекта следующего поколения», Нихиль Будума, Николас Локашо
Автор рассказывает, на каких принципах строится глубокое обучение искусственного интеллекта. В книге есть примеры компаний Google, Microsoft и Facebook. Он рассматривает возможности этого направления и объясняет, какие есть сложности в развитии искусственных нейросетей.
Чем полезна? Автор пишет легко и объясняет каждый термин, чтобы любой человек мог разобраться в теме машинного обучения. Заказать книгу.
«Глубокое обучение: готовые решения», Давид Осинга
Чем полезна? С помощью примеров из книги программисты без опыта в этой сфере научатся создавать работающие приложения. Заказать книгу.
«Глубокое обучение для поисковых систем», Томмазо Теофили
Книга для программистов среднего уровня, которые хотят улучшить работу поисковых систем. Автор рассказывает, как работают последние, и на примерах с фрагментами кода показывает разные методы поиска. Он освещает проблемы поисковиков и предлагает способы их решить. Еще он делится советами, как протестировать нейросеть и измерить ее выгоды.
Чем полезна? Поймете, как использовать поисковые сети на максимум. Заказать книгу.
«Глубокое обучение и TensorFlow для профессионалов. Математический подход к построению систем искусственного интеллекта на Python», Сантану Паттанаяк
Углубленное практическое руководство по глубокому обучению. Сначала автор объясняет математическую базу, а затем рассказывает об обучении и TensorFlow. Еще вы разберетесь со сверточными (класс глубинных нейросетей для анализа визуальных изображений. – Прим. ред.) и рекуррентными (клас нейросетей, где связи между элементами образуют направленную последовательность. – Прим. ред.) нейронными сетями.
Чем полезна? Узнаете, как работать с библиотеками TensorFlow, оптимизировать структуру глубокого обучения, проводить самостоятельные исследования и эксперименты. Заказать книгу.
Машинное обучение
Цель этого учебника – научить создавать коммерческие приложения. Авторы расскажут о самых важных подходах к анализу информации и четырех видах машинного обучения:
Книга подходит студентам и аспирантам, которые изучают интеллектуальный анализ информации, и пригодится профессиональным разработчикам как справочник.
Чем полезна? Авторы показывают примеры, как машинное обучение помогает в бизнесе: прогнозирует цены, изучает поведение клиентов, оценивает риски и так далее. Вы поймете, как анализировать данные на разных этапах разработки приложения. Заказать книгу.
«Прикладное машинное обучение с помощью Scikit-Learn и TensorFlow: концепции, инструменты и техники для создания интеллектуальных систем», Орельен Жерон
В книге рассказывают об исследованиях в сфере машинного обучения и как с их помощью создавать работающие приложения. Здесь мало теории, много примеров и два фреймворка Python. После прочтения вы разберетесь в обучающих моделях, библиотеках TensorFlow, архитектуре нейронных сетей и так далее. Еще вы поймете, как обучать глубокие нейросети.
Чем полезна? Это сборник практических советов. После каждой главы есть задания, которые помогут лучше разобраться в материале. Заказать книгу.
«Python и машинное обучение. Машинное и глубокое обучение с использованием Python, Scikit-Learn и TensorFlow. 2-е издание» Себастьян Рашка, Вахид Мирджалил
Авторы рассказывают и показывают на примерах, как создавать приложения на языке Python. В новом издании есть последние исследования на эту тему. Сначала авторы говорят об алгоритмах машинного и глубокого обучения, а затем об анализе информации. Они дают теорию и объясняют, как писать код на практике. Вы поймете как:
Чем полезна? Вы узнаете про последние технологии машинного обучения, нейронных сетей и глубокого обучения. Заказать книгу.
«Руководство хакера по нейронным сетям в JavaScript», Венелин Валков
Руководство для начинающих по машинному обучению в браузере с помощью TensorFlow. Автор рассказывает, как:
Чем полезна? В книге много примеров, поэтому новички разберутся в теории машинного обучения, а профессионалы найдут практические способы решить проблемы в работе.
Big data
«Основы big data: концепции, алгоритмы и технологии», Томас Эрл
Книга подходит новичкам, которые хотят разобраться в концепциях, терминах и методах больших данных. Теория подкреплена примерами, а чтобы материал был понятнее, автор использует диаграммы. Вы узнаете:
Чем полезна? Разберетесь, зачем бизнесу обрабатывать большие данные. Узнаете, какие есть технологии хранения и обработки big data. Поймете, какие есть методы их анализа. Заказать книгу.
«Большие данные: важное руководство для работы, жизни и обучения в эпоху проницательности», Кеннет Кукьер, Виктор Майер-Шенбергер
Человечество научилось обрабатывать большое количество информации, и это уже начало приносить результаты. Так можно выгодно покупать авиабилеты и даже прогнозировать пожары в зданиях и так далее. Но у больших данных есть и другая сторона: непонятно, как быть с приватностью и смогут ли люди сами принимать решения в будущем. В книге разбирают эту дилемму.