инженер машинного обучения кто это
Как я не стал специалистом по машинному обучению
Истории успеха любят все. И на хабре их достаточно много.
Это же здорово, что человек добился успеха и решил об этом рассказать! Читаешь и радуешься за него. Но большинство таких историй объединяет одно: ты не можешь повторить путь автора! Либо ты живешь не в то время, либо не в том месте, либо ты родился мальчиком, либо…
Я думаю, что истории неуспеха в этом плане часто бывают полезней. Тебе просто не нужно делать то, что сделал автор. А это, согласитесь, гораздо проще, чем пытаться повторить чей-то опыт. Просто такими историями люди обычно не хотят делиться. А я расскажу.
Я много лет проработал в системной интеграции и тех.поддержке. Несколько лет назад я даже поехал работать системным инженером в Германию, чтобы получать больше денег. Но область системной интеграции меня уже давно не вдохновляла, и я хотел сменить сферу на что-то более денежное и интересное. И в конце 2015 года наткнулся на хабре на статью «Из физиков в Data Science (Из двигателей науки в офисный планктон)», в которой Владимир описывает свой путь в Data Science. Я понял: это то, что мне нужно. Я неплохо знал SQL и мне было интересно работать с данными. Особенно меня впечатляли вот такие графики:
Даже минимальная зарплата в этой сфере была выше, чем любая моя зарплата за всю предыдущую жизнь. Я твердо решил стать инженером по машинному обучению. Последовав примеру Владимира, я записался на coursera.org на специализацию из девяти курсов: «Data Science».
Я делал по одному курсу в месяц. Я был очень прилежным. На каждом курсе я выполнял все задания, пока не получал высший результат. Параллельно с этим я брался за задания на kaggle, и у меня даже получалось. Понятно, что призовые места мне не светили, но в 100 несколько раз я попадал.
После пяти успешно выполненных курсов на coursera.org и еще одного “Big Data with Apache Spark” на stepik.ru я почувствовал в себе силы. Я понял, что начинаю врубаться в тему. Я понимал, в каких случаях какие методы анализа следует использовать. Я достаточно неплохо разобрался с Python и его библиотеками.
Моим следующим шагом был анализ рынка вакансий. Необходимо было выяснить, что еще нужно знать, чтобы получить работу. Какие предметные области стоит изучить, которые интересны работодателям. Параллельно с оставшимися 4 курсами я хотел взять еще что-то узкоспециализированное. То, что хочет видеть конкретный работодатель. Это повысило бы мои шансы получить работу для новичка с хорошими знаниями, но без опыта.
Я зашел на сайт по поиску работы, чтобы провести свой анализ. Но вакансий в радиусе 10 километров не было. И в радиусе 25 километров. И даже в радиусе 50 км. Как так? Быть не может. Я зашел на другой сайт, потом на третий… Потом я открыл карту с вакансиями и увидел примерно ЭТО:
Оказалось, что я проживаю в самом центре аномальной зоны отчуждения питона в Германии. Ни одной грёбаной приемлемой вакансии специалиста по машинному обучению или хотя бы разработчика на Python в радиусе 100 километров. Это фиаско, братан.
Да, можно было поехать в Мюнхен, Кёльн или Берлин – там были вакансии. Но на этом пути встало одно серьёзное препятствие.
Первоначальный наш план при переезде в Германию был такой: ехать туда, куда берут. Нам было абсолютно без разницы, в какой город Германии нас забросит. Следующий шаг – освоиться, оформить все документы и подтянуть язык. Ну а потом рвануть в большой город, чтобы зарабатывать больше. Нашей предварительной перспективной целью был Штутгарт. Большой технологичный город на юге Германии. И не такой дорогой, как Мюнхен. Там тепло и растет виноград. Много промышленных предприятий, поэтому много вакансий с хорошей зарплатой. Высокий уровень жизни. Как раз то, что нам нужно.
Нас забросила судьба в небольшой городок в самом центре Германии с населением около 100000. Мы обжились, освоились, оформили все документы. Город оказался очень уютным, чистым, зеленым и безопасным. Дети пошли в садик и школу. Всё было близко. Кругом очень дружелюбные люди.
Но в этой сказке не оказалось не то, что вакансий специалистов по машинному обучению, тут даже Python оказался никому не нужен.
Мы с женой стали обсуждать вариант переезда в Штутгарт или Франкфурт… Я начал искать вакансии, смотреть требования работодателей, а жена принялась присматривтать квартиру, садик и школу. Примерно через неделю поисков жена мне сказала: «А знаешь, я не хочу ни во Франкфурт, ни в Штутгарт, ни в любой другой большой город. Я хочу остаться тут».
И я понял, что полностью с ней согласен. Я тоже устал от большого города. Только пока я жил в Санкт-Петербурге, я этого не понимал. Да, большой город – идеальное место, чтобы строить карьеру и зарабатывать деньги. Но не для комфортной жизни семьи с детьми. И для нашей семьи этот маленький городок оказался как раз тем, что надо. Здесь было всё то, чего нам так не хватало в Питере.
Мы решили остаться, пока наши дети не подрастут.
Ну а как же Python и машинное обучение? И те полгода, что я уже потратил на всё это? Да никак. Вакансий рядом нет! Тратить 3-4 часа в день на дорогу до работы я больше не хотел. Я так уже работал в Питере несколько лет: ездил с Дыбенко в Красное село, когда еще не построили кольцевую. Полтора часа туда и полтора обратно. Жизнь проходит мимо, а ты смотришь на мелькающие дома из окна автомобиля или маршрутки. Да, в дороге можно читать, слушать аудиокниги и все такое. Но это быстро надоедает, и через полгода-год ты просто убиваешь это время, слушая радио, музыку и бесцельно глядя вдаль.
У меня и раньше были провалы. Но таких глупостей, как эта, я уже не делал давно. Осознание того, что работу инженера по машинному обучению мне не найти, выбило меня из колеи. Я бросил все курсы. Я вообще перестал чем-либо заниматься. По вечерам я пил пиво или вино, ел салями и играл в LoL. Так прошел месяц.
На самом деле, не столь важно, какие сложности преподносит тебе жизнь. Или даже ты преподносишь себе сам. Важно то, как ты их преодолеваешь и какие уроки из этих ситуаций извлекаешь.
«Что нас не убивает, то делает сильнее». Вы же знаете эту мудрую фразу? Так вот, я считаю, что это полная чушь! У меня есть знакомый, который на волне кризиса 2008 потерял работу директора достаточно крупного автосалона в Питере. Что он сделал? Правильно! Как настоящий мужчина, он пошел искать работу. Работу директора. А когда работу директора не нашел за полгода? Он продолжил искать работу директора, но уже в других сферах, т.к. работать менеджером по продажам автомобилей или кем-то кроме директора для него было не комильфо. В итоге он ничего не нашел и за год. А потом забил на поиск работы вообще. Резюме же висит на HH – кому надо, тот сам позвонит.
И сидел он без работы четыре года, а жена его всё это время зарабатывала деньги. Спустя год она получила повышение, и денег у них стало больше. А он всё сидел дома, пил пиво, смотрел телевизор, играл в компьютерные игры. Конечно, не только это. Он готовил, стирал, убирал, ходил по магазинам. Он превратился в отожравшегося борова. Сделало его всё это сильнее? Я так не думаю.
Мне тоже можно было и дальше пить пиво и винить работодателей, что они не открыли вакансий в моей деревне. Или винить себя в том, что я такой дурак и даже не удосужился посмотреть вакансии прежде, чем взяться за Python. Но толку в этом не было. Мне нужен был план Б…
В итоге я собрался с мыслями и занялся тем, с чего стоило начать в самом начале – с анализа спроса. Я проанализировал рынок вакансий в сфере ИТ в моем городе и пришел к выводу, что рядом со мной есть:
Выбор оказался невелик:
В итоге, с точки зрения перспектив, зарплаты, распространённости и возможности удалённой работы, победила Java. На самом деле, это Java выбрала меня, а не я её.
А что было дальше – многие уже знают. Об этом я писал в другой статье: «Как стать Java разработчиком за 1,5 года».
Поэтому не повторяйте моих ошибок. Несколько дней вдумчивого анализа могут сэкономить вам уйму времени.
О том, как я изменил свою жизнь в 40 лет и переехал с женой и тремя детьми в Германию я пишу в своем телеграм-канале @LiveAndWorkInGermany. Пишу о том, как это было, что хорошо и что плохо в Германии, о планах на будущее. Коротко и по делу. Интересно? — Присоединяйтесь.
Специалист по машинному обучению: кто такой, чем занимается и сколько получает
Разбираемся, нужно ли творцам искусственного интеллекта знать математику и Python.
Специалист по машинному обучению (ML, machine learning) — это программист, который с помощью специальных наборов данных и алгоритмов обучает искусственный интеллект.
Посмотрим, например, как приложение «Яндекс.Навигатор» выбирает маршрут до пункта назначения. У него есть ваши GPS-координаты и карта, но при этом он знает и о пробках, авариях, дорожном ремонте. Всё это благодаря графу дорог — алгоритм быстро анализирует возможные пути и находит самый быстрый. А программисты следят, чтобы машинный интеллект не ошибался.
Но ситуация на дорогах постоянно меняется: вчера здесь был поворот, а сегодня висит «кирпич» и водители вынуждены объезжать это место. Добавлять на карту все изменения вручную, особенно в реальном времени, слишком трудозатратно и дорого, требуется много людей. Но алгоритму совсем не обязательно знать про запрет — ему достаточно увидеть, что машины стали двигаться по-другому, чтобы перенаправить всех водителей на другие маршруты.
Научить компьютер принимать такие решения — задача специалистов по ML. Без этого мы не смогли бы обработать море информации, которую люди генерируют каждый день, и сделать нашу жизнь комфортнее.
Пишет про digital и машинное обучение для корпоративных блогов. Топ-автор в категории «Искусственный интеллект» на Medium. Kaggle-эксперт.
Чем занимается специалист по машинному обучению
Задачи специалиста по МL отличаются в разных компаниях и проектах, но чаще всего он делает вот что:
Собирать данные вручную сложно: если это, например. изображения, требуются сотни тысяч фото с разных ракурсов и разными условиями освещённости. «ВКонтакте» недавно запустил новую функцию — сеть показывает фото пользователей их друзьям и спрашивает: «Это Вася Иванов?» Чтобы отметить друга на фото, требуется меньше секунды. Не поленитесь и сделайте это. Так вы поможете нейросети научиться распознавать лица, а заодно почувствуете себя специалистом по ML — хоть немножко 🙂
Алгоритмы для построения модели программируют под конкретные задачи. Иногда они довольно простые — например, алгоритм для предсказания предпочтений туристов из разных городов занимает всего 20 строчек кода.
Но бывают и очень сложные — такие как гигантская нейросеть DeepCoder. Она копирует и миксует готовые фрагменты кода, создавая на выходе новые программы. Эта технология называется программным синтезом.
Получается, что сама нейросеть, состоящая из миллионов строк кода, может заимствовать его из множества других программ. Алгоритм порождает другие алгоритмы — чем не цифровая жизнь?
Кому подойдёт профессия специалиста по ML
Стать специалистом по машинному обучению за три дня не получится. Но вы можете попробовать профессию и попытаться предсказать курс доллара с помощью машинного обучения на бесплатном марафоне «Напишите первую модель машинного обучения за 3 дня».
Какие навыки нужны специалистам по МL
Предположим, нам нужно построить автоматическую систему рекомендаций для соцсети. Что должно лежать в основе рекомендаций? Хороший вариант — посмотреть, что лайкают друзья: людей часто объединяют интересы. Но чтобы система работала ещё лучше, придётся учитывать время года или суток, события в стране и в мире. Например, «ВКонтакте» утром чаще рекомендует новости, а вечером — мемасики про котиков и другой развлекательный контент. Чтобы всё это продумать и учесть сотни различных факторов, нужно быть готовым к кропотливой и даже монотонной работе.
Как определить, хороший контент в соцсети или плохой? Можно посадить сотни модераторов и разработать сложную систему правил, а можно просто добавить кнопку эмоциональной реакции — например, лайк. Если у поста много лайков, значит, людям он нравится, следовательно, материал хороший и нейросеть будет показывать его как можно большему количеству людей. Возможно, эта система не идеальна, но она позволяет решить проблему относительно эффективно и с минимальной затратой ресурсов.
Перспективы развития профессии
Сегодня МL помогает людям практически в любой области — от выбора сериалов на Netflix до заботы о здоровье. Востребованность специалистов по ML с каждым годом растёт. Например, hh.ru отмечает, что с 2015 по 2019 год количество вакансий в сфере машинного обучения выросло в семь раз.
Больше всего таких специалистов требуется в сфере информационных технологий, разработке программного обеспечения, финансовом секторе, бизнес-среде, маркетинге и розничной торговле.
На какую зарплату могут рассчитывать Junior, Middle и Senior
Яндекс, «Тинькофф» и другие компании нуждаются в крутых профессионалах в области ML. По наличию опыта такие специалисты делятся на три группы: Junior, Middle и Senior.
Junior (младший)
Нужно уметь работать с библиотеками для обработки данных — Pandas, NumPy, Matplotlib, и понимать системы управления базами данных — MySQL/PostgreSQL.
В регионах такой специалист может рассчитывать на зарплату от 40 тысяч рублей. В Москве джуны получают значительно больше — от 80 тысяч.
Middle (средний)
Уверенный специалист с опытом от 2 до 5 лет. Он способен перевести задачи бизнеса на язык математики, реализовать с нуля и оценить производительность модели машинного обучения, проанализировать и проверить данные — соответствуют ли они заданным критериям.
Среди требований к мидлу — навыки работы с современными аналитическими пакетами на R/Python и промышленными хранилищами данных (Teradata, DB2), а также понимание BigData. Приветствуется владение статистическими инструментами — SPSS, MATLAB, SAS Data Miner.
В регионах средняя зарплата — 60–80 тысяч, в Москве — не меньше 100 тысяч рублей.
Senior (старший)
Опытный специалист. Работодатели ожидают, что у сеньора за плечами 5–7 лет работы над проектами в сфере data mining, data analysis, машинного обучения или математического моделирования. В списке компетенций: уверенный Python, SQL/CQL, глубокое понимание архитектуры нейросетей, знание Spark Streaming (используется с Apache Spark), Cassandra (система управления базами данных), фреймворков TensorFlow, CV, PyTorch или других — в зависимости от стека компании.
Иногда выделяют ML Team Lead (тимлид, лидер команды). Тимлидами становятся сеньоры, возглавляющие подразделения Machine Learning. Здесь важны лидерские качества, тайм-менеджмент и умение работать в команде.
Сеньоры и тимлиды в регионах зарабатывают 100–120 тысяч, в Москве — от 200 и до 400–500 тысяч. Это хороший стимул освоить профессию. А учитывая, что потребность в машинном обучении с годами будет только расти, зарплаты опытных специалистов по ML точно не станут ниже.
Где учиться
Изучать машинное обучение можно в университете, на курсах или самостоятельно.
Университет даёт студентам хорошую базу, особенно в математике и статистике. Вы получите диплом государственного образца — это может быть плюсом при трудоустройстве. Но поступить на специальность Data Science обычно непросто и дорого. Например, двухлетняя магистратура по наукам о данных в «Высшей школе экономики» обойдётся в 1 155 000 рублей.
Курсы позволяют получить структурированную информацию в сжатые сроки. Такой вариант образования гораздо дешевле университетской программы. Кроме того, на курсах готовят выпускников к практической деятельности, дают поработать над реальными проектами. Стоимость стартует от 50 тысяч рублей и доходит до 150 тысяч.
Самостоятельное обучение подходит тем, у кого уже есть технический бэкграунд. В интернете много бесплатных книг и курсов, и некоторые из них весьма хороши. Но есть сложность: придётся самостоятельно планировать обучение и развитие, получать знания и навыки, которые понадобятся на работе. Без старшего товарища ориентироваться в океане информации и проверять рецепты из интернета непросто.
Вывод
Специалисты по машинному обучению работают над сложными, увлекательными проектами, которые хорошо оплачиваются. Созданные ими решения делают нашу жизнь проще, интереснее и безопаснее. Так что если вам хочется быть на переднем крае технологий и заниматься самыми современными проектами, без которых немыслимо не только будущее, а уже и настоящее, — возможно, это идеальная карьера для вас.
Самому освоить профессию специалиста по машинному обучению трудно. Но можно записаться на курс «Профессия Data Scientist: машинное обучение», где опытные специалисты по ML собрали сбалансированную программу, учли типичные ошибки новичков и делятся лучшими практиками. За год с небольшим вы научитесь разбираться в программировании и моделях МL и поработаете с реальными проектами в машинном обучении.
ML-инженеры: от А до Я об одной из самых востребованных профессий в 2021
Machine Learning (ML) — технологическое направление, специалисты которого (ML-инженеры/разработчики) обучают компьютеры решать задачи на основе имеющихся данных. В результате те становятся способны обрабатывать большие объемы информации за короткое время, показывая более точные результаты, чем специалист-человек. Это направление также иногда называют называют Artificial Intelligence (AI).
Список возможностей ML бесконечен. А вот набор знаний, необходимый для того, чтобы начать свой путь ML-инженера, четко определен. Но обо всем по порядку. Сегодня в статье — главное о направлении, о специфике работы и о том, что нужно знать, чтобы развиваться в сфере машинного обучения по опыту специалистов iTechArt.
Для начала, немного терминологии — пригодится, чтобы глубже разобраться в материале.
Где применяется ML?
Продукты, на которых используется ML, можно подразделить на две группы. В первом случае это существующий продукт, и при помощи ML мы расширяем его функционал. Хороший пример — Spotify и Instagram. Оба сервиса не завязаны на ML, но активно его используют при создании уникальных списков рекомендаций для каждого пользователя.
Второй случай — продукты, которые никак не могут существовать без ML: их ключевой функционал завязан на машинном обучении. Например, постоянно совершенствующийся Google Translate.
Доменные области, в которых применяется ML
Продукты, где применяется ML, условно разделены на две группы. В первой можно выделить следующие доменные области:
Если говорить о продуктах, чей ключевой функционал полностью завязан на ML, то чаще всего они встречаются в следующих доменных областях:
Жизненный цикл ML-разработки
Он похож на любой другой цикл разработки ПО, однако имеет свои особенности:
1 этап: сбор требований и дизайн системы
Так же, как и на любых других проектах по разработке, в самом начале ML Engineer вместе с командой узнает у клиента, какие задачи предстоит решить во время совместной работы, и готовит прототип дизайна системы. Однако, у проектов ML существуют свои уникальные особенности, с которыми придется разобраться на этом этапе, а именно:
2 этап: реализация
Процесс реализации ML-системы отличается от того, что обычно происходит во время разработки ПО. Кроме написания программы под задачу, в него также входит обучение алгоритмов, поиск статей для создания более точной и идеальной нейросети, эксперименты: инженер может подготовить 100, 500, 1000 алгоритмов, чтобы в итоге выбрать лучший из них, наиболее точно решающий поставленную задачу.
На выходе мы ожидаем увидеть код для обработки данных и код для обучения ML-модели, а еще набор рассчитанных метрик Machine Learning, показывающих, насколько хорошо и точно работает система.
3 этап: развертывание и интеграция ML-модели.
Это может быть развертывание в облако или развертывание в мобильное приложение, изредка — развертывание на устройствах в рамках встраиваемой системы. Под «развертыванием» понимаем «все действия, которые делают программную систему готовой к использованию».
4 этап: тестирование.
Такое же, как и при обычной разработке ПО. Собираются тест-кейсы, отчеты о багах и передаем тестировщикам.
5 этап: поддержка и мониторинг.
Так же, как и во время разработки ПО, после запуска программы разработчики мониторят ее работу на случай, если что-то непредвиденно упадет. В случае с ML-моделями, мониторить необходимо данные, т.к. они не статичны, с течением времени или в зависимости от поры года могут кардинально поменяться. И это надо контролировать.
Все вышеперечисленные этапы зациклены друг на друге. Часто после достижения 5-го можно сделать несколько шагов назад, например, если данные сильно изменились. В таком случае, необходимо будет взглянуть на них еще раз, заново перетренировать ML-модель, протестировать… Так цикл ML-разработки на проекте будет запущен заново.
Какие знания пригодятся ML Engineer?
Прямо сейчас в Students Lab проводится набор на программу по ML Engineering! Хочешь попасть на обучение?
Зачем изучать машинное обучение и кем потом работать
Факультет Big Data в Geek University объединяет разные сферы знаний, необходимые современному дата-сайентисту. Чтобы предоставить ученикам более гибкие возможности обучения, мы решили открыть «Машинное обучение» в виде отдельной, новой специальности. В этом посте на важные вопросы об этой специальности ответят наши преподаватели — практикующие эксперты.
Где применяют машинное обучение
Отвечает Сергей Ширкин – куратор специальности, декан факультетов искусственного интеллекта и аналитики Big Data в GeekUniversity, приглашённый преподаватель ВШЭ. С помощью машинного обучения строил финансовые модели в компании Equifax, автоматизировал процессы в Сбербанке и Росбанке. Применял ИИ для прогнозирования просмотров рекламы в Dentsu Aegis Network Russia.
Машинное обучение (Machine Learning, ML) позволяет автоматизировать умственный и физический труд человека. Поэтому ML используют поисковые системы, банки и страховые компании, ритейл, сотовые операторы, промышленные предприятия, рекламные и маркетинговые агентства.
Модель машинного обучения может делать прогнозы и распознавать образы точнее и быстрее, чем живой эксперт. Например, банки с помощью ML-моделей считают вероятность добросовестной выплаты по кредиту для каждого конкретного заёмщика. Причём, если эксперт анализирует одного клиента несколько минут, модель делает прогноз по миллионам клиентов за считаные секунды.
Искусственный интеллект, машинное обучение – в чём разница?
Машинное обучение – это большой подраздел науки об искусственном интеллекте — Data Science. Machine Learning наиболее часто применяется для практических целей. В целом внутри Data Science много направлений, и некоторые из них — например, обучение с подкреплением – ещё развиваются. По сравнению с ними машинное обучение – хорошо развитая область, востребованная бизнесом и наукой.
В чём специфика кода для машинного обучения
Чтобы писать хороший код для целей ML, обязательно понимать, как работают модели машинного обучения. Для этого нужно хорошо знать математику и алгоритмы анализа данных. А также уметь понимать данные: их специфику, возможные проблемы, способы обработки и очистки. Без этого даже готовые реализации из библиотек не получится использовать грамотно.
Чем конкретно занимается ML-специалист
Отвечает Никита Варганов, преподаватель GeekBrains, Senior Data Scientist, руководитель направления по исследованию данных в Сбербанке, Kaggle competitions master.
ML-специалист решает бизнес-задачи клиента с применением алгоритмов машинного обучения. При этом он может брать существующие алгоритмы или разрабатывать новые. Но важно понимать, что в Data Science построение модели – это 10-20% времени проекта. Остальное время уходит на согласование задач, поиск и подготовку данных, составление и приоритизацию гипотез, анализ, внедрение и презентацию полученного решения. Надо быть к этому готовым.
Важно помнить, что оптимизация процессов – не самоцель. В конце концов ML-специалисты помогают бизнесу больше зарабатывать и выводить на рынок новые продукты.
Какие навыки нужны в машинном обучении
Для начала карьеры достаточно уметь использовать алгоритмы, связанные с задачами вашей команды. Если же вы хотите расти и создавать новые алгоритмы, понадобятся хорошие фундаментальные знания математики, готовность творить и экспериментировать без гарантии результата.
В то же время дорасти до позиции Senior в машинном обучении будет проще людям, которые хорошо умеют разговаривать с бизнесом, понимать его проблемы, переходить с технического языка на уровень бизнес-специалиста.
Статистика требуемых скилов на позиции, связанные с машинным обучением. Данные 2018 года, но основные общие и ряд компетенций, специфических для определённых сфер, здесь перечислены.
Каких кандидатов берут на работу
Как руководитель направления в Сбербанке, на должности Junior Data Scientist я хотел бы видеть кандидата, который владеет базовыми понятиями машинного обучения и математической статистики, умеет писать SQL-запросы, готов постоянно развивать свои навыки в machine learning и учиться у более опытных коллег.
Очень ценю, если кандидат уже решал задачи за рамками стандартных курсов по ML и анализу данных. Например, может показать свой pet-проект или свои результаты на соревнованиях по анализу данных (Kaggle Competitions).
Участие в соревнованиях учит решать реалистичные задачи в команде и оформлять своё решение на GitHub. Кстати, владение системами контроля версий — тоже плюс. По моим оценкам их используют лишь 30% специалистов в data science.
Сотрудник уровня Middle сам ведёт проект, но иногда нуждается в консультациях. Он приносит компании деньги и участвует в решении бизнес-проблем заказчика. А также помогает джунам с типовыми задачами.
Senior – это специалист «полного цикла». Он распознаёт проблему заказчика, продумывает её решение и выдаёт необходимый результат. Поэтому Senior DS должен уметь общаться с заказчиком на языке бизнеса и доносить до него свою позицию. Кроме того, он зачастую выступает ментором для джунов и мидлов, проводит код-ревью, распределяет задачи и контролирует их выполнение.
В целом ситуация на рынке труда, на мой взгляд, сейчас в пользу кандидата: спрос на специалистов по машинному обучению пока превышает предложение, особенно на уровнях Middle и Senior.
Где работают и сколько получают специалисты по ML
Рассказывает Сергей Ширкин, куратор специальности.
Специалисты по машинному обучению нужны и крупным компаниям (включая IТ, операторов связи, интернет-магазины, ритейл, банки), и SMB-сегменту со стартапами.
Ориентировочный диапазон зарплат:
Вакансии могут называться по-разному: Data Scientist, аналитик данных, ML-инженер, разработчик аналитических моделей и т.д.
Лайфхак: для поиска вакансий используйте не только описание должности, но и названия библиотек и технологий машинного обучения. Например, много релевантных вакансий можно найти по ключевому слову pandas – это название библиотеки Python для работы с данными.
Как обучают специальности в GeekBrains
Рассказывает Александр Скударнов – методист образовательных программ GeekBrains.
Основная цель курса – помочь вам освоить машинное обучение как инструмент для бизнеса. Программа рассчитана на подготовленных слушателей – она подойдёт вам, если:
К началу занятий на курсах машинного обучения вам понадобятся знание основ Python и SQL, прочные знания школьной математики и готовность их углублять.
Если это не ваши варианты, но вы хотите развиваться в Data Science – вам лучше выбрать факультет искусственного интеллекта или аналитики Big Data, где учат с нуля.
Преимущества курсов
Наши преподаватели — это специалисты из топовых компаний, которые сами проводят собеседования и знают, что нужно для трудоустройства. Мы готовим не исследователя data science, а человека, который сможет приносить пользу бизнесу. Поэтому в программе только то, что нужно для успешного старта карьеры: умение писать чистый код, понимать статистические методы анализа данных и алгоритмы машинного обучения. Остальное выпускник сможет добрать на первом рабочем месте.
Для получения практического опыта мы предусмотрели курсовые проекты, а также соревнования на площадке Kaggle. По окончании нашей программы студенты смогут успешно участвовать в соревнованиях Kaggle по машинному обучению, что тоже очень важно для резюме.
Этапы обучения и курсовые проекты
Рассказывает Сергей Ширкин, куратор специальности.
Мы обучаем специальности в три этапа:
Как курсовые проекты помогут найти работу
В ходе курсовых проектов вы научитесь делать разведочный анализ данных (EDA) – разберётесь, как устроены данные в конкретном примере, как их визуализировать. И конечно, что делать с ними дальше, какие модели машинного обучения применять. Эти навыки пригодятся любому аналитику.
Курсовой проект по прогнозированию стоимости недвижимости можно будет показать на собеседовании в агентствах недвижимости, таких как ЦИАН или ДомКлик.
Проект по кредитному скорингу — оценке кредитоспособности заёмщика — понравится банкам и микрофинансовым организациям.
Прогнозирование оттока клиентов будет актуально для интернет-магазинов, операторов связи, компаний развлекательной сферы, в том числе онлайн-кинотеатров и игровых сервисов. Им важно оценивать риски отказа от их услуг в режиме реального времени.
Особенно сложными и важными будут проекты на курсе «Алгоритмы анализа данных». При их выполнении нельзя будет пользоваться готовыми моделями Machine Learning. Вы должны будете практически с нуля написать на Python свою модель для выбранных задач.
В итоге вы научитесь строить модели разного типа — от деревьев решений, линейной и логистической регрессии до случайного леса и градиентного бустинга. Это умение пригодится при трудоустройстве ML-инженером, в ситуации, когда нужно написать свою библиотеку для машинного обучения, либо для научной работы в этом направлении.
Освоить востребованную профессию в Data Science можно всего за полтора года на курсах GeekBrains. После учёбы вы сможете работать по специальностям Data Scientist, Data Analyst, Machine Learning, Engineer Computer Vision-специалист или NLP-специалист.
Освоить востребованную профессию в Аналитике больших данных можно всего за полтора года на курсах GeekBrains.
Факультет Big Data в Geek University объединяет разные сферы знаний, необходимые современному дата-сайентисту. Чтобы предоставить ученикам более гибкие возможности обучения, мы решили открыть «Машинное обучение» в виде отдельной, новой специальности. В этом посте на важные вопросы об этой специальности ответят наши преподаватели — практикующие эксперты.
Где применяют машинное обучение
Отвечает Сергей Ширкин – куратор специальности, декан факультетов искусственного интеллекта и аналитики Big Data в GeekUniversity, приглашённый преподаватель ВШЭ. С помощью машинного обучения строил финансовые модели в компании Equifax, автоматизировал процессы в Сбербанке и Росбанке. Применял ИИ для прогнозирования просмотров рекламы в Dentsu Aegis Network Russia.
Машинное обучение (Machine Learning, ML) позволяет автоматизировать умственный и физический труд человека. Поэтому ML используют поисковые системы, банки и страховые компании, ритейл, сотовые операторы, промышленные предприятия, рекламные и маркетинговые агентства.
Модель машинного обучения может делать прогнозы и распознавать образы точнее и быстрее, чем живой эксперт. Например, банки с помощью ML-моделей считают вероятность добросовестной выплаты по кредиту для каждого конкретного заёмщика. Причём, если эксперт анализирует одного клиента несколько минут, модель делает прогноз по миллионам клиентов за считаные секунды.
Искусственный интеллект, машинное обучение – в чём разница?
Машинное обучение – это большой подраздел науки об искусственном интеллекте — Data Science. Machine Learning наиболее часто применяется для практических целей. В целом внутри Data Science много направлений, и некоторые из них — например, обучение с подкреплением – ещё развиваются. По сравнению с ними машинное обучение – хорошо развитая область, востребованная бизнесом и наукой.
В чём специфика кода для машинного обучения
Чтобы писать хороший код для целей ML, обязательно понимать, как работают модели машинного обучения. Для этого нужно хорошо знать математику и алгоритмы анализа данных. А также уметь понимать данные: их специфику, возможные проблемы, способы обработки и очистки. Без этого даже готовые реализации из библиотек не получится использовать грамотно.
Чем конкретно занимается ML-специалист
Отвечает Никита Варганов, преподаватель GeekBrains, Senior Data Scientist, руководитель направления по исследованию данных в Сбербанке, Kaggle competitions master.
ML-специалист решает бизнес-задачи клиента с применением алгоритмов машинного обучения. При этом он может брать существующие алгоритмы или разрабатывать новые. Но важно понимать, что в Data Science построение модели – это 10-20% времени проекта. Остальное время уходит на согласование задач, поиск и подготовку данных, составление и приоритизацию гипотез, анализ, внедрение и презентацию полученного решения. Надо быть к этому готовым.
Важно помнить, что оптимизация процессов – не самоцель. В конце концов ML-специалисты помогают бизнесу больше зарабатывать и выводить на рынок новые продукты.
Какие навыки нужны в машинном обучении
Для начала карьеры достаточно уметь использовать алгоритмы, связанные с задачами вашей команды. Если же вы хотите расти и создавать новые алгоритмы, понадобятся хорошие фундаментальные знания математики, готовность творить и экспериментировать без гарантии результата.
В то же время дорасти до позиции Senior в машинном обучении будет проще людям, которые хорошо умеют разговаривать с бизнесом, понимать его проблемы, переходить с технического языка на уровень бизнес-специалиста.
Статистика требуемых скилов на позиции, связанные с машинным обучением. Данные 2018 года, но основные общие и ряд компетенций, специфических для определённых сфер, здесь перечислены.
Каких кандидатов берут на работу
Как руководитель направления в Сбербанке, на должности Junior Data Scientist я хотел бы видеть кандидата, который владеет базовыми понятиями машинного обучения и математической статистики, умеет писать SQL-запросы, готов постоянно развивать свои навыки в machine learning и учиться у более опытных коллег.
Очень ценю, если кандидат уже решал задачи за рамками стандартных курсов по ML и анализу данных. Например, может показать свой pet-проект или свои результаты на соревнованиях по анализу данных (Kaggle Competitions).
Участие в соревнованиях учит решать реалистичные задачи в команде и оформлять своё решение на GitHub. Кстати, владение системами контроля версий — тоже плюс. По моим оценкам их используют лишь 30% специалистов в data science.
Сотрудник уровня Middle сам ведёт проект, но иногда нуждается в консультациях. Он приносит компании деньги и участвует в решении бизнес-проблем заказчика. А также помогает джунам с типовыми задачами.
Senior – это специалист «полного цикла». Он распознаёт проблему заказчика, продумывает её решение и выдаёт необходимый результат. Поэтому Senior DS должен уметь общаться с заказчиком на языке бизнеса и доносить до него свою позицию. Кроме того, он зачастую выступает ментором для джунов и мидлов, проводит код-ревью, распределяет задачи и контролирует их выполнение.
В целом ситуация на рынке труда, на мой взгляд, сейчас в пользу кандидата: спрос на специалистов по машинному обучению пока превышает предложение, особенно на уровнях Middle и Senior.
Где работают и сколько получают специалисты по ML
Рассказывает Сергей Ширкин, куратор специальности.
Специалисты по машинному обучению нужны и крупным компаниям (включая IТ, операторов связи, интернет-магазины, ритейл, банки), и SMB-сегменту со стартапами.
Ориентировочный диапазон зарплат:
Вакансии могут называться по-разному: Data Scientist, аналитик данных, ML-инженер, разработчик аналитических моделей и т.д.
Лайфхак: для поиска вакансий используйте не только описание должности, но и названия библиотек и технологий машинного обучения. Например, много релевантных вакансий можно найти по ключевому слову pandas – это название библиотеки Python для работы с данными.
Как обучают специальности в GeekBrains
Рассказывает Александр Скударнов – методист образовательных программ GeekBrains.
Основная цель курса – помочь вам освоить машинное обучение как инструмент для бизнеса. Программа рассчитана на подготовленных слушателей – она подойдёт вам, если:
К началу занятий на курсах машинного обучения вам понадобятся знание основ Python и SQL, прочные знания школьной математики и готовность их углублять.
Если это не ваши варианты, но вы хотите развиваться в Data Science – вам лучше выбрать факультет искусственного интеллекта или аналитики Big Data, где учат с нуля.
Преимущества курсов
Наши преподаватели — это специалисты из топовых компаний, которые сами проводят собеседования и знают, что нужно для трудоустройства. Мы готовим не исследователя data science, а человека, который сможет приносить пользу бизнесу. Поэтому в программе только то, что нужно для успешного старта карьеры: умение писать чистый код, понимать статистические методы анализа данных и алгоритмы машинного обучения. Остальное выпускник сможет добрать на первом рабочем месте.
Для получения практического опыта мы предусмотрели курсовые проекты, а также соревнования на площадке Kaggle. По окончании нашей программы студенты смогут успешно участвовать в соревнованиях Kaggle по машинному обучению, что тоже очень важно для резюме.
Этапы обучения и курсовые проекты
Рассказывает Сергей Ширкин, куратор специальности.
Мы обучаем специальности в три этапа:
Как курсовые проекты помогут найти работу
В ходе курсовых проектов вы научитесь делать разведочный анализ данных (EDA) – разберётесь, как устроены данные в конкретном примере, как их визуализировать. И конечно, что делать с ними дальше, какие модели машинного обучения применять. Эти навыки пригодятся любому аналитику.
Курсовой проект по прогнозированию стоимости недвижимости можно будет показать на собеседовании в агентствах недвижимости, таких как ЦИАН или ДомКлик.
Проект по кредитному скорингу — оценке кредитоспособности заёмщика — понравится банкам и микрофинансовым организациям.
Прогнозирование оттока клиентов будет актуально для интернет-магазинов, операторов связи, компаний развлекательной сферы, в том числе онлайн-кинотеатров и игровых сервисов. Им важно оценивать риски отказа от их услуг в режиме реального времени.
Особенно сложными и важными будут проекты на курсе «Алгоритмы анализа данных». При их выполнении нельзя будет пользоваться готовыми моделями Machine Learning. Вы должны будете практически с нуля написать на Python свою модель для выбранных задач.
В итоге вы научитесь строить модели разного типа — от деревьев решений, линейной и логистической регрессии до случайного леса и градиентного бустинга. Это умение пригодится при трудоустройстве ML-инженером, в ситуации, когда нужно написать свою библиотеку для машинного обучения, либо для научной работы в этом направлении.
Освоить востребованную профессию в Data Science можно всего за полтора года на курсах GeekBrains. После учёбы вы сможете работать по специальностям Data Scientist, Data Analyst, Machine Learning, Engineer Computer Vision-специалист или NLP-специалист.
Освоить востребованную профессию в Аналитике больших данных можно всего за полтора года на курсах GeekBrains.