Яндекс открывает новый набор в Школу анализа данных. Это двухгодичные вечерние курсы для тех, кто хочет получить образование в области обработки и анализа данных и извлечения информации из интернета. Школа требует хорошей математической подготовки и рассчитана прежде всего на студентов и молодых выпускников инженерных и математических специальностей.


В Школе анализа данных можно получить знания, которых нет в программах большинства университетов. Студенты школы изучают машинное обучение, методы обработки больших данных, компьютерное зрение, информационный поиск и другие области компьютерных наук под руководством специалистов, которые работают в IT-индустрии или занимаются современной наукой.

Если вы хотите поступить в ШАД, заполните анкету на сайте школы до 15 мая. После этого вы получите письмо со ссылкой на онлайн-тест по математике и основам программирования. Всех, кто успешно справится с тестом, мы пригласим на письменный экзамен, который состоится в конце мая – начале июня. Лучшим по результатам экзамена предстоит пройти собеседование, по итогам которого будет принято окончательное решение.

На сайте школы вы можете изучить экзаменационные задания прошлых лет и узнать, к чему стоит готовиться. Познакомиться с преподавателями школы и узнать о новом направлении «Большие данные» можно будет на Дне открытых дверей ШАД. Он состоится 19 апреля в московском офисе Яндекса, для участия необходимо зарегистрироваться.

Занятия в ШАД проводятся по вечерам в будние дни. Учиться в школе можно очно или заочно, по видеолекциям. Во время обучения или после окончания школы студенты могут пройти стажировку в Яндексе.

Школа анализа данных существует с 2007 года и выпустила более 300 специалистов, многие из которых занимаются наукой, работают в Яндексе и других крупных IT-компаниях в России и за рубежом. Отделения ШАД существуют в Санкт-Петербурге (в рамках Computer Science Center), Новосибирске, Екатеринбурге, Минске и Киеве.

Гора Качканар является главной вершиной Ср. Урала, ее высота составляет около 900 метров. Когда-то эта гора привлекала к себе большое количество золотоискателей и добытчиков платины, но в настоящее время эти запасы иссякли, и Качканар стала излюбленным местом для любителей горного туризма. Вершина Качканар привлекает своей девственной природой. Когда-то для местных жителей она была культовым местом, […]

Выпускники Школы анализа данных 2014 года Михаил Колупаев и Вячеслав Алипов завоевали бронзовые медали командного чемпионата мира по программированию ACM ICPC 2014 в составе команды НИУ ВШЭ. Финал чемпионата состоялся на этой неделе в Екатеринбурге.

Примечательно, что Михаил и Вячеслав отпраздновали выпускной в Школе анализа данных всего неделю назад, причём за время обучения они сдали рекордное количество курсов — 20 и 19 соответственно. Третьим участником команды НИУ ВШЭ был Александр Куприн, ещё недавно работавший в Яндексе.

Первое место на ACM ICPC 2014 заняла команда СПбГУ, в состав которой входили Егор Суворов и Дмитрий Егоров — студенты питерского Computer Science Center, созданного при участии Школы анализа данных. Золотые медали чемпионата (по правилам ACM ICPC золото вручается первым четырём командам) также получили команды МГУ, Пекинского университета и Национального университета Тайваня.

Поздравляем победителей и призёров чемпионата! И напоминаем, что в августе 2014 года в Берлине пройдёт финал индивидуального чемпионата по программированию Алгоритм-2014, организованного Яндексом.

Сегодня мы объявляем набор сразу по трём направлениям наших академических программ: в Школу анализа данных (ШАД), Школу менеджеров Яндекса (ШМЯ) и на летние стажировки.

В ШАД можно получить знания в области анализа данных и Computer Science. Студентам Школы преподают наиболее актуальные разделы компьютерных наук, в том числе машинное обучение, алгоритмы и структуры данных, компьютерную лингвистику.
Школа менеджеров — это краткосрочная программа, которая пройдет в июле-августе в Москве. Она создана для тех, кто хочет научиться управлять интернет-проектами, но пока не имеет достаточного опыта.
Летние стажировки предназначены для начинающих разработчиков. Они будут проводиться в нескольких городах: Москве, Петербурге, Екатеринбурге, Новосибирске, Нижнем Новгороде и Минске.

Академические программы Яндекса существуют уже много лет. За эти годы через наши школы и стажировки прошло более 3000 человек. Некоторые из них остались работать в Яндексе, а кто-то использует полученные знания в других компаниях или создаёт свои проекты. Мы попросили трёх наших выпускников рассказать о том, что им дало обучение в школах Яндекса, и дать несколько советов тем, кто решил поступать.

Анна Ступенькова, выпускница ШМЯ. Менеджер проектов в Поиске Яндекса.

Практически половину своей сознательной жизни я занималась журналистикой и даже представить себе не могла, что переключусь на что-то другое. Но незадолго до окончания университета услышала от друзей про Школу менеджеров Яндекса. В тот момент я как раз руководила сайтом и подумала, что неплохо бы получить знания о менеджменте и интернет-технологиях «из первых рук».

Я долго сомневалась, стоит ли мне без профильного образования пытаться поступить в Школу. Затем всё же засела за тестовое задание: с какими-то вопросами справилась с легкостью, для ответа на другие пришлось закопаться в книжки и сайты по теме. Но одно задание решить никак не получалось — требовалось хорошее знание статистики. Я была близка к тому, чтобы отказаться от своей затеи и вовсе не отправлять заявку: ведь пустое поле значительно снижало мои шансы на успех. К счастью, я вовремя вспомнила, что в таких компаниях, как «Яндекс», часто выше ценится не сам правильный ответ, а то, как именно ты к нему пришел. Поэтому я начала логически рассуждать, изложила ход своих мыслей. И, несмотря на то, что мои расчеты вряд ли были верными, меня пригласили на собеседование.

Не думала, что пройду отбор даже в Школу, не говоря уже о самом Яндексе! После успешной защиты учебного проекта меня пригласили на собеседование, а затем предложили должность в команде Поиска. Сейчас я с энтузиазмом осваиваю статистику и программирование, учусь разбираться в сложной терминологии, а коллеги мне в этом помогают. В Яндексе в этом плане царит совершенно особая атмосфера: неважно, сколько тебе лет, какого ты пола или национальности, главное — уметь соображать и обладать хорошим чувством юмора.

Андрей Петров, выпускник ШАД. Разработчик в мюнхенском офисе Google.

Когда я был студентом, у меня сложилась иллюзия, что программировать я уже умею, а Computer Science — это просто. Действительно, ведь я создавал сайты с динамическим контентом, писал игры, получал призы на олимпиадах и без проблем сдавал экзамены в университете. Однако это было лишь хобби, а я был любителем. Чтобы начать путь профессионала, я пошёл в школу Яндекса.

Там я вскоре узнал, что разработка — это не написание кода, а соблюдение стиля, использование практик, поддержка документации и тестирование ПО. Там я впервые смог вплотную познакомиться с крайне актуальной наукой машинного обучения, причём как узнать о её строгих математических основаниях, так и провести множество экспериментов на настоящих данных, соревнуясь с коллегами за проценты качества. Там я расширил свой кругозор и ознакомился с отраслями, которые вызвали лишь сожаление от того, что нельзя заниматься ими всеми сразу: это распознавание образов, компьютерная лингвистика, интернет-поиск, современные алгоритмы на графах. В конце концов, там я познакомился с замечательными людьми, многие из которых впоследствии стали моими коллегами и друзьями.

Если вы раздумываете, стоит ли поступать, и пребываете в таких же иллюзиях, как я, то теперь вы знаете, что делать. Даже если никаких иллюзий нет, это всё равно крайне полезно и интересно. И в науке анализа данных, и в IT-индустрии нужны профессионалы. Чтобы примкнуть к их числу, придётся проделать немалый путь, а поступление в ШАД — это серьёзный шаг вперёд в этом направлении.

Алексей Умнов, выпускник ШАД. Разработчик в группе морфологии Поиска в Яндексе, аспирант ВМК МГУ.

В ШАДе я получил множество полезных теоретических и практических знаний. Они пригодились мне как в проектах внутри Яндекса, так и в других областях. Например, в научной деятельности я очень активно использую знания, полученные на курсе машинного обучения, а также различные навыки программирования. Стоит также отметить, что весь материал, даваемый в ШАДе, достаточно современный, что очень важно для такой быстро развивающейся области, как Computer Science.

Будущим студентам я бы посоветовал приготовиться к достаточно большой нагрузке и не совсем привычной форме обучения: чтобы получить хорошую оценку за курс, нужно на протяжении всего семестра сдавать домашние задания, и итоговой контрольной или экзамена для этого недостаточно.


Мы ждём ваших заявок до середины мая. Обучение и стажировка в Яндексе бесплатные, зачисление происходит на конкурсной основе. Узнать об условиях приема и отправить заявку можно на сайтах ШАД, Школы менеджеров и летних стажировок.

Умения современных компьютеров оказались бы полной неожиданностью для людей, живших 50 лет назад. В тогдашней фантастике простые роботы работали слугами, а самые сложные, уникальные, занимались высшей математикой. Роботы представлялись человекоподобными, и такие способности, как умение сохранять равновесие, ориентироваться в окружающем мире, понимать обращенную к ним речь, считались само собой разумеющимися. Но попытки построить подобные системы показали, что на самом деле эти навыки очень сложны, и как их повторить, не совсем понятно. Сейчас высшей математикой способен заниматься телефон в вашем кармане (например, с помощью одного из этих приложений), а вот слуг что-то не видно. Вы ежедневно пользуетесь услугами Великого Всемирного Информатория, что в старой фантастике разрешалось лишь лицам со спецдоступом (ох уж этот XX век), но в ресторане вас по-прежнему обслуживает человек.

Школьное образование, к сожалению, не успевает за развитием нашей отрасли, и потому создает в головах большей части людей не очень корректную картину. У них возникает популярное заблуждение, согласно которому компьютеры не способны чему-либо учиться и делают только то, на что запрограммированы — тупо, но быстро и старательно. На самом деле это давно не так. Создавать программы, способные анализировать данные, обобщать их, делать выводы и учиться таким образом чему-то новому для себя, мы умеем уже десятки лет, и с каждым годом всё лучше и лучше. Этому посвящена обширная дисциплина: машинное обучение, и она давно не является каким-то тайным знанием, доступным лишь избранным. Соответствующие методы и теории уже разработаны до такой степени, что им можно обучать, например, талантливых студентов. При Яндексе уже несколько лет работает целое учебное заведение — Школа анализа данных, — большая часть курсов которого посвящена именно таким методам. В начале октября этого года Яндекс провёл конференцию, на которую приехали ведущие исследователи в этой области из многих стран мира.

Не стоит думать, что машинное обучение — что-то экзотическое, используемое только в детекторах Большого адронного коллайдера (хотя, честно говоря, там оно тоже используется). Вовсе нет.

Каждый раз, задавая запрос в Яндексе, вы пользуетесь плодами машинного обучения. Вы, наверное, замечали, что количество найденного почти по любому запросу огромно: сотни тысяч, часто — миллионы результатов. Большая часть из них неинтересные, бесполезные, лишь случайно упоминают слова запроса или вообще являются спамом. Для ответа на ваш запрос нужно мгновенно отобрать из всех найденных результатов десятку лучших. Написать программу, которая делает это с приемлемым качеством, не под силу никакому программисту-человеку. Десять результатов по вашему запросу отобраны при помощи формул, полученных в ходе машинного обучения. С помощью созданной у нас технологии Матрикснет Яндекс обучает на кластере FML сотни таких формул в год.

Каждый раз, когда входящее письмо с предложением увеличить грудь, взять дешёвый кредит или посмотреть новый вирус попадает в папку «Спам», вы пользуетесь машиннообученным классификатором. Вы пользуетесь результатами машинного обучения каждый раз, когда диктуете голосовые команды своему телефону или навигатору, когда смотрите прогноз пробок на следующий час, когда загружаете картинку, чтобы поискать похожие в системе «Сибирь» и во многих других ситуациях. В день пользователь Яндекса, сам о том не подозревая, сталкивается с машинным обучением десятки раз.

О том, как устроено машинное обучение, рассказать в одной записи в блоге невозможно. В конце концов, не зря на эту тему пишут тома и собирают международные научные конференции. Но об отдельных интересных фактах рассказать всё же стоит.

Методы машинного обучения, исторически изобретённые первыми, были попытками скопировать природу: так называемые «нейронные сети» имитировали работу нейронов коры головного мозга (сейчас мы знаем, что имитировали неверно, но это не мешало им добиваться определенных успехов), появившиеся чуть позже «генетические алгоритмы» — эволюцию по Дарвину и менделевскую генетику. Эти попытки были чем-то похожи на самолёт с чертежей Леонардо да Винчи, машущий перепончатыми крыльями. Как современные самолёты не похожи на летучих мышей, так и методы машинного обучения, применяемые в XXI веке, чаще не являются бионическими.

Математическая основа современного машинного обучения, заложенная, в том числе, нашими соотечественниками Владимиром Вапником и Алексеем Червоненкисом, довольно сложна, но можно попытаться описать «на пальцах» то, как работают алгоритмы, использующие эту математику. Например, мы хотим научить компьютер определять, изображён ли на фотографии человек. Для этого мы берём очень много фотографий и вручную раскладываем на две стопки: в одну фотографии людей, в другую всё остальное — пейзажи, натюрморты, автомобили, животные, абстракции. Компьютер, получивший эти две стопки, сравнивает фотографии и выявляет характерные признаки изображения человека.

На первом шаге алгоритм берёт самый простой признак, выдающий результат, хоть как-то похожий на нужный. В данном случае он начинает считать, что человек — это всё, что похоже на вертикальный тёмный прямоугольник пропорцией примерно 4:1. Этот «метод», при всём его шокирующем идиотизме, неплохо отличает людей от кошек, автомобилей, домов и деревьев, еды в инстаграме и многих других объектов. На втором шаге алгоритм смотрит на ошибки первого шага: например, Джа-Джа Бинкс и платяной шкаф моей бабушки ошибочно сочтены людьми, а Обеликс и Саша Грей ошибочно сочтены объектами, непохожими на людей. Снова выбирается самый простой признак, но на этот раз такой, который обращает повышенное внимание на ошибки первого и, по возможности, исправляет их. У совокупности двух признаков ошибок будет уже меньше, и Обеликса он распознает правильно. Но ошибки всё ещё будут. Можно приступать к третьему шагу. Чем больше проходит шагов, тем больше признаков можно учесть, и через несколько сотен шагов полученный «определитель человека», обращающий внимание только на яркость прямоугольных областей, уже хорошо справляется с работой.

Такой процесс является основой известного алгоритма AdaBoost, широко используемого в компьютерном зрении. В таком изложении этот алгоритм выглядит просто, но дьявол, как всегда, в деталях. Что лучше выбирать: чуть более простой, но хуже работающий признак, или наоборот? Как именно записать условие «обращай повышенное внимание на ошибки предыдущих шагов»? На каком шаге остановиться? Как правильно комбинировать найденные признаки?

Интересно, что, хотя ответ на эти вопросы найден опытным путем, никто и по сей день не может в точности объяснить, почему именно те решения, которые используются в AdaBoost, работают лучше прочих вариантов. На прошедшей конференции Школы анализа данных Яндекса сам автор алгоритма, Роберт Шапире, рассказывал о различных подходах к этой проблеме, но даже ему исчерпывающее объяснение неизвестно. А было бы здорово его найти: строгое математическое объяснение, скорее всего, позволит усовершенствовать и этот метод, и многие другие.

Другой докладчик конференции, Ян Лекан, рассказывал о технике, известной под названием «свёрточные нейронные сети» (convolutional neural networks). Технику эту он изобрел давным-давно, примерно четверть века назад, и неуклонно совершенствует с тех пор; учёные вообще живут в вечности, и им в ней хорошо. Свёрточные нейронные сети интересны своей близостью к природе (даже если зрительная кора млекопитающих устроена по-другому, она вполне могла бы быть и такой), огромной скоростью распознавания образов, но главное в них, конечно, те замечательные результаты, которых можно добиться с их помощью. Ян Лекан прямо с кафедры показывал мгновенное распознавание компьютером разных предметов: наводил на них по очереди камеру ноутбука, и тот уверенно опознавал пульт управления, микрофон, дисплей, докладчика и прочие предметы. Потом прямо на лету, за пару секунд и пару кадров, обучил его отличать себя от случайного человека из зала. Если продолжать сравнение бионических методов с летательными аппаратами да Винчи, получается, что орнитоптеры отлично летают и успешно конкурируют с самолётами.

Демонстрировался на конференции и короткий документальный фильм о том, как мобильный робот, похожий на Валли из одноименного мультфильма, но конструируемый по заказу американских военных, при помощи одной картинки с камеры (без участия человека) уверенно чувствует себя в настоящем лесу, объезжая на скорости деревья и прочие препятствия, а также солдат людей. Непонятно, почему это всё до сих пор не засекретили и совершенно спокойно рассказывают в России со всеми подробностями. Видимо, дело в том, что на дворе уже не ХХ век.

В общем, конференция получилась замечательная, и надеюсь, что не последняя. Машинное обучение активно работает над слегка запоздавшим светлым будущим. Если развитие человеческой (и компьютерной) мысли и дальше пойдет теми же темпами, то на нашем веку мы наконец дождемся настоящих роботов, именно таких, которых нам обещали когда-то давным-давно.

Андрей Плахов, руководитель службы функциональности поиска