Блог Яндекса Голосов: 7 Адрес блога: http://company.yandex.ru/blog/ Добавлен: 2007-12-13 21:24:18 блограйдером Luber

2014 год в поиске Яндекса

2014-12-10 10:06:07 (читать в оригинале)

До конца года осталось меньше месяца. Мы проанализировали поисковые запросы людей и выяснили, какие темы больше всего волновали их в этом году. В список попали люди, события и явления, которые вызвали всплеск интереса пользователей. Сравните свои ощущения с нашими данными.

---

Яндекс открывает «Фабрику данных»

2014-12-09 16:04:54 (читать в оригинале)

Сегодня мы открыли новое направление по работе с «большими данными» — Yandex Data Factory. В рамках YDF компании, которые имеют дело с огромными массивами информации, смогут решать свои задачи с помощью технологий Яндекса.

Чёткого определения у понятия «большие данные» нет. Одно из первых описаний предложили в 2001 году — оно известно как принцип «трёх V». Данные называют большими, если они обладают тремя признаками: большой объём (volume), многообразие (variety) и скорость (velocity). Последнее означает, что данные постоянно обновляются и нуждаются в своевременной обработке.

С «большими данными» имеют дело практически в любой сфере бизнеса: от банковского дела до телекоммуникаций, от коммунального хозяйства до здравоохранения. Компании собирают и хранят множество информации: планы, отчёты, сведения о действиях клиентов, показания датчиков, настройки оборудования, характеристики продукции, видео с камер наблюдения. Эта информация объёмна, разнообразна и зачастую обновляется в режиме реального времени.

Умение анализировать «большие данные» даёт много преимуществ. Выявив закономерности в данных, банк, например, сможет определить, какие продукты предложить клиентам, а поставщик коммунальных услуг — предсказать аномальные всплески потребления горячей воды и подготовиться к ним. Сложность, однако, состоит в том, что для анализа «больших данных» — в силу их объёма и разнородности — необходимы специальные инструменты. Такие инструменты есть у Яндекса.


В число технологий, которые используются для анализа данных в Yandex Data Factory, входят метод машинного обучения Матрикснет, глубокие нейронные сети, распознавание образов и речи, рекомендательные системы. Все они были разработаны Яндексом для собственных нужд — и собственных данных. Матрикснет мы изначально создавали для составления формулы ранжирования в поиске — а потом он стал использоваться и для прогнозирования пробок в Яндекс.Картах, и для таргетинга рекламы в Яндекс.Директе, и для машинного перевода текстов с одного языка на другой в Яндекс.Переводе.

Со временем мы убедились, что наши алгоритмы могут применяться и в отраслях, не связанных с интернетом — так как они не анализируют содержание данных, а выявляют в них закономерности. Первым опытом применения технологий Яндекса в сторонних проектах стало сотрудничество с Европейским центром ядерных исследований (CERN). В частности, Матрикснет лёг в основу системы поиска редких событий — данных о столкновениях частиц — в эксперименте LHCb на Большом адронном коллайдере.

В Яндексе работают очень сильные специалисты по анализу данных. А кроме того, у нас есть система их подготовки. С 2007 года обучением в этой области занимается Школа анализа данных. В 2014 году Яндекс и Высшая школа экономики открыли факультет компьютерных наук, в состав которого входит департамент больших данных и информационного поиска.

Перед публичным запуском Yandex Data Factory мы провели несколько пилотных проектов по обработке «больших данных» с компаниями-партнёрами. В частности, для компании, обслуживающей линии электропередач, в Yandex Data Factory создали систему, которая анализирует сделанные беспилотниками снимки и автоматически выявляет угрозы: например, деревья, растущие слишком близко к проводам. А для автодорожного агентства проанализировали данные о загруженности дорог, качестве покрытия, средней скорости движения транспорта и аварийности. Это позволило в режиме реального времени составлять прогноз заторов на дорогах на ближайший час и выявлять участки с высокой вероятностью ДТП.

Услугами Yandex Data Factory могут воспользоваться как российские, так и зарубежные компании из разных отраслей. Подробности о Yandex Data Factory можно узнать на сайте проекта.

---

Новый поиск похожих картинок

2014-12-05 12:46:21 (читать в оригинале)

Осенью прошлого года в Яндекс.Картинках появился поиск по загруженному изображению. Это была первая реализация нашей технологии компьютерного зрения «Сибирь». Специальный алгоритм разбивает загруженную картинку на визуальные слова и с их помощью сопоставляет её с миллиардами известных ему изображений, отбирая дубликаты.

Такой подход позволял искать копии картинки или её варианты: например, ту же картинку другого размера или, скажем, без подписей. Однако уже тогда поиск показывал первые способности к обобщению — и в некоторых случаях находил не просто копии загруженной картинки, а другие изображения, содержащие такой же объект.

Недавно мы дополнили «Сибирь» технологией, основанной на глубоких нейронных сетях. Благодаря этому в Яндекс.Картинках теперь можно искать не только копии данного изображения, но и похожие на него картинки. Другими словами, вы можете найти не разные варианты самой картинки, но разные варианты того, что на ней изображено. Например:


Такой поиск особенно хорош, когда точных копий загруженного изображения в интернете нет, но похожие на него картинки отлично решают вашу задачу. Например, если вы сфотографировали аллею с уходящими вдаль деревьями, то с помощью Яндекс.Картинок легко можете найти разные варианты таких аллей и выбрать из них подходящую по размеру и качеству картинку, чтобы поставить её на рабочий стол.

Даже если в интернете есть копии загруженной картинки, похожие расширят и дополнят ответ поиска. Скажем, по фотографии кроссовок, загруженной в Яндекс.Картинки, вы найдёте изображения этих кроссовок в разных ракурсах, и, возможно, другие модели, похожие на них.


В интерфейсе сервиса похожие изображения отделены от точных копий. А если копий не нашлось, то Картинки покажут только похожие результаты.

Компьютер «видит» изображения совсем иначе, чем человек, поэтому среди найденных картинок могут оказаться и не совсем, на наш взгляд, похожие. Например, среди фотографий машин, похожих на загруженную, не обязательно будут машины той же марки и модели. В будущем мы надеемся сделать поиск по картинке ещё точнее и научить его давать развёрнутый ответ на ваш запрос, а именно — распознавать и описывать то, что изображено на загруженной картинке.

---

Всё как у людей

2014-12-04 12:51:13 (читать в оригинале)

Каждый день люди спрашивают Яндекс обо всём на свете. Некоторые запросы объединяет какой-то признак: например, тема или форма запроса. Если выбрать запросы с общим признаком, можно узнать, как то или иное явление отражается в поиске Яндекса. Время от времени мы так и делаем, и тогда на свет появляются поисковые исследования. Сегодня мы опубликовали очередное исследование — о том, на кого хотят быть похожи пользователи поиска.

В сентябре и октябре 2014 года люди задали Яндексу более 500 тысяч запросов со словами «как у»: [часы как у Путина], [зубы как у звёзд], [глаза как у вампира], [бутсы как у Месси] и многие-многие другие. Мы проанализировали эти запросы и выяснили, какие предметы, атрибуты, люди и персонажи пользуются в поиске наибольшей популярностью.

Почти две трети запросов касаются конкретных людей или персонажей — в основном это актёры, телеведущие и спортсмены. Чаще всего люди ищут то, что легко купить или повторить: причёски, макияж, одежду, татуировки и так далее.


Среди всех персонажей и людей, на которых хотят быть похожи авторы поисковых запросов, мы выделили самых популярных. У мужчин лидируют Криштиану Роналду, Владимир Путин и герой Дмитрия Нагиева из сериала «Физрук». У женщин — телеведущие Ксения Бородина и Ольга Бузова, а также Виолетта из одноимённого сериала.

Больше подробностей ищите на странице исследования.

---

Браузер будущего

2014-11-27 20:16:00 (читать в оригинале)

Яндекс выпускает альфа-версию нового Яндекс.Браузера. Это не совсем обычный продукт — с его помощью мы хотим показать, каким Яндекс видит браузер ближайшего будущего, и выслушать ваши соображения на этот счёт в ответ.

Прежде чем говорить о будущем, заглянем в прошлое. Те, кто застал эпоху интернета по карточкам, помнят, что когда-то каждая минута в сети была на счету. Сейчас же само понятие «выйти в интернет» устарело: по большому счёту люди из интернета и не выходят. Интернет везде: на компьютере, в мобильном телефоне, планшете, а иногда даже в телевизоре и холодильнике.

Поэтому для многих главной программой на компьютере стал браузер. Люди запускают его, чтобы почитать новости, пообщаться с друзьями, посмотреть кино, послушать музыку или поиграть в игру. Из программы для просмотра сайтов браузер превратился в нечто большее — в место, где сосредоточены общение, работа, развлечения.

Изменились и сами сайты. В начале 1990-х годов это были простые странички с текстом, гиперссылками и картинками. Сейчас сайты — это полноценные приложения: социальные сети, офисные редакторы, музыкальные и видеоплееры, игры. Они не похожи друг на друга: у каждого свои особенности и свой собственный — иногда довольно сложный — интерфейс.

На изображении — браузер NCSA Mosaic, который вышел в 1993 году. Несмотря на то, что этому веб-обозревателю двадцать с лишним лет, у него много общего с современными браузерами: меню, кнопки, панели, адресная строка. Сайты за два десятилетия преобразились сильно, а вот браузеры — по крайней мере внешне — не очень. Поэтому сайтам в браузерах часто бывает тесно.


Здесь уместна параллель с мобильными телефонами. Когда-то клавиатура была неотъемлемым атрибутом любого мобильника. Затем телефоны превратились в смартфоны и обзавелись куда более функциональными и сложными приложениями, чем змейка и калькулятор. Тогда стало ясно, что клавиатура занимает лишнее место — и лучше бы уступить его экрану, а клавиатуру сделать виртуальной и показывать только тогда, когда она нужна.

Вернёмся к браузерам. Это новый Яндекс.Браузер, и так в нём выглядит страница поисковой выдачи Яндекса:


Одна из главных особенностей браузера — прозрачный интерфейс. Новый Яндекс.Браузер принимает цвета веб-страницы, которая в нём открыта, поэтому граница между программой и интернетом исчезает: они сливаются в единое целое.

Вкладки в новом Яндекс.Браузере находятся в нижней части экрана. Мы решили разместить их там, потому что браузер, по сути, стал для пользователей вторым рабочим столом. Вместо программ-плееров люди открывают музыкальные сайты, а вместо мессенджеров общаются в социальных сетях. Раз сайты стали самодостаточными, то почему бы не разместить вкладки там, где пользователи Windows и OS X привыкли видеть список запущенных программ?


Каждая вкладка выделена основным цветом сайта, который в ней открыт. Например, вкладка Twitter будет голубой, а вкладка Facebook — тёмно-синей. Вкладки со страницами с одного и того же ресурса новый Яндекс.Браузер объединяет в группы. Это упростит работу пользователям, которые привыкли открывать много сайтов одновременно.

У каждой веб-страницы в новом Яндекс.Браузере есть Изнанка — так называется экран с дополнительной информацией. Он откроется, если нажать на заголовок страницы. Изнанка содержит список действий со страницей (например, «распечатать» или «поделиться»), Умную строку и Табло, а также отображает сведения, связанные с содержанием сайта. Так, если вы зашли на сайт интернет-магазина, на Изнанке вы увидите ссылки на другие магазины с похожим ассортиментом товаров.


Если в интернет-магазине вы читаете описание смартфона, то с помощью Изнанки вы узнаете диапазон цен на эту модель, а если находитесь на сайте кафе или музея — увидите их местоположение на карте.

Умная строка уже известна пользователям Яндекс.Браузера. В неё можно вводить адреса сайтов и поисковые запросы, причём ответ она умеет давать прямо в поисковых подсказках — например, называет температуру воздуха в Москве или высоту Эвереста. Новый Яндекс.Браузер способен быстро отвечать и на более сложные вопросы. Например, можно узнать, что такое фотосинтез или кто такой Кип Торн, не переходя на страницу с результатами поиска.


А в будущих версиях браузера можно будет уточнить подробности о том или ином объекте, не покидая страницу, на которой он вам встретился. Здесь, например, браузер подсказывает, где находится ближайший кинотеатр:


Новый Яндекс.Браузер легко настроить под себя. На Табло можно добавить любимые сайты, а на странице новой вкладки — выбрать анимированный фон: дрожащую на ветру еловую ветку, огибающую камни горную реку или стекающие по стеклу капли дождя.


Попробовать новый Яндекс.Браузер можно начиная с сегодняшнего дня. Для загрузки доступна альфа-версия браузера для Windows и OS X. Мы подготовили её, чтобы показать вам идеи, которые легли в основу проекта. Вы можете рассказать нам о своих впечатлениях в комментариях, а если что-то не работает или работает не так — написать сюда. Привычная версия Яндекс.Браузера по-прежнему остаётся с вами — загрузить её можно здесь.