My Success Story ;) Голосов: 1 Адрес блога: http://users.livejournal.com/_denplusplus_/ Добавлен: 2008-02-17 03:46:57 блограйдером Lurk

про Хиггса и релевантность

2012-07-04 00:26:50 (читать в оригинале)

Завтра объявят о том, что найден бозон Хиггса. Последнюю неделю подогревается интерес к этому событию. По наводке plakhov перечитал (5 лет прошло, sic) статью Игоря Иванова об современном эксперименте в физике элементарных частиц. Не смог отказать себе в удовольствии, и проследил методологическую связь между физикой высоких энергий и качеством поиска. Эксперимент в области качества поиска тоже уже перешел от императивной стадии "pagerank - это круто" или "стоп-слова надо исключать из запроса" к стадии "цвет страницы связан с релевантностью на 0.01% на уровне достоверности 99.5%". Техника эксперимента тоже ушла от "что это такое у нас вылетает, если мы подадим ток?" до "пропустим миллионы частиц с огромными энергиями, зафиксируем миллиарды событий, отфильтруем нужные события, посчитаем доверительные интервалы". Для нас такими событиями являются запросы, клики по ним. Изучаются эффекты масштабом в сотые проценты от "удовлетворенности пользователя". Нельзя утверждать, что эффект есть, можно лишь утверждать, что он есть на уровне доверия 99%, 99.9%, 99.99%. Результатов экспериментов ждут подчас неделями. Также каждый клик/неклик будет обработан сотней способов. Коллеги оценят цитату:

"Ясно также, что не завершения эксперимента ждали физики 12 лет. Они ждали, когда статистики накопится достаточно много, а методы ее обработки станут достаточно «прозорливыми», чтобы углядеть искомый сигнал на нужном уровне статистической значимости. Развитие ситуации было вовсе не столь прямолинейное: закончился эксперимент — и сразу открытие. На самом деле нужные события время от времени регистрировались на протяжении последних лет, и постепенно росла уверенность, что действительно наблюдается искомый сигнал, а не проявление фоновых процессов. Были и более ранние публикации этой же группы, посвященные поиску одиночного топ-кварка, в которых сообщалось, что статистика пока не позволяет сделать выводы о существовании этого процесса, но и не противоречит ему. Сейчас же произошло лишь одно: вероятность «случайного совпадения» стала настолько малой, что физики уже имели право сказать: в нашем эксперименте действительно есть указание на существование искомого процесса. Поскольку эксперимент продолжается, то через год-полтора стоит ожидать новую публикацию по этой теме, с более точным результатом измерения вероятности процесса одиночного рождения топ-кварка.

Интересно, кстати, заметить, что разница между собственно экспериментом и его обработкой становится наиболее явной по окончании работы какого-то большого эксперимента. Иногда даже складывается такая парадоксальная ситуация. Эксперимент, скажем, за пять своих последних лет работы накопил столько статистики, что ее просто некому стало обработать. Молодежь уже на этот эксперимент не идет — ведь он закончился! — группа редеет, все заняты подготовкой нового эксперимента, заниматься обработкой старого уже недосуг. В результате сырые данные со всеми своими возможными открытиями так и лежат, пылятся, никто за них и не берется. Эксперимент проведен, но остался не расшифрован."

---

"вредные советы" от Курта Левина

2012-06-28 02:22:34 (читать в оригинале)

Хорошая цитата из плохой книги:
«Один из главных методов подавления морального духа состоит в точном соблюдении следующей тактики: нужно держать человека в состоянии неопределенности относительно его текущего положения и того, что его может ожидать в будущем. Кроме того, если частные колебания между суровыми дисциплинарными мерами и обещанием хорошего обращения вкупе с распространением противоречивых новостей делают когнитивную структуру ситуации неясной, то человек теряет представление и уверенность в том, приведет ли его какой-либо конкретный план к желаемой цели, или же наоборот отдалит от нее. В таких условиях даже те личности, которые имеют четкие цели и готовы пойти на риск, оказываются парализованными сильным внутренним конфликтом в отношении того, что следует делать».

---

ШАД в Екатеринбурге

2012-06-25 15:40:34 (читать в оригинале)

Школа Анализа Данных открывается в Екатеринбурге. http://shad.yandex.ru/about/news.xml
ШАД - это один из немногих способов получить современное, конкурентноспособное образование в областях computer science, data mining, software engineering в России. Это прекрасная среда, очень хорошие люди. Всячески призываю поступать.

---

когда на Руси будет жить хорошо?

2012-06-22 03:30:24 (читать в оригинале)

официальному справочнику ГосКомСтата 2010-го года.

Исходник: http://pastebin.com/bmJDnVb4

Исходя из этой модели, я бы сформулировал цель на будущие 35 лет, как сохранение шанса для поколения 2010-ых на следующий виток. Сохранение территориальной целостности, остатков науки, образования, производства, здравоохранения, культуры и просто "человеческого капитала". В 2020-2040 будет очень плохо.

---

протест и высшее образование

2012-06-19 03:26:10 (читать в оригинале)

Я вот еще раз вспомнил про Холманских, и меня переклинило. Видели соц. дем. протеста от Левада-центра или малоизвестных аналитегов? Почти все до тридцати, у 70% - высшее образование. Мне кажется, что есть связь. После обрушения СССР начала мгновенно падать реальная занятость + начали, как грибы после дождя, появляться псевдо-ВУЗы по псевдо-специальностям (экономика, юриспруденция, менеджмент, ...). Желание родителей дать высшее образование, а детей - его получить понятно. Слишком велика была разница окладов в царской России и СССР у людей рабочих специальностей и у "белых воротничков". Но под маркой "высшее образование" в современной России подается неизвестно что + маленькая российская экономика не может переварить безумное число "юристов", "экономистов", "менеджеров" и "маркетологов". В результате, огромное число выпускников "ВУЗов" не могут найти работу. После шести (!!!) лет получения "экономического" образования человеку закрыт путь в ПТУ, он просто не может получить рабочую специальность, переквалификация почти невозможна. Что мы имеем в результате? De facto в нашем обществе есть уже миллионы деклассированных элементов, "временно перебивающихся" продавцами-консультантами, курьерами, секретаршами, копирайтерами, просто сидящих у родителей на шее и т.д. и т.п. Могут ли они и составлять ядро протеста? Как-то же Россия в 90-е пережила десяток лет разрухи, деградации, полного властного бессилия? Что-то же изменилось к 2010-му году? Может это "что-то" - это появление миллионов людей с фальшивым "высшим образованием", людей невостребованных экономикой? Тогда ситуация еще хуже - никакая трансформация власти и экономике не способна удовлетворить этих людей. Как проверить мою гипотезу? Френды, лучше знающие "протестующих", похоже ли это на правду?