Клинический анализ крови - Школа доктора Комаровского
Новые технологии здоровья Постнов С Е Вода из пограничного слоя Симбион Simbion AURORA новые технологии Ник Шестаков в передаче Время МЛМ Знакомство с продукцией Aurora Компания Aurora - Avrora Аврора Покажите мне деньги! Маркетинг Avrora Маркетинг Aurora Как оплатить заказ в интернет магазине AURORA Яндекс деньгами Silver Gum Сильвер Гам AURORA новые технологии Голодание против ревматоидного артрита Ваше здоровье Иммуноглобулин
Привет, Хабр! Мы продолжаем цикл статей, посвященный Apache Flume. В предыдущей части мы поверхностно рассмотрели этот инструмент, разобрались с тем, как его настраивать и запускать. В этот раз статья будет посвящена ключевым компонентам Flume, с помощью которых не страшно манипулировать уже настоящими данными.
Привет, Хабр! Мы продолжаем цикл статей, посвященный Apache Flume. В предыдущей части мы поверхностно рассмотрели этот инструмент, разобрались с тем, как его настраивать и запускать. В этот раз статья будет посвящена ключевым компонентам Flume, с помощью которых не страшно манипулировать уже настоящими данными.
2016-04-20 14:09:31
Вчера индекс широкого рынка S&P 500 (SPY) обновил свой 52-недельный (и исторический) максимум, ...
+ развернуть текстсохранённая копия
Вчера индекс широкого рынка S&P 500 (SPY) обновил свой 52-недельный (и исторический) максимум, достигнув отметки в 210,20. И, похоже, на этом не остановится. Основание тому — сила рынка, о которой я писала на днях, и обилие «бычьих» сигналов на графике SPY. SPY остается над 200-дневной скользящей средней MA (200). Это «бычий» сигнал. SPY продолжает закрываться над EMA (13), которая направлена вверх. […]
Шрияс Виджайкумар, ведущий инженер по внедрению, расскажет про еще один элемент внутренней кухни системы Palantir.
Вместе с компанией Edison продолжаем расследование возможностей платформы Palantir.
Как организации управляются с данными, на текущий момент?
В существующих системах встречаются довольно распространенные артефакты, и многие из них, если не все, вам знакомы:
пользователи часто оставляют заметки для себя в имени файла, так что мы можем встретить конструкции вида отправить_по_почте.пятница.10_утра.не_стирать!!;
каждое изменение онтологии требует модификации всей схемы;
данные из разных источников невозможно исследовать вместе, в одной среде, так что у вас может быть база данных людей и трафика сообщений, которые приходится исследовать по отдельности;
пересинхронизация данных нецелесообразна или невозможна, — а это часто бывает нужно;
информация не может быть прослежена до её источника.
Что мы принципиально иначе делаем в Palantir?
Когда мы разрабатывали систему, мы много работали с обратной связью от сообщества. Первое, что мы постарались запроектировать — это максимальная гибкость системы, дающая возможность моделировать все что угодно.
Гибкость означает, возможность работать с любыми типами данных в одном общем пространстве: от высокоструктурированных, таких как базы данных с выстроенными отношениями, до неструктурированных, таких как хранилище трафика сообщений, а также всех, находящихся между этими крайностями. Это также означает возможность создавать множество разнообразных полей для исследования без привязки к одной модели построения. Как и организация, они могут изменяться и эволюционировать со временем.
Следующей вещью, которую мы спроектировали, стало обобщение данных без потерь. Нам нужна платформа, которая бы отслеживала каждый обрывок информации до его источника или источников. В мультиплатформенной системе важное значение имеет контроль доступа, особенно если такая система, позволяет совершать всю полноту действий с данными.
