+ развернуть текст   сохранённая копия

Задача

Настройка удобного средства для обработки и получения логов.

Условия

1. Лицензия MIT или Apache 2.0
2. Возможность приема и обработки многострочных сообщений
3. Простота в настройке и использовании
4. Возможность работы с логами из Log4j

Решение

Logstash + ElastickSearch + Kibana 3.
Читать дальше →

Тэги: elasticsearch, java, kibana, logj4, logstash, администрирование, веб-разработка, системное

Делаем простейший фильтр по свойствам товаров с помощью ElasticSearch на Symfony2

   2014-07-15 13:13:28
... фильтр товаров на ElasticSearch», а задача ... описывать mapping индексов elasticsearch в удобных yaml ...
+ развернуть текст   сохранённая копия

Написать эту статью меня сподвигло отсутствие в интернете готового пошагового руководства «как реализовать фильтр товаров на ElasticSearch», а задача сделать это у меня стояла чётко и непоколебимо. Удавалось находить отрывочную справочную информацию, но никак не cookbook по решению самых тривиальных задач.

Акцентирую ваше внимание именно на symfony2, поскольку буду использовать FOSElasticaBundle, который позволяет описывать mapping индексов elasticsearch в удобных yaml конфигах и привязывать к ним сущности Doctrine ORM или документы Doctrine ODM. Промаппленные индексы заполняются из связанных доктриновских сущностей с помощью одной единственной консольной команды. Кроме того, он включает в себя вендорную библиотеку для конструирования поисковых и фильтрационных запросов. Результаты поиска возвращаются в виде массива объектов сущности или документа Doctrine ORM/ODM, привязанной к поисковому индексу. Подробнее о FOSElasticaBundle, традиционно, на гитхабе: github.com/FriendsOfSymfony/FOSElasticaBundle

Использование бандла позволяет полностью абстрагироваться от манипуляций с чистым JSON, что-то кодировать и декодировать функциями json_encode и json_decode, лезть куда-то с помощью сurl. Здесь только ООП подход!

Немного о схеме данных в SQL

Поскольку мои товары хранятся в реляционной СУБД, мне понадобилось реализовать EAV модель для их свойств и значений (подробнее: en.wikipedia.org/wiki/Entity%E2%80%93attribute%E2%80%93value_model )

В результате, у меня вышла вот такая схема данных:

Читать дальше →

Тэги: eav, elasticsearch, filtering, online-store, php, symfony, веб-разработка

[Перевод] Elasticsearch как NoSQL база данных

   2014-05-14 17:00:03
... ли поисковый сервер Elasticsearch использоваться в качестве ...
+ развернуть текст   сохранённая копия

Может ли поисковый сервер Elasticsearch использоваться в качестве NoSQL базы данных? Положительный ответ позволит рассмотреть его различные свойства, в том числе и те, от реализации которых он отказался, чтобы стать одним из самых гибких, производительных и масштабируемых поисковых движков. Но для ответа на этот вопрос стоит сначала определиться с самим термином NoSQL, так как в зависимости от контекста он может трактоваться по-разному.

Что же все-таки такое NoSQL?

Разработчики NoSQL дают такое определение: база данных следующего поколения, характеризующаяся отказом от реляционности, распределенностью, открытостью исходных текстов и горизонтальной масштабируемостью. Назвать это определение точным, увы, нельзя.

Дело в том, что речь идет совсем не об SQL. Поясним. Язык запросов Hive явно был вдохновлен SQL. Это же можно сказать и о языке Esper, хоть он работает и не с потоками, а с отношениями. Интересна история PostgreSQL — изначально он назывался Postgres, в качестве языка запросов использовал Quel и являлся ORDBMS, а сегодня PostgreSQL обладает многими функциями, которые позволяют ему быть документноориентированным хранилищем.

В данном случае речь идет не о ACID — в определении NoSQL о транзакциях ничего не говорится. Hyperdex — это база NoSQL, которая стремится обеспечивать ACID-транзакции. MySQL, несомненно, является базой SQL и в своей истории имеет сомнительные интерпретации на тему, что же на самом деле означает ACID.
Читать дальше →

Тэги: elasticsearch, nosql, percolator.io, sql, блог, веб-разработка, компании

Умные закладки на основе Elasticsearch

   2014-04-13 19:22:40

Периодически стал замечать, что не могу найти нужную статью, которую видел раньше.
Вроде ...
+ развернуть текст   сохранённая копия

Периодически стал замечать, что не могу найти нужную статью, которую видел раньше.
Вроде бы все просто — по запомнившимся сведениям статью можно легко найти. Но нет. Поиск в Google часто ничего не дает, т.к. я помню только обрывки содержимого, и поисковая выдача содержит много шума.

Актуально это и на работе. Для хранения и обмена полезными ссылками на разные Github проекты, статьи, сервисы раньше мы использовали Skype, но сейчас стали использовать для этих целей Yammer. Оба этих способа имеют свои недостатки. Основной недостаток Skype для обмена ссылками — это сложность поиска по истории. Проблема Yammer — он не индексирует текст статьи, а только сниппет. Ни один из них не имеет возможности автоматической категоризации.

В свободное время я написал приложение, специально заточенное для поиска статей. Его возможности:

• добавление статьи одной кнопкой из браузера
• автоматическая категоризация
• русская и английская морфология
• просмотр текста статьи
• операторы поискового запроса

Читать дальше →

Тэги: elasticsearch, percolator, percolator.io, блог, веб-разработка, закладки, компании, поисковые, системы

Высоконагруженные сайты и приложения на Python / Django (29 проектов)

   2014-04-10 16:46:41

Наша компания довольно давно занимается разработкой больших веб-приложений на Python / Django. ...
+ развернуть текст   сохранённая копия

Наша компания довольно давно занимается разработкой больших веб-приложений на Python / Django. В рунете крайне мало информации об этом замечательном языке программирования и фремворке на его основе. Мы решили исправить эту ошибку и рассказать о популярных высоконагруженных сайтах на этой технологии, а также дать много интересных технических подробностей. Для удобства сравнения сайтов между собой мы приводим еще и немного статистики к каждому из проектов. В целом сайтов на Python / Django, конечно, очень много в мире, мы охватим только наиболее интересные по нашему мнению.

Небольшая таблица известных проектов (на основе данных http://builtwith.com/), кликабельно:
Читать дальше →

Тэги: amazon, celery, cocoa, ctypes, disqus, django, dropbox, elasticsearch, foursquare, group, haproxy, instagram, leveldb, memcached, mongodb, mysql, pinterest, postgresql, pylons, python, pywin32, rabbitmq, reddit, redis, secl, slony, solr, twisted, wxwidgets, yelp, блог, веб-разработка, высокая, компании, нагрузка, разработка, сеть, социальная

Страницы: 1 2 3