Лакмусовая бумажка СЗКК Голосов: 1 Адрес блога: http://igrick.livejournal.com/ Добавлен: 2008-03-24 13:32:59 блограйдером Lurk

Снова

2011-04-04 15:18:39 (читать в оригинале)

И да, нас снова DDoS'ят. ЖЖ работает с перебоями и тормозит.
Детали — позже. Следите за новостями.

---

FriendsTimes v.Alfa II

2011-04-01 16:47:56 (читать в оригинале)

Compadres, сегодня ночью мы обновили прототип сервиса «FriendsTimes», о котором я уже писал ранее. Если кратко — то это новый вид френдленты, но состоящий не из записей друзей, а из записей других пользователей, в которых друзья приняли участие (на данный момент — прокомментировали, но список активностей будет расширяться).
Если еще проще — то это френдлента сделанная для вас вашими друзьями.

И так, что нового мы сделали в прототипе:

• теперь учитывается настройка приватности «Minimize my comment's inclusion in search engine results» в разделе «Privacy», т.е. если опция включена, то комментарии не будут учитываться при построении FriendsTimes;
• теперь для того что бы получить возможность использовать FriendsTimes не нужно быть русским платником, как это было раньше, но достаточно вступить в сообщество friendstimes. Это необходимо так как текущая версия является прототипом и не рассчитана на серьезные нагрузки, т.е. пока максимум на 10 000 пользователей;
• теперь выводится имя сообщества если запись размещена не в журнале;
• теперь прямо в ленте выводится первый комментарий друга в этой записи, т.е. сразу можно посмотреть кто и как прокомментировал, не переходя в саму запись, при этом ссылка на ветку конечно присутствует;
• теперь FriendsTimes выглядит не как унылое гамно лучше и пользоваться им удобнее;
• теперь в записях учитывается lj-cut;
• теперь картинки масштабируются по ширине контейнера и не рвут верстку.

Напоминаю как пользоваться — у каждого FriendsTimes свой, т.е. <username>.livejournal.com/friendstimes. Для демонстрации я сделал FriendsTimes для первой сотни тысячников — manyofthousands.livejournal.com/friendstimes. Так же отмечу что новые посты будут появляться только через два часа с момента включения FriendsTimes для себя, т.е. система не смотрит в прошлое, но сами записи при этом будут попадать в ленту в течении нескольких минут.

vadvs — серверная часть; fiskus_boulder и savintsev_egor — верстка; evg_voinov — менеджмент; vikont_xiii — QA; а дизайнер пожелал остаться неизвестным.

---

Как вчера атаковали ЖЖ

2011-03-31 11:37:00 (читать в оригинале)

Итак, как вы, наверное, вчера заметили, ЖЖ был почти недоступен. Я говорю «почти», потому что пробиться-таки можно было, попытки с 10-й, например, и я даже получил за это время несколько комментариев к своим последним записям. Но сейчас не об этом, а о том, что это была за атака.

• DDoS начался приблизительно в 16:00 по Москве (около 12:00 UTC), восстановить приемлемую работоспособность, т.е. справиться с проблемой, мы смогли примерно через 7 часов, а сама атака завершилась значительно позже, уже глубокой ночью по Москве;
• Load Balancer (система, отвечающая за распределение входящей нагрузки) испытывала около 1.2 миллиона одновременных соединений при нашей средневзвешенной норме в 50 000;
• ЖЖ отдавал 2 Гбита трафика в секунду при средневзвешенной норме в 400 Мбит;
• ЖЖ обслуживал в десятки раз больше HTTP запросов чем обычно;
• ЖЖ смог обслужить около 30% трафика, включающего и нормальный, и вредоносный, в пике, т.е. все остальное пришлось отбрасывать;
• Атака не привела ни к отказу оборудования, ни к нарушению целостности системы, ни к потере какого-либо уже опубликованного контента.

За то время, пока мы боролись с атакой, нам удалось ее систематизировать, выделить вредоносный трафик из нормального, что в итоге дало нам возможность его частично отсечь и восстановить работоспособность системы. При этом, к сожалению, нам пришлось также временно отсечь индексацию ЖЖ различными поисковыми системами, что на данный момент приводит к задержкам в появлении свежих записей в результатах поиска, но данную проблему мы устраним в течение дня.

Также для интересующихся и разбирающихся выкладываю график нагрузки на один из Load Balancer'ов, из которого видно, что через 5 часов после борьбы с проблемой, нам пришлось сдать этот рубеж и бороться уже на втором уровне системы, что в конечном счете дало приемлемые результаты:

Еще из интересного — примерная география распределения атакующих, содержащая около 1 000 случайно выбранных атакующих систем, наложенная на Google Maps:

Скорее всего, подобные ситуации будут повторяться в будущем, но мы к ним теперь гораздо более подготовлены, и можно сказать, что система, которую я описывал в предыдущей записи, вчера прошла боевое крещение, и благодаря ей нам в конечном счете удалось устоять.

Спасибо за ваше терпение, поддержку и понимание.

---

Опять 25

2011-03-30 15:56:10 (читать в оригинале)

Нас снова DDoS'ят. Сервера держат, но забиты все каналы, включая резервный. Так что все очень сильно тормозит :(

Upd: ситуация налаживается, канал уже посвободнее, хотя все еще по прежнему серьезно тормозит.

---

Про проблемы с появлением новых записей

2011-03-30 13:39:37 (читать в оригинале)

Folks, в ЖЖ сейчас наблюдаются некоторые проблемы с мгновенным появлением только что созданных записей в некоторых случаях, далеко не у всех, конечно, но все же. Это связано с тем, что мы внедрили, где-то с неделю назад, систему front-line кэширования, дабы:

1. увеличить производительность отдачи контента;
2. иметь больший запас прочности для отражения DDoS-атак, которые в последнее время случаются все чаще.

Сейчас мы работаем над тем, чтобы максимально приблизить скорость обновление кэша к моментальной (вернее будет отметить, что система именно так и спроектирована, но на больших нагрузках возникли "подводные камни", которые не были видны на средних нагрузках), так что проблема будет устранена самое позднее сегодня ночью. На сами записи это не влияет - они никуда не пропали, во френдлентах отображаются, комментарии к ним ходят, RSS работают и целостность системы не нарушена.

Приношу извинения за временные неудобства.