Folks, нам пока не удалось справиться с проблемой обрыва соединения во время постинга более-менее длиных записей при включенной защите от DDoS. И защиту пока выключать мы не рискуем, так что как только отдел эксплуатации справится с этой проблемой я сразу сообщу. Так же за статусом о текущем состоянии LiveJournal можно в любое время следить по адресу status.livejournal.com.

Кстати, данная проблема значительно реже возникает при постинге через приложения использующие XML-RPC API, такие, например, как LiveJournal.app для iPhone, iPad и Android.

P.S. Еще раз отдельно отмечу что никакого намеренного ограничения мы не вводили и вводить не собираемся, данная проблема является побочным эфектом защиты. Какой-то определенной цифры для длины поста тоже сказать нельзя, так как у кого-то соединение обрывается при 1,000 символов, а у кого-то при 5,000. Это больше зависит с какой сети выходить в интернет, нежели чем от других параметров.

Folks, по мере того, как ситуация устаканивается, к нам продолжают поступать новые факты как от поставщиков услуг, так и с наших серверов. Некоторые из новостей, которые я могу озвучить:

Во-первых, атака на данный момент прекратилась, но Mitigation Service мы пока не выключаем, так что отдельные проявления нестабильности, проявляющиеся ввиду принципов работы последнего, еще будут происходить некоторое время.

Во-вторых, мы проанализировали полученные данные и выяснилось, что основным источником вредоносного трафика была Америка, преимущественно Южная. Но в этот раз это были не только персональные компьютеры пользователей, обычно зараженные вирусами в таких случаях, но и виртуальные сервера одного из крупнейших поставщиков подобных услуг в данном регионе.

В-третьих, запись про то, что "мы сами все поломали", на которую многие последнее время ссылаются, пытаясь нас уличить во лжи, была сделана еще в тот момент, когда мы сами до конца не были уверены в том, что происходит, так что один из системных администраторов решил написать пользователям хоть какую-то весть о том, что происходит, и, будучи настоящим американцем, решил принять на себя персональную ответственность и заранее извиниться. Так что не стоит высасывать из пальца отсутствие DDoS-атаки, как это делают некоторые. Я вам здесь пишу факты, в которых уверен, а не свои домыслы, так что суждение о них делать уже вам.

И еще, раз уж затронута тема про отсутствие веры в DDoS — Евгений Валентинович намедни писал, что его "Лаборатория Касперского" не нашла подтверждения, что LiveJournal подвергался DDoS атаке 25-го июля и последующие дни. Мне есть, что сказать на эту тему — я бы действительно удивился и задумался над этим, если бы софт "Лаборатории" стоял на большинстве компьютеров по всему миру. Т.е. это было бы для меня тревожным звоночком. Но так как источники были преимущественно из перечисленных выше регионов, и для атаки использовались не только персональные компьютеры, но и сервера, то я думаю, это и является причиной того, что антивирусы "Лаборатории" не смогли уловить ботнет. Я даже осмелюсь предположить, что с апрельских атак заказчики стали аккуратнее, и решили не связываться с регионами, где софт "Лаборатории" достаточно распространен и их можно было бы проще вычислить, поместив на карантин экземпляры вируса. Боятся они вас, Евгений Валентинович, вот и стараются не попадаться вам на глаза.

Не переключайтесь.

Folks, прошло достаточно времени для того, чтобы собрать необходимые данные и с уверенностью сделать из этого неутешительный вывод — к сожалению, это был и есть DDoS, причем такой мощности и характера, что до серверов LiveJournal он даже не дошел, т.е. магистральные провайдеры Qwest и Verizon, поставляющие услуги в дата-центр, где расположены наши сервера, не выдержали нагрузки, и весь дата-центр, т.е. не только LiveJournal, были отрезаны от мира как минимум на 5 часов. Не работала даже резервная консоль, которая позволила бы нам хоть как-то понять, что происходит с сетевым оборудованием (при этом данные пользователей по-прежнему надежно защищены ввиду архитектуры LiveJournal, за это можете не переживать), поэтому единственным источником информации для нас были вышеупомянутые провайдеры, отвечающие на наши вопросы, и не только наши, но и остальных клиентов, в стиле «we are experiencing network routing issues». Позднее был настроен и запущен DDoS Mitigation Protocol, по результатам которого стало видно, что трафик в нашу сторону составлял в среднем около 6 гигабит при пиках в 8 гигабит (напомню, в прошлые разы он составлял около 2-х гигабит в пике), что по всей видимости является потолком для Qwest и Verizon на данной площадке. При этом, как и в прошлый раз, никаких преференций с точки зрения атакуемых выбрано не было и «валят» весь LiveJournal.

Картинки с DDoS Mitigation Report от Verizon:

На данный момент этот протокол все еще в работе и площадку все еще атакуют, и именно работой этой системы и вызвана вся та нестабильность, которая сейчас проявляется при работе с LiveJournal. Но тут либо нестабильность, либо полный blackout (и опять же — не только для нас, но и для всей площадки), так что из двух зол мы выбрали меньшее.

Из того, что в отдельных случаях может не работать (например, на работе работает, а дома — нет):

• отправка записей;
• отправка комментариев;
• изменение настроек;
• новая авторизация;
• регистрация;
• добавление/удаление друзей;
• и прочие операции, осуществляемые методом POST с более-менее весомым телом.

Из того, что мы делаем/сделали — c апреля мы увеличили пропускную способность текущих каналов почти в два раза и даже успели прокопать третий, который в данный момент подключают. Производительность оборудования также была увеличена в разы, и мы в процессе еще большего расширения. Mitigation протоколы настроены и включены.

В очередной раз надеюсь на понимание, терпение и непереключение.

art ma-zaika

Мои стихи: Не любимА

Дождь мне бьёт в лицо капли по щеке И кольцо держу я в своей руке Кровью облита чистая кровать Мне бы нужно жить, вам же пировать Смех дарую взглядом, а в душе тоска Сядь со мною рядом, знаешь я одна Рассмеши чем можешь, душу мне согрей Волком выть устану, обниму скорей Губы как резина, мокрая кровать Чем так не любима можешь ты понять? Я глотаю водку, бренди, самогон... И понятно стало, человек грешён. автор: ma_zaika © Copyright: Мария Бунтарская, 2011 Свидетельство о публикации №11107110389

Фото: © Copyright photosight