Восстановление картинок

[Diary Spirit]

UPD 15 октября, 23:12

Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.

Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.

Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.

Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.

- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.

- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.

Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.

Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.

В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя  Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.

Другими словами, выше было написано, что

номер вашей папки — первая цифра числа в ссылке вашего профиля

За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.

Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.

Такие дела.

запись создана: 13.10.2010 в 01:54

Comments

[Yukia]

Вы уж там ребята постарайтесь)))Ни у меня, ни у моих друзей авы и дизайн не появились(((

[$аленая как море]

А вот интересно, если реклама не окупает даже малой доли расходов на сайт, а платные сервисы помогают лишь отчасти... за чей счет этот банкет? Кто наш благодетель? На чьи средства сейчас закупается железо? Хочется знать своих героев в лицо))

[Тайя.]

Yukia, у вас ID на единицу, у вас появится в последнююю очередь.

[DGhost]

spanja
Читать из чистого мазохизма тоже конечно вариант. Но все-таки лучше читать и при этом вникать в смысл написанного и верно определять для себя позиции дискутирующих, а не выдавать собственные домыслы в качестве истины.

Эллаирэ
Десятки тысяч? Вы знаете, я с такой же точно уверенностью могу заявить о десятках тысяч пользователей, которые очень хотят, чтобы данный сайт заработал в полную силу как можно скорее. Но их желание видимо не причина, которую следует принять во внимание, и в ущерб этим десяткам тысяч можно вполне себе действовать.

[нос]

И простите, но да, я не верю в то, что тут идет забота об интересах пользователей. Предпочитаю услышать правду о том, что в коммерческих интересах, сайт продолжает работу.

Арис, мы считаем коммерчески выгодным заботиться об интересах пользователей. Такой у нас подход к коммерции. Если он вам не понятен, ничем помочь не могу. А верите вы или не верите, нам это даже знать не нужно.

[Кимико Д. Ламер]

Темный призрак А админовские комментарии вы читали?
Ну я вот тоже хочу, чтоб сайт работал, как надо. Но это не значит, что я хочу, чтобы на пару дней он был недоступен. То же самое про других. У кого тут работа, у кого - общение. Думаю, им не совсем до картинок.
А вообще, повторюсь: Хватит уже доказывать свои точки зрения. Вы все правы. Вот и успокойтесь.)

[Dark Star]

О чем спор-то? ))

Есть пользователи, которые хотели бы сайт остановить полностью и пожить без него, чтобы копирование шло быстрее. Есть пользователи, которые готовы ждать дольше, но сохранять при этом доступ к дневникам. И те, и другие - полноправные равные юзеры. И среди тех, и среди других есть как платники, так и те, кто не пользуется платными сервисами. Админы должны были сделать выбор, который по определению сделал бы недовольными либо одних, либо других. Компромисс - например, отключать сайт ночью - не имеет смысла, потому что, как было сказано ранее (не помню, где, но админы не дадут соврать, если что), ночью и так нагрузка мала, отключение сайта погоды не сделает. Админы выбор сделали. Какой смысл так долго ломать копья и доказывать, что сайт-таки надо было отключать? Если бы было принято другое решение - сейчас была бы недовольна другая группа юзеров, для которых картинки не так важны, а на дайриках работа, ролевые игры, общение.

[Тайя.]

Те, кто голосует за полную остановку сайта, могут в знак протеста специально не заходить на пару дней на дайры! Несмотря на то, что на них заходить можно!

[Кимико Д. Ламер]

Dark Star Ура. Наконец-то есть еще один человек с адекватной точкой зрения.)
Потому и прошу некоторых юзеров прекратить, или перенести сие "общение" на у-мыло.

[Люциферна]

Все вернулось! Всем админам спасибо
Мне в общем-то все авки и не так горели, но вот диз днева ждала очень нервно, потому что после сбоя, дневник выглядел как белые буквы на белом фоне((( И даже стандартный дизайн не устанавливался.
Еще раз спасибо
я из 6/5

[Кимико Д. Ламер]

копируются 5/6, 6/5, 7/2.

[Арис]

нос

Значит, я предпочту остаться при своем мнении, и в согласии с законами экономики. Что касается понятия веры, то оно столь расплывчато и туманно, что эту тему лично я развивать не буду.

Dark Star

Предложение об отключении, было лишь предложением. Принимать его или нет -выбор администрации. Вопросы задавались о рекламе. И никакого спора, всего лишь идет дискуссия.

за чей счет этот банкет

$аленая как море

Хороший вопрос

[Мей Подколодный]

Кимико Ламер, 7/4)

[Иней.]

Арис, у Вас дискуссия не по теме поста.

[Кимико Д. Ламер]

[Мей] ну, учитывая, что у кого с 7/5 уже всё восстановилось, то...хD

[Найто]

Товарищи-админы, а в каком состоянии находится копирование? Последнее обновление было вчера вечером, и я думаю, что многие из оставшихся "счастливцев" хотят знать, как продвигаются работы.
Я бы вообще предпочла видеть апдейты утром и вечером вместо одного в сутки. Никого не упрекаю и не давлю, но и бегать поминутно проверять утомляет, а вот если систематически вывешивали обновление в одно и то же время, было бы неплохо.
И тем не менее, спасибо за работу)

[Чёрная весна]

Ну что, какие новости?)))

[Арис]

Иней.

Я так не думаю, потому и вела ее.

[Кимико Д. Ламер]

в банке кока-колы Найто копируются 5/6, 6/5, 7/4.

[Найто]

Кимико Ламер,
Спасибо тебе))) Но я все равно считаю, что лучше бы это в обновлении висело. А то приходят люди с вопросами, а на них набрасываются, мол читайте комменты.

[Чёрная весна]

копируются 5/6, 6/5, 7/4.

Аааааатлично))))) Значит, скоро до нас доберутся)))

[Leyu]

хнык(((((а мой дизайн так и не появился....и новый не поставить((((

[Мей Подколодный]

Кимико Ламер, я просто по себе сужу)

[DGhost]

Кимико Ламер

А админовские комментарии вы читали?

Читал. Администрация великолепно разбирается в номерах папок и отработала навык просчета папок пользователей по ID до автоматизма.
Дело не в картинках. Если продолжаете дискуссию - уточните точку зрения оппонента для начала. Мой ответ озвучен выше.

Души романтиков

Те, кто голосует за полную остановку сайта, могут в знак протеста специально не заходить на пару дней на дайры!

Считаете, что от этого вся информация скопируется за два дня?

Dark Star

а на дайриках работа, ролевые игры, общение

У меня вот тоже на сайте и общение, и ролевые игры, и работа. Именно потому я хочу пользоваться возможностями сайта в полном объеме в кратчайшие сроки. Мое предпочтение в данном случае ничем не хуже, допустим, вашего.

[Кимико Д. Ламер]

[Мей] Блин, то-то я думаю, что в тебе (не против?) изменилось. Верно. Аватарки.)
Leyu Тут я не шарю. Можете полистать комментарии, авось чего дельного найдете.) Можно почистить кеш, а можно подождать до полной утряски с БИ - когда уже все будет работать.
Найто Ну, я могу и не ссылать, а рассказать. Можно ко мне обращаться.) Коли буду тут ошиваться - отвечу без проблем.)

[Найто]

Кимико Ламер,
Хорошо, я приду к тебе за обновлением на умылу!!!!!

[Dark Star]

Темный призрак

Мое предпочтение в данном случае ничем не хуже, допустим, вашего.

Само собой. В своем комментарии я как раз и утверждала, что наши точки зрения равны.

[Кимико Д. Ламер]

Темный призрак Свою точку зрения вы объяснили, чего сейчас-то хотите? Мне просто интересно) Впрочем, ладно, разбирайтесь там между собой, я со сторонки понаблюдаю.) Случайно обидеть или настроить против себя никого не хочу, больше в ваши дискуссии вмешиваться не буду. Админы и юзеры вам в помощь

[Кимико Д. Ламер]

Найто Да без вопросов. Главное, чтобы я у компьютера была.) Но у меня в основном гипотезы - я не админ всё же.)

[Angrem]

Я благодарю админов за труд - у меня картинки сегодня восстановились, это не может не радовать.
Но возник другой вопрос - вроде бы говорили, что платным дневникам в связи с инцидентом и невозможностью в течение минимум недели пользоваться сервисами, за которые были заплачено, продлят действие платных сервисов. Сегодня у меня закончилось действие того самого платного сервиса и ничего. Выбор аватар и возможность их дозагрузки так и отсутствует. Это я что-то поняла неправильно или действие всё же действительно продлят?