Восстановление картинок

[Diary Spirit]

UPD 15 октября, 23:12

Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.

Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.

Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.

Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.

- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.

- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.

Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.

Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.

В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя  Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.

Другими словами, выше было написано, что

номер вашей папки — первая цифра числа в ссылке вашего профиля

За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.

Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.

Такие дела.

запись создана: 13.10.2010 в 01:54

Comments

[Арис]

Если сайт работает на благотворительной основе и пожертвованиях, об этом можно было просто сказать. Я, в диалогах с вами, лишь прописала законы экономики, касающиеся рекламы, как двигателя торговли. Вы от них, от законов этих, отмахиваетесь, как от чумы. Да, мне это странно, учитывая, что о благотворительности не было сказано ни слова, слышать подобное. Реклама в нынешнее время все, и деньги как-то зарабатывать надо. Это нормально, и это даже приветствуется. Не нравится ее видеть, заплати и живи спокойно. Что я, как и большинство пользователей делаем.

Далее - на личности я не переходила, никого не оскорбляла, в отличие от того, что вижу в свой адрес и в адрес других пользователей.

Может, стоит хотя бы извиниться за прямые оскорбления?
То, что мы где-то не сошлись во мнениях, к данному вопросу не относится, это всего лишь не совпавшие мнения, и каждый остался при своем.
И насчет критики - согласна с Мариком. Это таки утверждение, а утверждение есть отрицание, сиречь «отрицательное суждение о чём-либо» (с). Можно при желании посмотреть значение слова в словаре.

Марик
Уймитесь, пожалуйста. Ваши комментарии не имеют отношения к теме записи, зато изрядно мешают отвечать на вопросы по существу.

Караидель

Марик имеет право на извинения от администрации. Или вы считаете, что его претензии необоснованны?

[DGhost]

quirischa
а у нас с вами диалог идет? нет. так какие проблемы? если есть что сказать - говорите. в противном случае ваше выступление выглядит странно.

[нос]

Марик, я вам там же сказал, в чем именно вы лжете. Вы не ответили по существу - располагаете вы данными наших договоров и данными о расходах, чтобы такое говорить? Если нет - то признайте, что все выдумали из своей головы.
Критика должна содержать аргументы, а у вас есть лишь голословные утверждения, которые и есть клевета.
Ну, а то, что вы запомнились мне как один из самых пишущих жалобы администрации - даже не моя воля, оно само запомнилось )

То же самое у якобы оскорбленной девушки из дневника "Темного призрака". Посмотрите сами, где тут критика?
я вот там спросила и тут говорю, чего зазорного то, сказать, что не закрываем из-за рекламы. Картинками, которые не восстановятся, пожертвуем, ничего с вами не случится. Реклама важней, большинство пользователей, пользуется сервисом именно за счет этого. И ведь тут бы тоже не поспорили, потому как все сейчас на этой самой рекламе держится.

0. Ничего зазорного, кроме того, что это вранье.
1. Человек за нас утверждает: "мы не закрываем сайт из-за рекламы" — это наглая брехня и ее вымысел, основанный на личном представлении о том, что хорошо и правильно, а что плохо. Похоже, ее собственное убеждение в том, что сиюминутная выгода — главное в жизни — это основная движущая сила на текущий период.
2. Человек за нас думает: "Картинками, которые не восстановятся, пожертвуем, ничего с вами не случится" — это вторая брехня, основанная на том же узеньком и скудном жизненном опыте.
3. "Реклама важней, большинство пользователей, пользуется сервисом именно за счет этого" — это вообще какая-то невнятная мысль, не основанная ни на чем, кроме глупости.

Только 2 сотрудника "Дайри.ру" и пара сотрудников баннерных систем знают, сколько денег приносит реклама в дневниках.
Вот если бы эта девушка предложила: коль вы говорите, что реклама вам не так дорога, как пользователи — отключите ее на время копирования. Я бы ей спасибо сказал, потому что нам самим такая мысль в голову не пришла. А ведь это сразу сняло бы все тупые обвинения. Сейчас попробую выловить программиста, если никуда не уехал на выходные, чтобы отключил рекламу )
Что тогда придумает наши мелко-плавающие критики?

[iDovakiin]

Вы не ответили по существу - располагаете вы данными наших договоров и данными о расходах, чтобы такое говорить? Если нет - то признайте, что все выдумали из своей головы. Критика должна содержать аргументы, а у вас есть лишь голословные утверждения, которые и есть клевета. Ну, а то, что вы запомнились мне как один из самых пишущих жалобы администрации - даже не моя воля, оно само запомнилось )

Я не располагаю данными ваших доходов и я этого не уверял. но я сомневаюсь, что вешать рекламу не дающую доход хотя бы на пару кроссовок есть разумное решение и что за нее вы не получаете денег хватающих на эту обувь.

Насчет прочего, вы ВООБЩЕ не должны рассказывать НИГДЕ о том, кто вам пишет, по какой проблеме и насколько часто. Это нарушение профессиональной этики и это вам скажет любой саппорт. И тем более делать это в уничижительной высмеивающей манере. Извинений от вас не жду. Такие как вы никогда за свои слова не извиняются.
До свидания и всего хорошего.

[Dreaming_voice]

Так тут дадут информацию о том какая папка сейчас копируется или нет? Читать ваши перепитии слишком проблематично, а узнать новости на данный момент хочется.

[Leyu]

нос
спасибо за изменение фона!!!!!!!!!!!!!!!!Я теперь хотя бы что-то вижу из френдленты....

[kates]

Терпеливо жду появления явления изображений в дневнике) Но у меня один вопрос - за последние пару-тройку дней загрузка любых страниц у меня происходит со сбоем через раз. Будь то дискуссии или чей-то профиль - все виснет. Это нормально для данной проблемы (перекачка файлов)? комменты не читала, так что - пардон, ежели вопрос уже возникал

[нос]

Темный призрак, теперь вы хамите другому администратору -  quirischa.
Делаю вам самое последнее предупреждение.

Арис, это не ваше дело, на чем работает сайт. Вы могли спросить прежде, чем оболгать нас - это было бы правильно. Мы не нуждаемся в том, чтобы кто-то из пользователей, полагающих, что знает законы экономики, чревовещал за нас в нашем же дневнике.

Защищаемый вами Марик точно так же оболгал нас, как и вы. Я понимаю, что вы с ним солидарны. Ни вы, ни он пока не ответили за свою клевету или глупость, теперь уж не знаю точно, что это было. Но я уже начинаю терять терпение.

Идите в свои дневники и там пишите что угодно, не забывая о правилах. сайта. А здесь прекращайте этот балаган.

[Чёрная весна]

Сегодня будет информация по папкам??

[quirischa]

в банке кока-колы
чуть позже

[DGhost]

нос
а кто может сделать предупреждение вам? ) вы, как видно, собой не владеете, а это важная, но увы недоступная вам черта представителя власти.
quirischa был задан вопрос, и только. там нет никакого хамства.
Впрочем, я последую примеру Марик. не вижу смысла тратить время на тех, кто меня не слышит.
всего наилучшего.

[Чёрная весна]

quirischa, ладно.

[Чёрная весна]

Темный призрак, а кто может сделать предупреждение вам? ) вы, как видно, собой не владеете, а это важная, но увы недоступная вам черта представителя власти.

Я же Вам уже написала, что это поле администрации! Кажется, кто-то сегодня полетит в бан..

[Ikura]

Марик

Лучше бы 2-3 дня ничего не было, чем сидеть и неделями ждать когда появиться графика.

вы, наверное, шутите. это был бы кошмар.

[нос]

Я не располагаю данными ваших доходов и я этого не уверял. но я сомневаюсь,

Марик, так и пишите, что СОМНЕВАЕТЕСЬ! Но нет, вы пишете - "Неправда ваша." — другими словами, мы лжем. А на самом деле все наоборот.
Марик, идите уже, бога ради... Я уже сказал, что мне жаль времени, истраченного на ваши жалобы, но я бы никогда об этом не сказал, если бы вы не стали клеветать.

[Арис]

нос

Приведенное вами якобы вранье, это законы экономики, которые используются везде. Если не открыто и честно, то в темную и постоянно. Если я не права и ваш сайт чист, светел и свят, я приношу вам извинения и посыпаю голову пеплом, от того, что не распознала этого сразу и допустила в себе сомнения.

Что тогда придумает наши мелко-плавающие критики?

Ничего не придумаем, просто примем ваши внятные теперь, пояснения.

А ведь это сразу сняло бы все тупые обвинения.

Именно так, уважаемый администратор.

Вы могли спросить прежде, чем оболгать нас

Так вопрос и был задан, посмотрите среди постов, если это принципиально. Ответа вразумительного на него мы не получили, лишь услышали совет, поверить на слово. О вере как таковой, я уже говорила, повторяться не стану. Рекламу не отключили, все оставалось на своих местах, и давало повод к тем рассуждениям, которые мы имеем в итоге, и которые привели к сложившейся ситуации.


Так что, предлагаю перестать точить друг на друга зубы из-за элементарного недопонимания, извиниться и надеяться на то, что сервис в самое ближайшее время восстановится и всем будет вновь хорошо и комфортно. Это собственно все.

[нос]

в банке кока-колы, Dreaming_voice

Как только у нас самих будет информация, мы вам сообщим.
Вот именно сейчас копирование остановлено, так как наступили часы наибольшой нагрузки:

www.liveinternet.ru/stat/diary.ru/mins.html

больше 3000 просмотров страниц в минуту.
Копирование продолжится после 1 часа ночи.

[Лунный дождь]

в банке кока-колы

Сегодня будет информация по папкам??

+1
ув. админы, апдейтните на пару строк запись, а? ибо уже и в камментах информации на тему, какие папки обрабатываются не найти сплошной срач =="

[kates]

нос
повторю свой вопрос

Пишет  kates:

16.10.2010 в 22:06

Терпеливо жду появления явления изображений в дневнике) Но у меня один вопрос - за последние пару-тройку дней загрузка любых страниц у меня происходит со сбоем через раз. Будь то дискуссии или чей-то профиль - все виснет. Это нормально для данной проблемы (перекачка файлов)? комменты не читала, так что - пардон, ежели вопрос уже возникал

URL комментария

[Чёрная весна]

нос, ок-ок, только можно просьбу? Не в комментах оповестить о папке, а в самой записи, хорошо? А то идти надо, утром боюсь не найти Ваше сообщение, а оно очень важное...

[нос]

Crowned Clown, я только что успел сказать про это.

[Чёрная весна]

Кстати у меня реклама куда-то исчезла (по крайней мере, сейчас), спасибо, если мне в этом помогли

[нос]

Так вопрос и был задан, посмотрите среди постов

Арис, какой вопрос? Покажите, я наверно пропустил. А что искать - не знаю.

Я правда не знал, что вы женщина. Извините, пожалуйста, что назвал вас глупой. В чем-то вы определенно умнее меня, коль первой сделали шаг навстречу )

Кстати, баннеров я уже не вижу. Видимо, программист получил СМСку и отключил ее. Если у кого-то еще есть баннеры, то после обновления кэш в течение 20-15 минут они исчезнут.
Но после восстановления сайта, рекламу включим снова. Хоть какие-то копейки она все же приносит )

[quirischa]

kates

у меня один вопрос - за последние пару-тройку дней загрузка любых страниц у меня происходит со сбоем через раз. Будь то дискуссии или чей-то профиль - все виснет. Это нормально для данной проблемы (перекачка файлов)?

да, это нормально
если такое останется после завершения работ, пишите - будем разбираться

[kates]

quirischa
спасибо

[нос]

а последние пару-тройку дней загрузка любых страниц у меня происходит со сбоем через раз. Будь то дискуссии или чей-то профиль - все виснет.

kates, сейчас у меня, например, это происходит тоже намного чаще, чем до падения сервера. Видимо, да, сервера не справляются.

[нос]

Мы с quirischa, "не владея собой", как полагают чуть выше распоясавшиеся призраки, с трудом дождались, когда гости все скажут и попрощаются, закрыли комментарии пользователям Темный призрак и Марик за хамство и клевету.

[Арис]

нос

Извинения приняты.

Насчет вопроса, он был задан прямо: "сайт не отключают из-за рекламы?" Он где то, среди комментов, можно найти, но это уже не имеет смысла. Конфликт исчерпан, и я желаю вам скорей восстановить сервис для всеобщего комфорта.

[Таирни]

Сообщение от @robot с уведомлением о том, что пора пополнять счет - пришло. Аватаров как не было, так и нет.
Очень все-таки хочется верить, что господа админы не поленятся решить проблемы с возмещением средств за дни отсутствия дополнительных услуг. Или хотя бы продлят срок действия на то количество дней, пока в дневнике были вместо аватаров красные кресты...

[Alanor Ambre]

Эх, и я в проблемной папке ))) Ну ничего, все, надеюсь, разрешится...