Восстановление картинок

[Diary Spirit]

UPD 15 октября, 23:12

Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.

Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.

Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.

Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.

- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.

- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.

Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.

Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.

В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя  Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.

Другими словами, выше было написано, что

номер вашей папки — первая цифра числа в ссылке вашего профиля

За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.

Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.

Такие дела.

запись создана: 13.10.2010 в 01:54

Comments

Я привыкла уже к голому нику =)))

Правда что-ли?? Я, наверное ,тоже так буду, блин... поскорее уж моя ава появилась - она такая лапа!

[Тайя.]

SophietheValiant, а, вы в самой последней группе)) Ну я недалеко от вас ушла - 1/8))
Как любит говорить мое начальство: "тяжело первые сто лет, а потом привыкаешь"

[Starla Blaze]

Спасибо за проделанную работу. Все восстановилось.

[Чёрная весна]

Эх

в самой последней! Ох! ладно уж, время есть...

[ХлебнаяКрошка]

Жду и мандражирую..... выздоравливайте быстрее

[Efesska]

извините, такой вопрос. у меня был подключен сервис "мои ссылки" они будут восстановлены? и когда?) заранее спасибо)

[Ник]

Спасибо, ребята, все вернулось. *сидит довольная*
Не болейте там больше, дайры.

Темный призрак, именно о пользователях и беспокоятся. Тут многие не против потерпеть и поработать вот в таком вот режиме лишь бы не оставаться без дневников пару дней.
Ферштейн?

[iDovakiin]

Лучше бы 2-3 дня ничего не было, чем сидеть и неделями ждать когда появиться графика.

[DGhost]

Флэки

Тут многие не против потерпеть и поработать вот в таком вот режиме лишь бы не оставаться без дневников пару дней.

Также другие многие здесь не против на два дня остаться без дайри, но в последствие нормально пользоваться сервисом, а не наблюдать за устроенной тут недельной тягомотиной. И для этих многих быстрое восстановление полноценной работы сервера как раз и является проявлением "беспокойства о пользователях" со стороны администрации.
Надеюсь, вам будет достаточно знания русского языка, чтобы понять меня.

[Efesska]

Марик, для вас может и лучше. а многие готовы пожертвовать картинками совершенно спокойно лишь бы с людьми тут общаться. я вот не готова на три дня расстаться с дайри. так что думаю админы выбрали самый безболезненный путь. если кого-то неустраивает так он может и подождать.

[Кимико Д. Ламер]

Ну, если бы у меня все наладилось, я бы была против *ибо нафига, простите за мой французкий*
Да,то что недельная - не айс, но мне без дайри сидеть как-то еще не лучше. Чисто моя точка зрения, я думаю, в чем-то правы обе стороны, но лучше тогда пойти на компромисс, допустим, отключать только ночью (по час.поясу админов).

[Solet SerCro]

Темный призрак
А у некоторых тут, простите, работа.
И чо бы я фчира делал, если б не мог связаться с клиентом, которому срочно данные надо передать? И не надо про "общайтесь в других сервисах", по ряду причин от ряда людей я могу принять заказ и иформировать о ходе работ _только_ здесь.
А картинки презамечательно заливаюцо на другие сервисы.

[Арис]

Все осложняется еще и тем, что вечерами, в моменты большой нагрузки и копирования в придачу, на сайт невозможно зайти вообще. Все настолько тормозит, что грузить по 10 минут страницу, это уже перебор. И не только для тех, у кого еще ничего не восстановлено. Отключение и нормальное копирование, ИМХО, но лучший выход. Мне картинки не важны, загружу заново, но хотелось бы не качать разочарованно головой наблюдая за подетально загружающимися страницами.

[.effigy]

нескромный вопрос, а возмещение какое-то будет? тут где-то проскальзывало, что на платных дневниках потом добавят все дни, что не было дизайна и аватарок (7 дней получается).

а так, выздоравливайте))) дневнички нам жизненно необходимы здоровыми)))

[Кимико Д. Ламер]

.effigy да,будет, верно вы прочли.)

[Тартан]

.effigy где-то двадцать раз проскальзывал как вопрос, так и ответ. Да, всё компенсируют
Арис странно - у меня ничего не тормозит

Да, присоединяюсь к тем, кто поживёт спокойно без картинок. (есличо, папка 1/0)

Кимико Ламер Тартан
*веселится* Ребят, вы тут волонтёрами? А в Техподдержке народ тоже продолжает удивляться "почему у меня нет картинок".

[.effigy]

Кимико Ламер, большое спасибо, значит, можно быть спокойной)))

Тартан, у меня нет ни времени, ни желания читать все 1000 камментов той темы и 700 этой, поэтому и задаю вопрос)))

[Тартан]

Kookaburra ага. Я страшно сочувствую админам, пытаюсь вот помочь чем могу. Я на месте техподдержки уже бы рассылала вирусы. Или приходила лично и расстреливала в голову из дробовика

[Тартан]

.effigy хотите, я расскажу Вам страшную тайну? Есть такая функция - поиск. Вызывается кнопочками ctrl+f. Можно даже не листать странички, а открыть все комменты на одной странице - займёт чуть больше времени, но не смертельно, правда.

[Тайя.]

страшно сочувствую админам, пытаюсь вот помочь чем могу. Я на месте техподдержки уже бы рассылала вирусы. Или приходила лично и расстреливала в голову из дробовика

Админы, признайтесь, как вам удается сохранять спокойствие? Аутотренинг? Медитация? А может вы бьете тарелки дома по вечерам, чтобы на сайт приходить в доброжелательном настроении?

[Neko]

Ура ура, дизайн вернулся )))

[.effigy]

Тартан, ну видимо я не такая умная, как Вы. с телефона, например, как-то не в кайф поиском пользоваться - всё глючит и зависает) в общем ответ я уже получила, до свиданья и удачи.

[ArLe]

Про остановку сервера. Вариант полной остановки сервера рассматривался, однако, копирование достаточно эффективно может осуществляться и в фоновом режиме, поэтому от идеи остановки решили отказаться, чтобы не лишать пользователей возможности пользоваться сайтом.

Пользователям платных сервисов мы компенсируем стоимость тех дней, когда сервисы не работали.

Про рекламу. Реклама не окупает даже близко стоимости поддержания ресурса. Кто не верит, заведите себе одностраничный сайт с рекламой и попробуйте за год заработать на ней хотя бы на пару кроссовок.

[DGhost]

Solet SerCro

Ну вот видите как все происходит. Для вас не аргумент фраза "общайтесь на других сервисах", а у меня здесь на дайри проплачены сервисы, которые мне удобны, и которыми я хочу пользоваться именно здесь. И для меня в данном случае не аргумент фразы типа "А картинки презамечательно заливаюцо на другие сервисы". Потому что меня эти другие сервисы не интересуют ) .

ArLe

Реклама не окупает даже близко стоимости поддержания ресурса. Кто не верит, заведите себе одностраничный сайт с рекламой и попробуйте за год заработать на ней хотя бы на пару кроссовок.

То есть вы просто из благотворительных побуждений или субъективных эстетических предпочтений администрации засоряете дневники рекламой, я так понимаю. Или намеренно балуетесь навязанной услугой "оплати дневник - не увидишь рекламу" )

[Тартан]

ЧАВО, он же FAQ
1. А когда будут закончены работы/когда у всех появятся картинки?
Работы планируется закончить дней через шесть, точно сказать сейчас нельзя, т.к. ещё не приступали к копированию "глючной" папки 1/0
2. А что, картинки/дизайн/фон/аватарки пропали совсем?
Нет, все картинки/etc. будут восстановлены. Есть шанс (не факт, а только шанс), что какие-то проблемы могут возникнуть с "глючной" папкой 1/0
3. Как узнать в какой я папке?
Номер вашей папки - первая цифра вашего ID, номер подпапки, соответственно - вторая, т.е. если ID 12345, то ваши картинки находятся в папке 1, подпапке 2
4. Как узнать мой ID?
Ваш ID находится в профиле, Под аватаркой и данными вроде пола/возраста, над контактами. Ещё его можно увидеть в адресной строке Вашего профиля w ww .diary. ru/member/?12345 - вот то, что выделено жирным и есть ID.
5. Я заплатил свои кровные деньги за дизайн/аватарки/etс., и вот уже сколько времени у меня нету всех этих прелестей жизни, что же делать?
Ждать вместе со всеми. Всем "платникам" удет компенсировано время, проведённое без картинок. Компенсация будет произведена после окончания всех работ, по той простой причине, что сейчас неизвестно, сколько именно нужно компенсировать. Компенсация будет в виде продления действия платных сервисов
6. Почему в меня ещё нет картинок, а у Васи уже есть?
Потому что папки копируются постепенно
7. Почему у меня ещё нет картинок, а у Васи уже есть (у меня 6/8, а у Васи 7/1)?
Потому что параллельно копируются три папки, и в Вашей, то есть шестой, до восьмой подпапки ещё не дошли, а васиной, то есть седьмой, первую уже скопировали.
8. А что, сейчас уже можно закачивать картинки в БИ?
Можно, но осторожно, чтобы избежать дополнительной нагрузки на сервер
"Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.
Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить." (с) Diary Spirit

[Тайя.]

Или намеренно балуетесь навязанной услугой "оплати дневник - не увидишь рекламу"

Темный призрак, о, вам таки ее навязывают? Вот прямо нож к горлу приставляют и требуют оплатить?

[semiautomagic]

ArLe
в смысле - компенсируете стоимость? продлите действие на срок этих дней?
а вот сами платные сервисы помогают в "окупании" стоимости поддержания?