воскресенье, 01 июля 2007
Итак, собравшись с силами, описываю историю, как лень и раздолбайство чуть не довели до.
читать дальше
Есть у меня один клиент. У него крутится на сервере весьма коммерческая система, которой реально вредно простаивать. Для резервирования был заказан второй сервер, на ем должны были жить бэкапы.
Сервер жил себе и жил, но вот беда - на площадке сдох кондиционер. И от перегрева пошел диск в резервном сервере. Было куплено 4 диска и RAID-контроллер. И лежали они тихонько в уголке, ожидая, когда у меня руки дойдут.
Руки дошли на прошлой неделе. Выяснилось, что искомый RAID не работает с фрей. А на матери только два SATA-контроллера. Было поставлено два диска, на них система... не загрузилось почему-то, фигня, потом доделаем, решил я в пятницу вечером.
И тут сработала Тень, в аккурат по Панкеевой.
- Слушай, - сказала она, - а сбэкапил бы ты диск? Хоть куда? Хоть на самого себя?
Не вопрос, сказал я, поставил бэкап боевого сервера и лег спать.
Утром я посмотрел ... а сервер-то ребутался. А что в /var/log/messages?
Ой, мама дорогая...
А в /var/log/messages написано русским по белому - диску пришел Подкрадывающийся Незаметно.
Упс, сказал я, сейчас будем спасать данные на любой соседний сервер.
В процессе спасения данных машина навернулась по ошибке чтения с диска и сама не поднялась. И я поехал.
Перед этим разложил руны. Они мне сказали, что проявлю я массу героизьма, скорее одержу победу, чем нет, но тут не вполне ясно, а вот бестолковых хлопот и упираний не туда будет полно.
А тут, надо сказать, 50 лет назад советское правительство решило устроить шестой фестиваль молодежи и студентов. То ли за мир побороться, то ли добрую волю продемонстрировать, то ли дружественных негров белым дармовым мясом побаловать. Это непринципиально.
Принципиально другое. В честь пятидесятилетия оного события, с 11 до 14 был перекрыт Проспект Мира. От Крестовского моста до ВВЦ. Вследствие этого, пробок было - ни в сказке сказать, ни пером описать. Достаточно сказать, что в рабочий день я это расстояние еду обычно 30-40 минут, сегодня - за 15 проехал, вчера, хоть и ехал не по пробке, ехал час.
Приезжаю. А там дисковый контроллер мне и говорит:
- У вас, батенька, диск навернется в любой момент. Нажмите эни кей для продолжения загрузки.
Что мне остается делать? Нажал я на эни кей. Он взбутился.
Дальше я часов до девяти вечера тащил данные, и то ли дамп побился, то ли еще чего, короче, вытащил я не все. Но большую часть.
Перемонтировал диск в R/O, ему это, похоже, на пользу пошло.
Запустил rsync и поехал домой.
Вечером из дома попытался запустить постгрес. Он не запустился, мотивируя недостатком семафоров. Я пересобрал ядро, ребутнулся, резервный сервер (на который я унес БД) не встал.
Утром я разложил руны второй раз, они сказали - все путем, день будет хороший (каковой он и вышел). Доехав до работы, я исправил тривиальную недонастройку ядра, пронаблюдал работу всех сайтов, запустил smartd мониторить все диски и, довольный поехал по иным делам.