Типичный Сисадмин

🌎 Яндекс перешел на ручное распределение квот. Yandex Cloud переходит на… "полностью ручное распределение квот на вычислительные ресурсы и диски". Автоматическое масштабирование и моментальный деплой отключены, пользователям выделяют минимальные ресурсы для того, чтобы те успели выкачать бэкапы и "перенести их на другие площадки". Следующий сеанс связи перенесли на 20:00 по мск. Параллельно топ-менеджмент Яндекса выпустил обращение к сотрудникам и юзерам: ДЦ в Сасово серьезно поврежден и остановлен, калужские модули выведены из строя, назвать хоть какие-то сроки восстановления железа компания не может. К вечеру пятницы парализовало Яндекс 🚖... "Прямо сейчас заказать такси не получится. Попробуйте минут через пять". А у водителей и курьеров в Яндекс Про отвалился раздел баланса - мужики катали смены вслепую, гадая, дойдут ли им заработанные суммы 🚙 Отдельный памятник современному микросервису... навигация и матчинг лежат, такси вызвать невозможно, но рекламные баннеры пылесосов внизу загружались. Типичный 🥸 Сисадмин

👮‍♂️ Ситуация без изменений... отвалившаяся зона ru-central1-b уходит на выходные. Ночной статус-апдейт от уложился в несколько строк: Ситуация с доступностью зоны ru-central1-b пока остаётся без изменений. Наши инженеры продолжают круглосуточные работы по устранению последствий инцидента и восстановлению сервисов. Следующий апдейт дадим 10 октября в 12:00 мск. Взята пауза более чем на 12 часов. И без прочих слов понятно насколько там всё фатально. Чуда не произошло... к исходу вторых суток оживить площадку не удалось даже частично. Плюс сбоит Алиса: Часть функций Алисы AI в чате временно недоступна, ответы нейросети могут приходить с задержкой. На станциях возможны паузы перед ответом и перебои в работе некоторых функций, а отдельные устройства умного дома могут работать нестабильно. Технику Вове и его коллегам в Сасово можно только молча посочувствовать. Вместо ламповой сауны и покатушек на электросамокате по ДЦ им предстоит разгребать железо и восстанавливать то, что вообще подлежит реанимации. Резервируйтесь, бекапьтесь. Типичный 🥸 Сисадмин

🤖 OPS Talk by Sber: узнай, как AI меняет сопровождение Собираем инженеров сопровождения, SRE и DevOps, чтобы обсудить, что реально происходит с AI в эксплуатации и какие практики у нас есть уже сегодня. Вместе со спикерами из Сбера, Т-Банка и СберТеха поговорим про: 🔘AutoHealing и автоматический откат релизов; 🔘AI-агент в observability, который вырос до 10k пользователей; 🔘DB Advisor в PV Kintsugi, или как организовать работу с моделью, чтобы её ошибка не становилась решением инженера; А еще пообщаемся в непринужденной обстановке после деловой части. Сбор 19 октября в 18:00 на welcome-кофе Офис Сбера на Кутузовском 32 + онлайн Регистрируйся, пока места ещё есть!

👨‍🦳 Вечерняя порция от Яндекса... Только к вечеру второго дня в облаке появилась "возможность переносить управляющие компоненты k8s и удалять хосты из зоны ru-central1-b". Всё это время распределенный консенсус etcd и репликации ждали ответа от превратившейся в угли ноды в Сасово, блокируя любые операции по управлению... нельзя было ни сменить конфиг, ни добавить пользователя, ни накатить миграцию. Яндекс сообщает, что нейросети работают штатно, но добавляет: "сохраняются некоторые особенности работы моделей DeepSeek, связанные с размером контекстного окна". ИМХО, походу кластеры с топовыми ускорителями частично подгорели, видеопамяти под гигантский KV-кэш не хватает, и чтобы сетка не вылетала в аут оф мемори, ей подрезали память на лету. Вчера у тебя была умная модель с длинным контекстом, а сегодня - чуть склеротичный ИИ. Из позитивного... S3 Object Storage починили и тайминги на запись вернулись в норму. Сторадж перестал задыхаться, а вот разгребать последствия контуженного кворума и общаться с амнезийным дипсиком предстоит еще долго. Типичный 🥸 Сисадмин

Когда контора экстренно съезжает из арендованного офиса... ночью 🏃‍♀️ #предложка Типичный 🥸 Сисадмин

Гринатом — ИТ-интегратор Росатома — ищет специалистов для работы с ИТ-системами и промышленной автоматизацией в Немане. 🔹 Специалист технической поддержки Основные задачи — приём и регистрация обращений сотрудников, консультация по работе с информационными системами, решение типовых проблем и передача сложных вопросов профильным специалистам. Ждём кандидата с опытом работы в ИТ-поддержке, уверенным знанием ПК и офисных программ. Английский — на уровне чтения технической документации. 🔹 Старший специалист технической поддержки АСУ ТП Основные задачи — техническая поддержка АСУ ТП технологических линий, контроль состояния систем, проведение планово-профилактических работ, диагностика и устранение неисправностей аппаратной и программной частей. Также специалист будет участвовать во внедрении и доработке систем, вести техническую документацию и реестр оборудования. Требуются высшее техническое образование и опыт работы с автоматизированным производством от 3 лет, знание промышленных сетей и протоколов, ПЛК и SCADA.   🔹 Специалист по промышленной автоматизации Основные задачи — поддержка и обслуживание MES и АСУ ТП, диагностика и устранение неисправностей, обновление программного обеспечения, резервное копирование конфигураций и обеспечение взаимодействия MES с производственным оборудованием. Также в задачах — подготовка технической документации и отчётов. Ждём специалиста с опытом разработки на C# (.NET Framework), Java или C++, знанием PostgreSQL и SQL, навыками администрирования Windows и Linux. Английский — на уровне чтения технической документации. Для всех позиций — официальное трудоустройство, ДМС со стоматологией и возможности профессионального развития.

Коллеги уже нервно фантазируют 🏥.... что если в Москве на подоконнике поставить неттоп на селероне чисто ради галочки. А весь реальный боевой прод, тяжелые базы и бэкапы через три слоя шифрованных туннелей сбрасываются в степи - прямиком в ДЦ Алматы и Астаны. Да, пинг будет такой, будто пакеты везут на верблюдах. Зато казахские ЦОДы не ловят маслины, а оплату можно проводить через kaspi под шашлычок. Типичный 🤙 Сисадмин

А на иностранные перейти нельзя из-за 152фз.

🔥 Яндекс начал эвакуировать клиентов к прямым конкурентам. Стойки закончились. В 09:27 во всех зонах разом захромал S3 Object Storage... тайминги улетели, операции записи начали повально сыпать ошибками. Стораджисты это понимают... это когда из распределенного кластера физически выпадают площадки, erasure coding и кворум репликации ложатся, то читать старое еще можно, а вот записать новый блоб становится тяжеловато (невозможно). 😱 В 10:39 случился исторический момент. Яндекс пояснил, что свободных мощностей для бизнеса больше нет, и предложил своим клиентам… переходить в Selectel, K2Cloud и VK Cloud. А чтобы быстрее приютили на чужих серверах, нужно назвать секретный пароль... CloudBro 👨‍🦳 З.Ы. Как говорится... мем смешной, а ситуация страшная. Кажется, мы только что увидели фактический предел прочности нашего облачного рынка. Типичный 🥸 Сисадмин

💥 Следом за Сасово прилетело по ДЦ Яндекса в Калуге. Минус два из трёх. Не прошло и суток как под удар попал крупнейший ДЦ Яндекса в Калуге. Несколько модулей выведены из строя, экстренные службы на месте, сервисы по всей стране снова лихорадит, а масштаб ущерба уточняется. Оцените всю дьявольскую издевку ситуации 👹... ровно вчера, когда в Сасово догорал, техподдержка Яндекса советовала клиентам переносить нагрузку в другие зоны доступности. И тысячи невыспавшихся админов по всей стране, с красными глазами 🤙, раскатывали бэкапы, поднимали поды и переключали трафик… куда? В Калугу и Владимир. И вот, не успел в свежеподнятых базах остыть кэш, как резервная гавань сама ловит новый физический импакт. С точки зрения архитектуры распределенных систем это почти фаталити... любой эникей знает, что для нормального кворума в etcd, распределенной YDB или консенсусах на базе Raft и Paxos требуется правило большинства (N/2 + 1). Для этого региональные облака и строят минимум на трех изолированных зонах доступности. Зона ru-central1-b физически аннигилировала вчера. Сегодня падает калужская зона. Два узла из трех выбыли. Вчерашний совет саппорта про спасаться на дедиках теперь заиграл совсем уж погребальным сарказмом. На каком железе спасаться-то, если его выбивают быстрее, чем админы успевают поправить адреса в куберконфигах? Карточный домик суверенной облачной отказоустойчивости пошатнулся. З.Ы. В строю осталась последняя площадка во Владимире. Инженерам во Владимирской области сейчас хочется пожелать персонального бронированного купола толщиной с бетонную плиту. Потому что если моргнет и Владимир... ⚰️ Типичный 🥸 Сисадмин