Мероприятия международного формата – это всегда огромная территория и миллионы участников. Сложно представить со стороны, какое количество инцидентов может происходить на ивенте такого уровня. Важнейшими задачами организаторов являются оперативное реагирование и контролирование процесса устранения возникающих ситуаций. В этом организаторам помогают различные системы. Компанией «СМАРТ АйТи солюшенс» для ЭКСПО 2017 в Астане была разработана система управления IMS. Мы поговорили о причинах её использования с Генеральным директором Компании – Ильдаром Абдрашитовым.
Ильдар Абдрашитов – предприниматель в сфере IT-технологий, генеральный директор компании «СМАРТ АйТи солюшенс». Более 10 лет работает в сфере организации различных сервисов для крупных международных мероприятий. Среди кейсов его компании такие крупные массовые мероприятия как FIFA 2018, выставка ЭКСПО в Астане, Европейские игры в Минске, Чемпионат Worldskills в Казани.
IMS (далее Incident Management System) – система управления инцидентами.
Она представляет собой централизованную электронную систему управления и разрешения инцидентов, возникающих в ходе подготовки и проведения мероприятий. Важно не путать IMS с системой технической поддержки ServiceDesk, в которой учитываются только ИТ-инциденты.
Во время проведения крупного мероприятия создается ГОЦ (Главный Операционный Центр), и именно там работают с системой IMS, потому что ГОЦ является центром жизнедеятельности мероприятия. Его задача минимизировать время устранения инцидентов и их последствий.
Причина №1: Удобство.
Для системы IMS не нужно специальных установок, её использование возможно с любого смартфона.
Например, сотрудник оргкомитета увидел перед собой перегоревшую лампочку. Он может зайти в систему со своего мобильного телефона, зарегистрировать этот инцидент в программе и приложить фото при необходимости. Подчеркну, что информацию о сгоревшей лампочке вносит не только электрик или инженер по эксплуатации, а любой сотрудник. Процедура регистрации инцидента максимально упрощена: необходимо ввести короткое описание инцидента (или выбрать из списка стандартных) и привязать его к объекту, на котором это случилось. Всю остальную информацию заносит оператор IMS, при необходимости связываясь по телефону или рации с инициатором для уточнения информации.
В ГОЦе установлено множество экранов и/или большая видеостена, на которую транслируется «картинка» со всех видеокамер мероприятия. Соответственно, инцидент всегда может зафиксировать оператор ГОЦ, увидев неполадки через камеру видеонаблюдения.
Причина №2: Интеграция.
IMS отлично интегрируется с различными системами.
Например, с системой ServiceDesk, что позволяет критичным ИТ-инцидентам автоматически попадать в IMS. Может интегрироваться с системами экстренных служб, и тогда информация об инцидентах, в которых ответственными назначены эти службы, автоматически передаётся в соответствующие структуры.
Если говорить о технологиях будущего, которые уже работают в режиме тестирования на крупных ивентах, то IMS можно интегрировать с IoT-платформой. В такую платформу поступают данные с различных датчиков: задымление, пожар, протечка воды, давление в различных системах, уровень топлива в генераторах, температура и прочее. Данные из этой системы могут попадать в IMS, где инцидент создаётся автоматически.
Причина №3: Отказоустойчивость.
На протяжении всего мероприятия система IMS функционирует круглосуточно. В операционный период техническая поддержка обеспечивается в режиме 24/7, но этого не достаточно. Система должна быть спроектирована максимально отказоустойчивой. Необходимо обеспечить постоянное резервное копирование и защиту информации от несанкционированного доступа к ней. IMS должна легко масштабироваться и иметь минимальное время восстановления работоспособности при сбоях. Для обеспечения этого процесса все сервисы системы дублируются.
IMS имеет 2 front-end сервера, предназначенных для прямой взаимосвязи с пользователем, балансировки нагрузки и обеспечения высокой доступности системы. В случае выхода из строя одного из них, второй продолжит работу в штатном режиме. Кроме того, есть 2 сервера приложений, они несут в себе основную логику работы и хранят все критичные данные, работают в режиме master-slave. В процессе работы все критичные данные реплицируются с одного сервера на другой. В случае выхода из строя master-сервера, происходит переключение на slave без потери данных, с минимальными задержками. Нельзя забывать о сервере мониторинга, следящим за всеми серверами, сервисами и за состоянием сети. Все серверы могут быть территориально разнесены. IMS можно развернуть в облаке при необходимости.
Причина №4: Язык
Интерфейс IMS реализован на нескольких языках. Обязательно на официальном языке страны-организатора и на английском, так как на крупных ивентах в оргкомитете работают иностранные специалисты.
Причина №5: Оргструктура в коробке.
Оргкомитеты ивентов имеют специфическую организационную структуру: часто встречается матричное, двойное подчинение.
Например, сотрудник безопасности подчиняется руководителю ФНД «Безопасность» (ФНД – функциональное направление деятельности), а если он работает на каком-то объекте мероприятия (например, ледовой арене), то он в подчинении и у руководителя данного объекта. Очень важно иметь систему, преднастроенную на наиболее часто используемый формат оргструктур, при внедрении которой потребуется минимальное вмешательство.
Причина №6: Привязка к объектам.
Крупные мероприятия включают в себя множество объектов. При регистрации инцидента в системе IMS должна быть возможность выбора одного из них. От этого зависит назначение ответственного в инциденте и возможный уровень критичности произошедшего.
По опыту работы на мероприятиях отмечу тот факт, что объекты могут соединяться в кластеры, как было, например, на Олимпиаде в Сочи: горный и прибрежный. Система должна давать возможность выбрать как кластер, так и всю территорию, если инцидент касается всего мероприятия.
Причина №7: Преднастроенные инциденты.
Перед внедрением IMS необходимо разработать матрицу вероятных инцидентов. Для ЭКСПО 2017 нами было разработано около 160 вариантов возможных инцидентов. Это необходимо для удобства пользователя, который выбирает ситуацию из списка, а не описывает её вручную. IMS сама подсказывает инцидент по ключевым словам, сохраняя возможность ручного ввода. Кроме названия инцидента в систему внесён регламент реагирования.
Например, перегоревшую лампочку на объекте «Стадион» должны заменить ФНД Эксплуатация объекта «Стадион». В системе выбирается инцидент «перегорела лампочка» и соответствующий объект, а данные по ответственным отображаются автоматически.
Причина №8: Назначения поручений.
Если инцидент нельзя устранить за одно действие или для устранения необходимо задействовать несколько человек из различных ФНД, то в IMS есть функционал поручений. Эти задачи назначаются и исполняются внутри конкретного инцидента.
Например: лампочка перегорела, но в помещение нет доступа. В таком случае необходимо дать поручение ФНД «Безопасность» для предоставления доступа в помещение.
Причина №9: Автоматическая эскалация.
Основная задача IMS – сокращение времени устранения инцидента. Очень важно минимизировать ручной ввод, и максимально автоматизировать жизненный цикл события, поэтому IMS сама умеет ставить приоритет инциденту и назначать ответственных. Кроме того, определённые инциденты автоматически эскалируются на более высокие уровни.
Например, при инциденте «пожар» система автоматически присваивает «красный» статус произошедшему и эскалирует его на уровень руководства. Если «зелёный» инцидент не устранён в отведённый для этого срок, то он автоматически становится «жёлтым» и эскалируется на уровень ГОЦ (на ивентах обычно «зелёные» инциденты разрешаются на «объектовом» уровне, ГОЦ не участвует в их устранении).
Причина №10: Отчётность.
Как и любая другая система, IMS предполагает отчёты, графики и диаграммы.Через IMS за ситуацией на мероприятии могут следить не только президент и вице-президенты оргкомитета, но и руководство города-организатора, руководство экстренных служб и прочие. У каждого из руководителей может появиться необходимость в отчёте или графике и сделать это необходимо в кратчайшие сроки, поэтому системе важна гибкость в предоставлении необходимой информации.
Мы использовали нашу систему на нескольких крупных ивентах. Практика показала, что важнейшими её преимуществами являются стабильная работа (отказоустойчивость) и гибкость. Да, иногда это вынуждает соглашаться на жёсткие условия SLA ( Service Level Agreement — документ, определяющий права и обязанности ИТ-аутсорсера и клиента) и внедрять практически любые доработки в кратчайшие сроки, но система позволяет это сделать. Без гибкости, оперативности и чётких дедлайнов работа на крупных ивентах невозможна.
Ивент – это мир, где главенствует принцип: «кто, если не мы?» и современные it-технологии отвечают этому принципу.
