Переводы \ Метрики безопасности

Нашел интересную статью по вопросам практического применения метрик безопасности. На мой взгляд статья весьма полезная, поэтому решил ее перевести.
Источник: http://ism3.wordpress.com/2009/07/18/security-metrics/


Метрика – это количественное измерение, которое может быть интерпретировано в контексте ряда предыдущих измерений или эквивалентных измерений. Метрики необходимы для того, чтобы:

• показать, каким образом деятельность по безопасности вносит непосредственный вклад в достижение целей безопасности;
• измерить, как изменения в процессе отражаются на достижении целей безопасности;
• выявить существенные аномалии в процессах и принять обоснованные решения по исправлению или улучшению процессов.

Для создания хороших метрик используется методика S.M.A.R.T. Метрика должна быть:

• Конкретная (Specific): Метрика должна быть конкретной, ясной и иметь непосредственное отношение к измеряемому процессу.
• Измеримая (Measurable): Метрики должна быть измеримой, т.е. должна существовать возможность однозначно количественно измерить ее (например, по стоимости).
• Практически применимая (Actionable): Должна существовать возможность воздействия на процесс для улучшения метрики.
• Значимая (Relevant): Улучшение метрики должно означать повышение вклада процесса в достижение целей безопасности.
• Своевременная (timely): Для эффективного использования, метрику должно быть возможно достаточно быстро измерить.

Метрики полностью определяются следующими атрибутами:

• Название метрики;
• Описание, что измеряется;
• Как проводится измерение метрики;
• Как часто выполняется это измерение;
• Как рассчитываются пороговые значения;
• Диапазон значений, считающихся нормальными для метрики;
• Наилучшие возможные значения метрики;
• Единицы измерения.

Трудно найти подходящие Метрики Безопасности

К сожалению, не так просто найти метрики для целей безопасности, таких как собственно безопасность, уверенность и достоверность. Основная причина этого заключается в том, что цели безопасности связаны с "негативными последствиями". Отсутствие инцидентов в течение длительного времени приводит к чувству безопасности (например, если Вы живете в городе, в котором ни Вас, ни Ваших знакомых никогда не грабили, Вы чувствуете себя в безопасности). Однако предотвращенные инциденты не могут быть измерены так же, как реально произошедшие.

Метрики для целей не только трудно найти, они, кроме всего прочего, еще и не очень полезны для управления безопасностью. Это связано с отсутствием прямой связи между деятельностью по безопасности и, собственно, целями безопасности. Интуитивно большинство руководителей считают, что существует прямая связь между тем, что мы делаем (результатами нашей работы), и тем, что мы хотим достичь (нашими целями). Это их убеждение постоянно подтверждается реальным жизненным опытом. Например, Вы хотите выпить чашку свежезаваренного чая. Вы покупаете пачку чая, идете домой, греете воду, завариваете чай, наливаете его в чашку. То что Вы получаете на выходе (чашка чая) и Ваша цель (выпить чашку свежезаваренного чая) полностью совпадают.

К сожалению, такая прямая связь есть не всегда. Хорошим примером может быть проведение исследований. Нет прямой связи между целями (открытие) и деятельностью (эксперименты, публикации). Вы можете провести сотни экспериментов, но так и не сделать открытия. То же самое происходит с безопасностью. Цели (безопасность, уверенность, достоверность) и деятельность (защитные меры и процессы) не связаны напрямую.
Когда есть прямая связь между действиями и целью (например, температура воды в электрическом чайнике напрямую связана с тем, включили мы его или нет), мы всегда знаем, какое решение нужно предпринять, чтобы достичь определенной цели (чтобы вода в чайнике остыла, надо его выключить). Но как мы можем, к примеру, сделать сеть безопасной? Добавить новые, более детальные, правила фильтрации на межсетевом экране? Или, наоборот, упростить правила фильтрации? Мы не знаем. Если межсетевой экран блокирует некоторое количество пакетов, то изменение этого количества в ту или иную сторону совсем не обязательно означает, что сеть стала более или менее безопасной.

Отсутствие в информационной безопасности прямой связи между целями и деятельностью не позволяет метрикам для целей быть полезными, поскольку Вы никогда не сможете сказать, действительно ли Вы приблизились к целям безопасности, оказав определенное воздействие на процессы безопасности.

Примеры метрик для целей (и их недостатки):

• Количество случаев разглашения секретной информации в год. Что Вы можете сделать, чтобы предотвратить разглашение информации людьми, которые имеют к ней санкционированный доступ?
• Количество случаев несанкционированного использования системы в месяц. Что Вы можете сделать, чтобы помешать пользователям умышленно передавать свои учетные записи другим лицам (например, своим коллегам)?
• Количество жалоб клиентов в Роскомнадзор о неправомерном использовании их персональных данных в год. Даже если Ваша компания соответствует всем требованиям закона, что Вы можете сделать, чтобы клиенты не писали жалобы?
• Снижение рисков на 10% в год. Поскольку риски зависят не только от внутренних, но и от внешних факторов, что Вы можете сделать, чтобы реально изменить риски?
• Предотвращение 99% инцидентов. Как Вы узнаете, сколько инцидентов не произошло (было предотвращено)?

Действительно полезные Метрики Безопасности

Если метрики для целей трудно получить, и они не очень полезны, что тогда делать руководителю службы информационной безопасности? Он может измерять результаты процесса обеспечения безопасности. Измерение результатов не только возможно, но и крайне полезно, так как результаты прямо или косвенно связаны с обеспечением безопасности, уверенности и достоверности. Используя метрики для результатов Вы можете:

• Определить, как изменения в процессе отразились на его результатах;
• Выявить существенные аномалии в процессах;
• Обосновать решения по исправлению или улучшению процесса.

Существует семь основных видов метрик для результатов процесса:

• Деятельность: количество результатов, произведенных в срок;
• Область: доля окружения или систем, защищенных этим процессом (например, антивирус может быть установлен только на 50% компьютеров сотрудников);
• Обновление: время, прошедшее с момента последнего обновления или перегенерации результатов процесса.
• Доступность: время непрерывной работы системы в соответствии с ожиданиями и/или требованиями, частота и продолжительность перерывов в работе, а также временной интервал между перерывами.
• Результативность / возврат инвестиций в безопасность (ROSI): Отношение предотвращенных потерь к сумме инвестиций в процесс. Этот показатель измеряет успешность процесса с учетом используемых ресурсjs.
• Эффективность / производительность: Отношение реально произведенных результатов к теоретическому максимуму. Измерение эффективности процесса предполагает сравнение с базовыми показателями.
• Загрузка: соотношение между реально используемыми ресурсами и доступными ресурсами, например, загруженность процессора, использованная емкость хранилища, используемая пропускная способность и т.п.

Примеры использования этих метрик:

• Деятельность: оценка количества новых пользовательских учетных записей, создаваемых за неделю - внезапное падение этого количества может указывать на то, что новый администратор слишком ленив, либо пользователи начали обмениваться учетными записями и поэтому новые учетные записи им больше не нужны.
• Область: в компании с большим количеством подключений к их сети сетей третьих сторонам, измерение количества таких подключений, защищенных межсетевым экраном, может поспособствовать принятию руководством решения не создавать больше небезопасных соединений.
• Обновление: измерение количества серверов в зоне DMZ со своевременно установленными обновлениями может потребовать проведения расследования в отношении деятельности администратора, если это количество станет меньше определенного порогового значения.
• Доступность: измерение доступности портала интернет-банкинга может привести к переосмыслению используемой архитектуры высокой доступности (High Availability).
• Результативность / возврат инвестиций в безопасность (ROSI): оценка и сравнение расходов на одно рабочее место в системах Single Sign On двух объединившихся компаний может позволить выбрать предпочтительную систему.
• Эффективность / производительность: измерение и сравнение скорости резервного копирования двух разных систем резервного копирования может помочь при выборе оптимальной системы.
• Загрузка: Измерение средней загруженности межсетевого экрана может помочь заблаговременно принять решение о необходимости его модернизации.

Существует очень важный вопрос, который должен быть решен при использовании метрик для результатов - это то, что называют "Зоной Комфорта". Когда возникает слишком много ложных срабатываний, от метрик быстро отказываются, так как нет возможности детально исследовать каждое предупреждение. С другой стороны, когда метрика никогда не выдает предупреждений, возникает ощущение, что метрика не работает или бесполезна. Зону комфорта (не слишком много ложных срабатываний, псевдо-периодические предупреждения) можно достичь, используя старый инструмент из Управления качеством - Контрольные карты, отображающие характер изменения показателя качества во времени. Есть несколько правил, используемых в Управлении качеством, чтобы выдать предупреждение о возникновении условий, которые должны быть проанализированы с использованием нормального статистического отклонения, однако для управления безопасностью лучшей практикой является регулировка кратного количества средних квадратичных отклонений, которое будет определять пределы нормальных значений метрики, пока не будет достигнута Зона комфорта.

Использование Метрик Управления Безопасностью

Существует шесть этапов использования метрик: измерение, представление, интерпретация, исследование и диагностирование.

Измерение: измерение текущего значения метрики выполняется на периодической основе и обычно выполняется в определенный промежуток времени. Например: "в воскресенье в 21:00 посмотреть количество обезвреженных в течение недели вирусов с момента последнего просмотра". Измерения из различных источников и за разные периоды должны быть нормализованы до их интеграции в единую метрику.

Интерпретация: измеренное значение оценивается в сравнении с пороговым или целевым значением, либо иным сопоставимым значением. Нормальные значения (те, которые расположены между пороговыми) оцениваются на основании исторических или сопоставимых данных. Результатами интерпретации могут являться:

• Аномалии: когда измеренная величина выходит за пределы допустимых пороговых значений.
• Успех: когда измеренная величина оказывается лучше целевой.
• Тенденция: основное направление изменения значений произведенных измерений по отношению к цели.
• Ориентир для сравнения: относительная позиция измерения или тенденция среди равнозначных измерений.

Инцидент или низкая производительность выводит метрики процесса за пределы пороговых значений. Целесообразно использовать контрольную карту Шухарта-Деминга, чтобы показать, что значение метрики находится в пределах нормального диапазона. Колебания в рамках нормального диапазона обычно не исследуются.

Расследование: расследование аномальных результатов измерений в идеале заканчивается выявлением основных причин такого значения метрики, например, это могут быть последствия изменения окружения или результаты принятых управленческих решений, либо особые причины (ошибки, атаки, аварии).

Представление: надлежащая визуализация метрики имеет ключевое значение для ее правильной интерпретации. Представление метрик изменяется в зависимости от типа сравнения и распределения ресурсов. Чаще всего используются столбчатые диаграммы, круговые диаграммы и графики. Для выделения значений метрики можно использовать различные цвета, например, зеленый-желтый-красный (эквивалентно: нормальное значение, риск, опасность). Единицы, период представления и период, используемый для расчета порога, всегда должны указываться рядом со значением метрики, чтобы правильно понимать ее. Скользящие средние значения могут использоваться для выявления тенденций.

Диагностирование: руководителям следует использовать результаты предыдущих этапов для диагностирования ситуации, анализа альтернатив и их последствий, а также для принятия бизнес-решений.

• Ошибка в цикле "планируй-делай-проверяй-действуй" (Plan-Do-Check-Act) приводит к повторяющимся сбоям в процессе -> Исправить этот процесс.
• Недостаток вызван отсутствием прозрачности, разделения на части, надзора, ротации или разделения обязанностей -> Внести исправления в распределение обязанностей.
• Технология работает не так как предполагалось -> Изменить / адаптировать технологию.
• Нехватка ресурсов -> Увеличить количество ресурсов, либо скорректировать цели безопасности.
• Цели безопасности слишком высоки -> Пересмотреть цели безопасности.
• Некомпетентность, халатность -> Применять дисциплинарные меры.
• Неадекватная подготовка -> Провести обучение персонала.
• Изменения в окружении -> Усовершенствовать процесс для адаптации к новым условиям.
• Принятые управленческие решения -> Проверить, действительно ли предполагались именно такие результаты этого решения.
• Ошибка -> Устранение причины ошибки.
• Атака -> Оценка того, может ли защита от атак быть улучшена.
• Авария -> Оценка того, может ли защита от аварий быть улучшена.

Что из управленческой практики стало возможным?

Побочным эффектом Системы управления информационной безопасностью (СУИБ) является снижение полезности метрик безопасности, т.к. в центре деятельности по управлению безопасностью стоят Оценка рисков и Аудит. Оценка рисков выполняет анализ активов, угроз, уязвимостей и воздействий, с целью получения картины безопасности, расстановки приоритетов при ее проектировании и совершенствовании. В процессе Аудита проверяется соответствие фактической СУИБ документированным внутренним или внешним требованиям. Оценка рисков и Аудит очень ценны, но есть и еще более полезная деятельность по управлению безопасностью, такая как мониторинг, тестирование, совершенствование и оптимизация - все эти виды деятельности стали возможны благодаря метрикам. Данная деятельность может быть описана следующим образом:

• Мониторинг - использование метрик для наблюдения за результатами процессов, выявления ненормальных условий и оценки влияния изменений на процесс.
• Тестирование - проверка, позволяют ли данные на входе процесса получить ожидаемые результаты на выходе из него.
• Совершенствование - внесение изменений в процесс, с целью сделать его еще более подходящим для соответствующей цели, или чтобы сократить использование ресурсов.
• Планирование - организация и прогнозирование значений, определение основных этапов выполнения задач, ресурсов, бюджета, результатов и эффективности процесса.
• Оценка - насколько полно процесс соответствует потребностям компании и целям безопасности. Как отразились изменения в окружении или принятые управленческие решения на качестве результатов процесса, производительности и использовании ресурсов; есть ли узкие места или единые точки отказа; сравнение производительности процессов между их различными экземплярами или по сравнению с процессами других компаний. Тенденции в отношении качества, производительности и эффективности.
• Реализация преимуществ. Показывает, как достижение целей безопасности способствует достижению бизнес-целей, измеряет ценность процесса для компании, или оправдывают использование ресурсов.

Хотя Аудиты могут выполняться и без метрик, мониторинг, тестирование, планирование, совершенствование и реализация преимуществ невыполнимы без них.

Что должно быть сделано?

Руководителям служб информационной безопасности нужны метрики, которые реально помогут им выполнять свою управленческую деятельность.

Хотя нет необходимости в том, чтобы полностью отказываться от метрик для целей, повседневная деятельность по управлению информационной безопасностью должна быть направлена на мониторинг безопасности, тестирование, совершенствование и оптимизацию использования метрик для результатов, которые покажут последствия принятых управленческих решений, покажут, идут ли дела хуже или, наоборот, лучше, работают ли процессы так как было задумано, и существуют ли изменения, которые обуславливают появление ненормальных условий для процессов безопасности. Все эти действия вполне осуществимы при использовании метрик для результатов и контрольных карт.

Ссылки по теме:

• Understanding and implementing information security metrics
• NIST. Directions in Security Metrics Research
• Information Security Metrics Dashboard