Практика ИБ \ Метрики для оценки эффективности антивирусной системы

Что-то я давненько не выкладывал в блоге ничего кроме CISSP'а. Судя по логам, некоторые заскучали (хотя может это Новый год сказывается ;-)). На самом деле интересного материала накопилось много, но хочется сначала закончить с CISSP'ом.

Вобщем исправляюсь :-)

Lenny Zeltser очень кстати опубликовал в своем блоге рекомендации по выбору метрик для оценки эффективности работы системы антивирусной защиты компании. Ниже представлен перевод статьи.


Как отслеживать эффективность работы системы антивирусной защиты? Какие метрики может использовать компания, чтобы понять, работает ли сейчас ее система антивирусной защиты лучше, чем, скажем, месяц назад? Подобрать необходимые для этого характеристики не так легко, как может показаться на первый взгляд.

Зачем нужны метрики безопасности?

Без оценки эффективности внедренных в компании защитных мер и средств, невозможно понять, какой вклад они реально вносят в реализацию программы информационной безопасности, а также оценить, действительно ли средства были потрачены на правильные инструменты и процессы. Использование метрик безопасности дает возможность CISO и руководству компании эффективно управлять реализацией программы безопасности, правильно выбирая актуальное направление работы. Без метрик, программа безопасности больше напоминает картину художника, чем технический или бизнес-проект.

В книге Andrew Jaquith «Метрики безопасности» выделены следующие характеристики хороших метрик:

• Должен существовать четкий и понятный метод их измерения, не использующий каких-либо субъективных критериев;
• Процесс их сбора должен требовать минимальных ресурсов, предпочтительно, чтобы это происходило в автоматическом режиме;
• Результаты их измерения должны выражаться: 
• количественно (число, процент и т.п.), а не качественно (типа «высокий», «средний», «низкий»);
• в каких-либо единицах (например, инциденты, рубли, часы и т.п.);
• Результаты измерения должны иметь практический смысл – люди, принимающие решения, должны иметь возможность предпринять те или иные действия, основываясь на них.

Считать количество пойманных вирусов - бесполезно!

При возникновении вопроса о необходимости контроля эффективности работы системы антивирусной защиты компании, люди часто предлагают отслеживать количество пойманных антивирусом вредоносных программ. Однако особой пользы это не приносит. Изменение такого количества может быть вызвано множеством внешних факторов, никак не связанных с компанией. Например, усовершенствование механизмов детектирования разработчиком антивирусной программы может привести к росту количества выявленных вредоносных программ. Аналогичный рост может быть вызван увеличением количества приходящего в компанию спама, содержащего детектируемый вредоносный код. Обратные события (снижение эффективности механизма детектирования или снижение объема спама), могут привести к снижению количества пойманных вирусов. Такая метрика не позволяет сделать выводов о том, работает ли антивирусная защита прекрасно, или, наоборот, отвратительно. Она не дает никакой обратной связи, она просто говорит о том, что вирусы все еще существуют и что установленная в компании антивирусная система ловит некоторые из них.

Полезные метрики для оценки системы антивирусной защиты компании

Пожалуй, наиболее эффективным способом отслеживания состояния системы антивирусной защиты компании, будет мониторинг следующих метрик (измеряемых в масштабах всей компании):

• На каком количестве компьютеров (в процентах, по отношению к общему их количеству в компании):
• установлена и включена антивирусная программа?
• установлены актуальные вирусные сигнатуры?
• установлены и включены дополнительные специальные средства защиты от вредоносного кода (например, средства защиты от программ-шпионов, межсетевые экраны и т.п.)?
• пользователи работают под ограниченными учетными записями (не являются локальными администраторами своих компьютеров)?
• установлены актуальные патчи?

Также целесообразно оценивать способности компании по реагированию на инциденты, связанные с вирусными атаками. Для этого могут пригодиться приведенные ниже метрики, основанные на среднем времени обработки инцидентов, произошедших в течение оцениваемого периода времени.

• Каково время реакции на инцидент системного администратора (администратора безопасности)?
• Сколько времени занимает восстановление штатной работы системы после заражения вирусом?
• Сколько времени занимает восстановление штатной работы систем после инцидента, связанного с негативным воздействием на систему самой антивирусной программы в результате установки "плохих" (недостаточно проверенных производителем) вирусных сигнатур?
• Сколько времени занимает восстановление правильной работы антивирусной программы на компьютере после выявления ее отсутствия или некорректной работы на этом компьютере?
• Сколько времени у производителя используемых антивирусных средств занимает выпуск новой сигнатуры для отправленного образца вредоносного кода?
• Сколько времени занимает отключение от сети зараженного компьютера после принятия соответствующего решения?
• Сколько времени занимает установка обновленных вирусных сигнатур в масштабах всей компании с момента выпуска обновлений производителем антивирусных средств?

Кроме того, компания может отслеживать следующие составные метрики, относящиеся к антивирусной защите:

• Каково соотношение инцидентов, связанных с вредоносным кодом, выявленных средствами антивирусной защиты, и выявленных другими способами? 
• Эта метрика может быть полезной, если компания хочет уменьшить свою зависимость от антивирусных средств (хотя нужно учитывать некоторую зависимость этой метрики от внешних факторов, упоминавшихся в начале).
• На каком проценте компьютеров, на которых были выявлены факты заражения вирусами, на момент заражения имелись уязвимости с высоким уровнем критичности, для которых не были установлены патчи? 
• Эта метрика может помочь компании отслеживать уровень критичности вирусных инцидентов, т.к. инцидент вероятно будет значительно серьезнее, если он происходит на компьютере, имеющем критичные уязвимости.
• На каком проценте компьютеров, на которых были выявлены факты заражения вирусами, пользователи имели права локального администратора? 
• Эта метрика похожа на предыдущую, она также может помочь в отслеживании критичности инцидентов. Выполнение вредоносного кода на компьютере, пользователь которого работает с правами локального администратора, вероятно приведет к более серьезным последствиям.
• Каково соотношение вредоносных программ, выявленных механизмом сканирования в режиме реального времени, и механизмом сканирования по расписанию?
• Вредоносные программы, выявленные при сканировании по расписанию, требуют проведения дополнительного анализа, т.к. эти программы могли выполняться некоторое время на компьютере до момента их обнаружения и нет гарантий, что антивирусная программа смогла их полностью обезвредить.
• Каково соотношение количества вредоносных программ, выявленных при сканировании по расписанию, в разрезе областей, в которых они были обнаружены (например, папки интернет-браузера, почтовая база данных, системные папки и т.п.)?
• Эта метрика поможет выявить модули используемой антивирусной программы, которые работают менее эффективно, по сравнению с другими модулями.

03.04.2011: Метрики дополнены с учетом этих рекомендаций.