Результаты наших необычных тестов антивирусов

Тема в разделе "Тесты и рейтинги антивирусов от ru-sphere.ru", создана пользователем X-Shar, 14 июл 2014.

↑ ↓
  1. X-Shar :)
    X-Shar
    Ответить в чате

    Администрация

    Регистрация:
    03.06.2012
    Сообщения:
    5.812
    Симпатии:
    432
    Пол:
    Мужской
    Репа:
    +966 / 152 / -29
    Jabber:
    Skype:
    ICQ:

    638294628

    Всем привет !

    Все знают, что мы проводили необычные тесты антивирусов, чем-же они необычны ?

    А необычны они тем, что эти тесты ясно показывают проблему сигнатурного детекта, вкратце расскажу методологию и результаты !

    Итак, про методологию и результаты:

    1)Была отобрана огромная коллекция малвари (>10тыс) (именно малвари - никакой адвари/кряков/вирусов под дос и т.д).

    Пока мы собирали прошло достаточно много времени, для того-чтобы антивирусы могли добавить эти вирусы в свои базы, поэтому у популярных антивирусов детект в целом получился достаточно хороший, но даже на этой базе у некоторых антивирусов получился детект неахти, привожу результаты:

    Detect.

    2)Далее мы попытаемся сбить детект простым способом, а именно заменой/добавлением пары байт в exe файлы вирусов, что мы сделали:

    В современном PE-файле остался пережиток прошлого - DOS-заголовок, из которого для нормальной работы файла имеют роль только несколько байт, а остальные можете редактировать как вашей душе угодно. Большинство компиляторов заполняют эту "заглушку" примерно сходным образом... в общем там есть всем знакомая (кто хоть раз в hex-редакторе открывал исполняемый файл) всем фраза (примерно) "That program cannot be run in DOS mode" - вот в ней и будем менять один байт, ну еще для верности запишем один байт в конец файла (в т.н оверлей) - просто открытие файла на запись в конец, запись, закрытие...

    И результат нас шокировал:

    У МНОГИХ ПОПУЛЯРНЫХ АНТИВИРУСОВ КАЖДЫЙ ВТОРОЙ ВИРУС ВЫЛЕТАЕТ ИЗ ДЕТЕКТА, ПРИВОЖУ ДИАГРАММУ, В ОБЩЕМ БЕЗ КОММЕНТАРИЕВ:

    2a4820679722.

    В общем ОЧЕНЬ много слетело у Comodo, Nano, Нортон тоже "порадовал" !Dmeh-Smeh-Smeh!!!

    3)Тест на ложные срабатывания:

    По торрентам и сайтам были скачаны "сборники софта" для некоторых профессий - коллекции давно собраны, почти всем файлам >3 лет (судя по времени их первой заливки на VT). Пакеты-сборники известного софта (аля все версии AutoCad), разумеется не качали, а скачивали сборники более мелкого и специализированного софта - в идеале, чтобы это были сборники разных утилит для конкретных целей (расчет удельной теплоемкости и т.д). Собрать удалось очень мало (обычно в данном тесте принято собирать десятки тысяч файлов, чтобы у всех были ложные срабатывания, а у кого-то даже в большом количестве), а именно 129, но даже на этом наборе тенденции проследить можно.

    Коллекция не секретна (чистые файлы, согласно УК РФ распространять можно), данную коллекцию можно скачать с Яндекса (Пароль:infected):https://yadi.sk/d/fPp0h0kmWaWA4
    Привожу результаты теста:


    False.

    Также буду рад Вашему мнению и любым конструктивных комментариев здесь !
     
    Последнее редактирование: 6 окт 2014
    • Мне нравится Мне нравится x 14
  2. X-Shar :)
    X-Shar
    Ответить в чате

    Администрация

    Регистрация:
    03.06.2012
    Сообщения:
    5.812
    Симпатии:
    432
    Пол:
    Мужской
    Репа:
    +966 / 152 / -29
    Jabber:
    Skype:
    ICQ:

    638294628

    Забыл добавить что антивирусы в первом и третьем тесте расположены по алфавиту государства !
     
    • Мне нравится Мне нравится x 7
  3. Nedovirus Уважаемый пользователь
    Nedovirus
    Ответить в чате

    Форумчанин

    Регистрация:
    14.05.2014
    Сообщения:
    478
    Симпатии:
    821
    Пол:
    Мужской
    Репа:
    +845 / 14 / -5
    сейчас только заметил, что коллекция чистых файлов - практически полностью состоит из софта с русским интерфейсом, вот и видим, что российские антивирусы лучше знакомы с русским софтом, чем иностранные.
     
    • Мне нравится Мне нравится x 5
  4. DikiySan Уважаемый пользователь
    DikiySan
    Ответить в чате

    Форумчанин

    Регистрация:
    22.02.2014
    Сообщения:
    749
    Симпатии:
    1.666
    Пол:
    Мужской
    Репа:
    +1.679 / 5 / -15
    По чистым файлам подтверждаю - Dr.Web Security Space (9.0.1.04071)- реакция ноль.
    По Ноду не сомневался - Бит порадовал - Комод шокировал.
     
    • Мне нравится Мне нравится x 8
  5. Alegro Пользователь
    Alegro
    Ответить в чате

    Первый уровень

    Регистрация:
    07.10.2014
    Сообщения:
    3
    Симпатии:
    0
    Пол:
    Мужской
    Репа:
    +0 / 0 / -0
    Это тест сканеров, а не антивирусов - антивирусы надо проверять в комплексе. Нортон, например, после первого запуска начинает узнавать изменённый файл - а точнее всё облако.
     
  6. Nedovirus Уважаемый пользователь
    Nedovirus
    Ответить в чате

    Форумчанин

    Регистрация:
    14.05.2014
    Сообщения:
    478
    Симпатии:
    821
    Пол:
    Мужской
    Репа:
    +845 / 14 / -5
    Alegro, Вы либо тонко троллите, либо как-то недопонимаете методологию антивирусных тестов. Попробую чуть пояснить:

    1. Вполне комильфо называть тест "тестом антивирусов", а не по названию того модуля/той грани, которая тестируется, пример: "тест антивирусов на быстродействие", "тест антивирусов на самозащиту" и т.д. Также и здесь, поэтому, название вполне уместно, ведь далее стоит уточнение + большое объяснение того, что и как делалось, тем более, что проведен не тупой тест на сканирование 100 файлов, а по сути три теста:
    а). обычное сканирование коллекции из ~ 10 000 зловредов
    б). тест на фолсы (тоже, кстати, достаточно интересный и приближенный к жизи)
    в). тест модифицированных образцов из пункта "а" - показывает кто как затачивается под тесты, кто детектирует зловреды нормально, а кто тупо по контрольной сумме от всего файла - байт изменился и детект слетел. можно даже не криптовать.

    2. Толку с того, что нортон что-то там начинает узнавать в данном контексте - ноль без палочки. Запустили новый файл. Нортон о нем узнал. Что дальше? Вариантов несколько:
    а). ну узнал и узнал. запустил файл юзер и этот файл выполнил свой функционал (не будем уточнять чистый это файл или зловред). еще у 10 юзеров аналогично после этого.
    б). файл запускается впервые (облако его не знает) - влепляем ему хреновую репутацию, делов-то. таким образом чистый файл тоже будет залочен (как и зловред). в чем тут технология? в том, чтобы лочить все неизвестное? это убожество, коли так. Но у нортона так не всегда, но бывает. По моей статистике половину самодельных прог постигает такая судьба - изначально 0. Потом на них появляется вс.репутейшн.1, потом такой детект снимается со временем. Офигеть технология.

    3. Если из того, что изложил я и изложено в первом посте все равно вытекают какие-то непонятки (вопросы), то можно прочитать более полный вариант в журнале хакер: https://ru-sphere.ru/threads/x-test-na-oktjabrskom-zhurnale-xaker.2085/

    4. Комплексная проверка это хорошо и правильно, поэтому и есть РАЗНЫЕ тесты антивирусов:
    а). быстродействие. вдруг он медленно работает, что хоть вешайся?
    б). фаервол. вдруг все в сеть выпускает, а снаружи наоборот все запускает?
    в). антиспам, антифишинг, родительский контроль. такие модули тоже кому-то нужны. их тоже тестируют.
    г). поведенческий анализ. способен ли продукт хоть какую-то активность обнаруживать?
    д). и другие
    Поэтому, при выборе антивируса, разумеется, для себя нужно учитывать результаты всех таких тестов (+ личные пристрастия, эргономика, цена и т.д). Мы в свою очередь провели один из тестов, а результаты других тестов (выше перечислил буковки - а, б, в и т.д) ищите на других сайтах. Мы проводить тестирование на быстродействие вроде как не собирались, но то, что провели - делали качественно и открыто. Все подробно описано, объяснено, разжевано и в рот положено, если что - можете все это повторить сами и убедиться.

    5. Тест абсолютно точно и явно показал по нортону следующее:
    а). Антивирус имеет высокий детект за счет того, что детектирует все попадающие к нему подозрительные файлы. Очень много детектирует по хешу, дабы не мучаться с наложением хитрого детекта.
    б). Достаточно хорошо фолсит на малоизвестных файлах. Тесты на фолсы вб100 проходит за счет того, что затачивается под отсутствие детекта на файлы больших компаний (оракл, адоб, мс, гугл и т.д - ведь именно на таком сете чистых проходят все тесты).
    в). детект на каждый четвертый файл - по хэшу. байт изменили - прощай детект.
     
    • Мне нравится Мне нравится x 9
  7. Alegro Пользователь
    Alegro
    Ответить в чате

    Первый уровень

    Регистрация:
    07.10.2014
    Сообщения:
    3
    Симпатии:
    0
    Пол:
    Мужской
    Репа:
    +0 / 0 / -0
    Незнаю, незнаю.. но практика показывает обратные результаты.
    Пример: месяца 3 назад один из суперюзеров на Comss пропустил Салити. Хваленые Хитман, МВАМ, ЕЕК (хотя угрозу на флешки нашли), а также Dr.Web, Салити Киллер ничего не нашли, а Панда нашла и вылечила. Случай описан в ветке Вебрут.
    Или один из примеров моего теста: вышеперчисленные сканеры также ничего не видят, а NPE видит
    [​IMG]
    Интересно то, что зараженные файлы в тестовой папке они видят, а заражение от них или измененные файлы - нет. Хотя в Вашем тесте не как на практике - всё наоборот.
    А комплексный тест это не набор тестов из быстродействия,антиспама, антифишинга, родительского контроля, поведенческий анализа - это защита в комплексе: сигнатура+эвристика+проактивка+самозащита+лечение. В кратце скачал: проскакнировал, запустил перезагрузил, проверил сканерами, посмотрел на реакцию системы, подождал 2-3 часа - еще проверил сканерами. и.т.д. Сводить оценку защита к одному сканированию это вчерашний день - это не дает объективную оценку антивирусному продукту, особенно Нортону - у него ставка сделана на DI и поведенческий анализ, которые Вы и не задействовали...
     
    Последнее редактирование: 8 окт 2014
  8. Nedovirus Уважаемый пользователь
    Nedovirus
    Ответить в чате

    Форумчанин

    Регистрация:
    14.05.2014
    Сообщения:
    478
    Симпатии:
    821
    Пол:
    Мужской
    Репа:
    +845 / 14 / -5
    я написал, поведение мы не тестили, также нортон может отлично лечить салити, но все это ему никак не мешает затачиваться под тесты и лепить детекты по хешу. одно другому не мешает ну никак.
     
    • Мне нравится Мне нравится x 1
  9. Alegro Пользователь
    Alegro
    Ответить в чате

    Первый уровень

    Регистрация:
    07.10.2014
    Сообщения:
    3
    Симпатии:
    0
    Пол:
    Мужской
    Репа:
    +0 / 0 / -0
    Я же не о лечении писал... - на скрине вообще пропущен не Салити, а какой-то троян.
    Я писал о том, что антивирусы видят только тестовый образец, а изменённый вариант не видят.
    Или как в случае с Салити: я пример привел не для лечения, а то что угрозу на флэшке РАСПОЗНАЛИ ВСЕ, а ВИДОИЗМЕНЁННЫЙ вариант в 200+ угроз - почти никто. Касперский, Бит, Доктор Веб (честно говоря от него я не ожидал) тоже лечат салити - но модифицированный вариант они не увидели. Остальные, допустим, не лечат файловые вирусы, но увидеть видоизменненые варианты должны. И хотя бы потом удалить или заблокировать. Webroot, например, увидел угрозу и честно написал что удалить не может - обратитесь в тех поддержку. Остальные просто не видят модификацию - они только стандартные тестовые образцы с архивов и могут удалять.
    Сразу вспоминается тест Ностромо с Булгуардом: после запусков и перезагрузки комп весь зависал и видно было, что он весь заражен. Но получил 3 место, потому что сканеры толком ничего не нашли.
    Мне понравился Ваш тест - мне вообще нравится нестандартные тесты. Но что-то всё равно не то... - сигнатуры уже не актуальны
     
  10. Nedovirus Уважаемый пользователь
    Nedovirus
    Ответить в чате

    Форумчанин

    Регистрация:
    14.05.2014
    Сообщения:
    478
    Симпатии:
    821
    Пол:
    Мужской
    Репа:
    +845 / 14 / -5
    Да, я понимаю о чем вы... только там сколько образцов было? 100-200? это нерепрезентативно и мало, а тут чуть более 10к - вот это хорошая выборка, которая хорошо показывает ху из ху Dmeh-Smeh-Smeh!!!
    Скажем так: сигнатуры стали менее, актуальны, чем были лет 10 назад. Подавляющее большинство малвари отлавливается именно сигнатурами, а где-то никак иначе и нельзя. Мы бы рады провести другой тест/исследование, но на это нужно крайне много ресурсов - человекочасов прежде всего, ну и по идиотской методологии как везде делать тоже неохота. Хочется делать что-то качественное, новое, мало кому известное...
     
    • Мне нравится Мне нравится x 4

Поделиться этой страницей