Avez-vous déjà déclenché une fausse alerte en téléchargeant un fichier sur un site Internet comme VirusTotal ? Il arrive que non pas un, mais plusieurs analyseurs détectent le fichier. Cela aboutit à une situation absurde : les utilisateurs se font tout de suite une mauvaise image des produits qui ne détectent pas ce fichier, parce qu'ils ne comprennent pas qu'il s'agit simplement d'un faux positif.
Malheureusement, ce type de problème affecte beaucoup de tests antivirus, en particulier des tests statiques à la demande, lors desquels des centaines de milliers d'échantillons peuvent être analysés.
En effet, la validation d'un si grand nombre d'échantillons demande tant de ressources que la plupart des testeurs contrôlent seulement une partie des fichiers qu'ils utilisent.
Dépendant en large part des bons résultats de leurs tests, les sociétés d'antivirus ont mis en place un système de détection multianalyseur. Les fournisseurs d'antivirus, y compris Kaspersky Lab, scannent les fichiers suspects en utilisant les analyseurs des uns et des autres depuis de longues années : il est évidemment utile de connaître les résultats trouvés par les autres fournisseurs d'antivirus.
Un magazine informatique allemand a réalisé une expérience dans ce sens et en a publié les résultats lors d'une conférence sur la sécurité en octobre dernier. Les responsables del'expérience ont créé un fichier propre, puis nous ont demandé d'y ajouter une fausse détection avant de le télécharger sur VirusTotal. Quelques mois plus tard, ce fichier était détecté par plus de 20 analyseurs sur VirusTotal. ? l'issue de cette présentation, les représentants de plusieurs fournisseurs d'antivirus reconnaissaient qu'il fallait faire quelque chose. Mais la détection multianalyseur n'est que le symptôme, et non la cause : la source du problème réside dans la méthodologie de test elle-même.
C'est en partie dans le but d'améliorer les méthodologies d'essai qu'un certain nombre de sociétés d'antivirus (dont Kaspersky Lab), de chercheurs et de testeurs indépendants ont fondé l'AMTSO (Anti-Malware Testing Standards Organization, organisme de normalisation des tests anti-programmes malveillants), il y a deux ans de cela. Nous avons décidé d'illustrer ce problème lors de notre récente tournée de presse à Moscou, où nous avons accueilli des journalistes venus du monde entier. L'objectif était, bien sûr, de faire ressortir les effets néfastes des tests statiques à la demande bon marché.
Nous avons procédé comme le magazine informatique allemand l'avait fait l'année dernière, mais avec un plus grand nombre d'échantillons. Nous avons créé 20 fichiers propres et ajouté une fausse détection à 10 d'entre eux. Les jours suivants, nous avons téléchargé à nouveau l'ensemble des 20 fichiers sur VirusTotal pour voir ce qui se passerait.
Dix jours plus tard, pas moins de 14 autres sociétés d'antivirus détectaient tous nos fichiers modifiés (mais pas malveillants) ; dans certains cas, la fausse détection était probablement le résultat d'une heuristique agressive, mais l'utilisation d'analyses multiples a manifestement influencé certains résultats. Nous avons transmis tous les échantillons utilisés aux journalistes afin qu'ils puissent juger par eux-mêmes.
Maintenant, que faire ? La bonne nouvelle, c'est qu'au cours de ces derniers mois, certains testeurs ont déjà commencé à étudier de nouvelles méthodologies de test. Plutôt que d'effectuer des analyses statiques à la demande, ils s'efforcent de tester toute la chaîne d'éléments de détection : module anti-spam, protection dans le nuage, détection à partir de la signature, émulation, analyse en temps réel basée sur le comportement, etc. En fin de compte, ce sont bien sûr les magazines qui décident ou non d'appliquer ce type de test et d'abandonner les approches désuètes.
Si nous renonçons aux tests statiques à la demande et à leurs innombrables échantillons invalidés, la copie de classements en sera considérablement réduite, les résultats des tests seront plus proches de la réalité (même si les taux de détection de 99,x % disparaissent) et cela bénéficiera à tout le monde : à la presse, aux utilisateurs et à nous aussi, bien sûr.

Source: