Re: [ml] Antivirus e valutazioni

Caro Stefano,


penso di essere stato uno dei primi "tester" di prodotti antivirus, agli inizi
degli anni novanta, avrei quindi qualcosa da dire. :-)


[Conflitto_di_interessi_warning: da 1 anno sono legato a NOD32]

Stefano Zanero wrote:
> Il problema, negli antivirus come negli IDS, e' che NON ESISTONO
> METODOLOGIE DI TESTING STANDARD

Standard no, ma esistono metodologie di testing abbastanza accurate. Se poi per
standard intendi replicabili, quando il protocollo di test è fatto bene esso è
anche facilmente replicabile.

Se per standard intendi riconosciute da tutti come affidabili, allora
ovviamente non ci saranno mai. :-) In ogni test qualcuno troverà da ridire,
perché i prodotti sono spesso molto diversi fra loro, sia nella programmazione
sia nella "filosofia".

Nei test poi, per ragioni di praticità, si ricorre spesso a "trucchi" per
cercare di riprodurre un sistema-vittima il più fedelmente possibile senza però
infettarlo tremila volte con tremila virus diversi. Questi trucchi ogni tanto,
seppur in buona fede, falsano il risultato finale. Altre volte invece sono gli
stessi antivirus a essere "taroccati" per avere punteggi migliori nei test.

Esempio: anni fa un produttore - che non citerò - puntualmente si incavolava
col sottoscritto perché quando eseguivo i test col suo antivirus "frenavo"
artificiosamente l'euristica.
Ovvio che la frenavo, il motore euristico appena vedeva tre virus diversi sullo
stesso sistema scattava automaticamente in modalità "paranoica", falsando i
risultati del test.
Un utente normale, in condizioni normali, non avrebbe mai fatto girare
l'antivirus in modalità paranoica, e per questo motivo usavo una funzione per
bloccare il "paranoid mode".
Ma bastava questo per far stracciare le vesti al produttore, ché se avevo fatto
girare gli altri AV con le funzioni di default avrei dovuto lasciar stare anche
il suo. :-)


Ci sono poi problemi oggettivi a testare funzionalità avanzate e molto
sensibili come i motori euristici. Una volta era facile, si levavano o si
azzeravano le firme antivirali e si faceva girare l'AV su una collezione di
virus già noti. Ma oggi? La complessità del malware aumenta ogni mese, testare
un AV su un set di tre mesi fa non ti dà la sicurezza che il motore euristico
sia all'altezza di riconoscere i rootkit di questa settimana.


Diciamo la verità, condurre un test antivirus con tutti i crismi costa un sacco
di soldi, espressi soprattutto in tempo e in risorse informatiche. E il gioco
non vale quasi mai la candela, perché i risultati di un test sono merce
deperibile: hanno una durata piuttosto limitata nel tempo, si possono quindi
"vendere" in una finestra di tempo molto ristretta. Poi dopo 3/6 mesi diventano
obsoleti e si devono rifare da capo.


> mi pare delineare una situazione tra il ridicolo e il
> drammatico nella virologia "commerciale", in cui non solo non c'e' un
> modo per dire quale prodotto sia migliore, ma nemmeno per confrontarli

E qui tocchi un altro punto fondamentale: cosa significa "migliore"?

Ogni utente ha esigenze diverse. Una delle esigenze di un utente privato è ad
es. la facilità d'uso, visto che un antivirus può anche essere il "migliore" ma
se è difficile da configurare gli utenti non lo useranno mai come si deve. Agli
utenti privati inoltre piacciono gli automatismi: l'antivirus deve essere
"install it and forget it". Troppe finestre di notifica - utili a un
amministratore di sistema in un ambiente lavorativo - a un utente domestico
creano solo fastidi, e rischiano immancabilmente di far abbassare il livello di
attenzione (caso emblematico in famiglia: "Mamma quando appare la finestra di
zonealarm clicca sempre su Allow...")

Per un server conta invece la leggerezza, che se un antivirus usa troppe
risorse di sistema le spese derivanti da un uso duraturo e continuato di una %
della CPU a lungo andare potrebbero superare le spese di un eventuale virus che
passa le maglie del server (ricordiamoci che la difesa su server deve sempre
essere coadiuvata da una difesa agli endpoint).


Per eseguire dei test affidabili dunque c'è bisogno anzitutto di rispondere a
una domanda: CHI sarà l'utente target? Il privato o l'azienda?

Seconda domanda: COSA voglio testare, la mera capacità di individuazione,
oppure preferisco adottare un approccio "olistico" e testare tutto - dalla
facilità della GUI alla resistenza anti-tampering del processo TSR?

Terza domanda: QUANTO posso investire nel test? Quanti soldi? Quante risorse?
Cercare di testare tutto con poco tempo e con pochi soldi creerà un'accozzaglia
di risultati falsati, inutili e possibilmente fuorvianti.


A parte i soliti "decaloghi", buoni per elevare il livello di protezione di
massa, il discorso sicurezza va affrontato in maniera tailored, customizzata,
chiamatela come vi pare... "cucito addosso" all'utilizzatore finale.

Io ad esempio mi trovo benissimo con un antivirus leggero ma mediocre sul
server e uno ottimo ma difficile da configurare sul PC. Ma in nessun test
destinato alle "masse" mi sognerei di suggerire questa come la soluzione
"migliore".


	ciao,
	Luca


-- 
~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~
www.sicurezzainformatica.it

   PGP key fingerprint:
 0249 6760 9D67 BC72 5118
 CBD8 4C19 EA57 7963 DBDC
~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~