Compter les CVE ne dit rien de la sécurité

On voit régulièrement passer des comparatifs qui rangent les systèmes par nombre de CVE publiées, le plus bas gagnant le titre de plus sécurisé. J’aurais tendance à mitiger fortement ce genre de résultats, parce que le chiffre lui-même ne mesure pas ce qu’on croit qu’il mesure. Un compteur de CVE compte des failles rendues publiques et rien d’autre. Il ne dit rien de celles qui existent, qui sont connues en interne ou qui circulent discrètement loin de tout bulletin.

Deux mondes, deux politiques de divulgation

Dans le logiciel propriétaire, la majeure partie des vulnérabilités ne sont pas forcément divulguées officiellement, ni publiquement, tout dépendant des politiques appliquées par l’éditeur. Quant à la diffusion d’un correctif, elle obéit à une multitude de paramètres, la reconnaissance de la faille, sa correction effective, les accords commerciaux passés avec les clients ou les gouvernements, sans oublier l’existence d’un marché noir d'0days.

Dans le logiciel libre, le rapport s’inverse. La majeure partie des vulnérabilités y sont connues et diffusées publiquement, accompagnées de leurs correctifs, ce qui n’empêche nullement qu’il existe par ailleurs des exploits 0day sur le marché. La différence n’est donc pas dans la quantité de failles, mais dans ce qu’on accepte d’en montrer.

L’expérience de pensée

Prenons deux systèmes et des chiffres volontairement fictifs, juste pour poser le raisonnement.

Le premier affiche 3000 vulnérabilités patchées dans l’année sur 4000 connues de la communauté, avec une dizaine d’exploits qui circulent sur le marché. Tout est sur la table, les trous comme les bouchons.

Le second affiche 2500 vulnérabilités patchées sur 4000 connues de l’éditeur, sauf que 1500 d’entre elles, pourtant critiques une fois combinées entre elles, ont tout simplement été omises. Et il se vendrait plus d’une centaine d’exploits pour ce système, dont la moitié viseraient des failles que l’éditeur lui-même ignore.

Lequel des deux préféreriez-vous administrer ? Le premier a un compteur de CVE plus élevé et pourtant c’est manifestement le plus sain des deux.

Le compteur récompense l’opacité

Voilà le biais central. Un faible nombre de CVE peut tout aussi bien traduire une discipline de divulgation exemplaire qu’un silence organisé. À trop regarder le chiffre, on finirait par récompenser l’éditeur le plus opaque, celui qui corrige en catimini et ne publie que ce qu’il ne peut plus cacher.

La sécurité par l’obscurité n’est pas de la sécurité, elle fait au mieux gagner un peu de temps, au pire en fait perdre beaucoup et surtout elle fausse le rapport de confiance que l’on peut entretenir avec le fournisseur. Il est d’ailleurs probable que certaines failles propriétaires traînent des années sans jamais apparaître dans le moindre bulletin, non par absence de risque, mais par absence de volonté de les montrer.

Votre tableau de CVE ment

• Un compteur de CVE mesure la transparence de la divulgation, pas le niveau réel de sécurité.
• Un nombre élevé de CVE publiées et corrigées est souvent plus sain qu’un chiffre bas chez un éditeur opaque.
• Dans le propriétaire, l’essentiel des failles n’est ni divulgué ni public et un marché d'0days existe en parallèle.
• La sécurité par l’obscurité fausse le rapport de confiance et ne tient jamais lieu de sécurité.
• Pour comparer deux systèmes, regardez les politiques de divulgation et de correctif, pas le score brut.

Côté outillage, le même raisonnement s’applique quand on scanne une image ou un parc : voir Trivy et la supply chain pour l’inventaire des vulnérabilités connues et debsecan pour confronter un système Debian à ce que la communauté a réellement publié.

[edit: 2026] L’implémentation Ansible de tout ceci: le rôle unattended-upgrades .