Community detection can be considered as a variant of cluster analysis applied to complex networks. For this reason, all existing studies have been using tools derived from this field when evaluating community detection algorithms. However, those are not completely relevant in the context of network analysis, because they ignore a part of the available information, and can therefore lead to incorrect interpretations. In this article, we illustrate this limitation, and propose a solution by modifying an existing measure. We then apply it to realistic community-structured networks, in order to perform a first evaluation.---La détection de communautés dans un réseau complexe est une tâche que l'on peut rapprocher de la classification non-supervisée réalisée en fouille de données classique. Pour cette raison, l'évaluation des algorithmes accomplissant ce type de traitement s'est faite jusqu'ici exclusivement au moyen de mesures comparables à celles utilisées en fouille de données. Cependant, dans le cas de l'analyse de réseau, celles-ci n'exploitent pas toute l'information disponible et sont susceptibles de fournir des résultats biaisés. Dans cet article, nous illustrons cette limitation et proposons une solution en modifiant une mesure existante. Nous l'appliquons ensuite à des données réalistes afin d'en effectuer une première évaluation expérimentale.