chapitre 2 point sur les méthodes d’évaluation des
TRANSCRIPT
Chapitre 2 Point sur les méthodes d’évaluation des performances et d’aide à la décision & Démarche proposée
2.1 Introduction ......................................................................................................................... 81
2.2 Le niveau I : Objet de la décision et esprit de la prescription ou de la participation.... 83
2.2.1 Types de problématiques................................................................................................... 83
2.3 Le niveau II : Analyse des conséquences et élaboration de critères................................ 83
2.3.1 Qualité des indicateurs ...................................................................................................... 85
2.4 Le niveau III : Modélisation des préférences globales et approches opérationnelles
pour l’agrégation des performances .............................................................................................. 88
2.4.1 Méthodes multicritères ...................................................................................................... 88
2.4.2 La méthode ELECTRE III ................................................................................................ 89
2.4.3 La méthode ELECTRE TRI .............................................................................................. 92
2.4.4 Méthodes de pondération des critères et indicateurs ......................................................... 94
2.5 Niveau IV : Procédure d’investigation et élaboration de la prescription....................... 95
2.6 Indicateurs dans le domaine de l’assainissement et du problème traité......................... 95
2.7 Conclusions et démarche proposée .................................................................................... 97
Méthode d’évaluation des performances des systèmes d’infiltration des eaux de ruissellement en milieu urbain
Priscilla Moura - Institut National des Sciences Appliquées de Lyon 81
2.1 Introduction
Les décisions sont prises quotidiennement, que ce soit au plus haut niveau d’une nation, jusqu’au sein
d’un famille. La décision peut être prise pour une seule personne, mais généralement elle est le fruit de
l’interaction entre plusieurs acteurs.
La décision globale est basée sur une confrontation permanente des préférences des différents acteurs
au cours d’interactions entre eux. Le déroulement de ces confrontations et interactions est ce qui
constitue le processus de décision (Roy, 1985).
Selon Roy (1985) les principales préoccupations de ceux qui doivent intervenir dans une prise de
décision en vue de l’orienter la décision sont de :
• définir le contexte de la décision et ses objectifs ;
• recenser les différentes actions possibles ;
• analyser les conséquences de chaque une de ces actions ;
• comparer les différentes actions entre elles ;
• faire partager les conclusions aux autres intervenants.
L’aide à la décision va nous donner des outils nous permettant de gérer des points de vue multiples, en
créant des compromis acceptables.
Bernard Roy (1985) la définit plus particulièrement comme « l’activité de celui qui, prenant appui sur
des modèles clairement explicités mais non nécessairement complètement formalisés, aide à obtenir
des éléments de réponses aux questions que se pose un intervenant dans un processus de décision,
éléments concourant à éclairer la décision et normalement à prescrire, ou simplement à favoriser, un
comportement de nature à accroître la cohérence entre l’évolution du processus d’une part, les
objectifs et le système de valeurs au service desquels cet intervenant se trouve placé d’autre part ».
L’aide à la décision était, jusque dans les années 60 la recherche d’un optimum, d’une solution
optimale vis-à-vis de l’objectif à atteindre. La maximisation d’une fonction d’utilité peut aider à
résoudre des problèmes financiers ou techniques, mais ne peut pas suffire dans un problème où l’on
souhaite concilier de multiples objectifs.
Dans le cas du développement durable, la décision est prise selon la recherche d’un compromis entre
les critères économiques, sociaux et environnementaux. Un optimum n’existe pas, les critères peuvent
même être conflictuels.
Dans les cas des multiples critères nous devons nous appuyer sur des méthodes multicritères d’aide à
la décision. Ces méthodes, selon Vinke (1989) « ne fournissent pas des solutions objectivement
Chapitre 2 – Point sur les méthodes d’aide à la décision & Démarche proposée
82 Priscilla Moura - Institut National des Sciences Appliquées de Lyon
meilleures (ces solutions n’existent pas), contrairement aux techniques classiques de recherche
opérationnelle ».
Quelle que soit la méthode multicritère utilisée elle n’apporte pas une solution fermée ; leurs résultats
peuvent (et doivent) être mis en question et discutés.
L’analyse multicritère prend en compte la complexité de la réalité, par une multiplicité de critères qui
peuvent être incommensurables et conflictuels. L’analyse multicritère intègre aussi une multiplicité
d’acteurs. Ces méthodes ne considèrent qu’un fragment de la réalité et il est important pour l’homme
d’étude et pour le décideur de connaître les limites des modèles utilisés, afin d’avoir une vision plus
juste du problème.
La construction d’une méthode multicritère d’aide à la décision suit un cheminement partant de la
définition des objectifs, en passant pas la définition des critères et indicateurs jusqu’à l’application et
validation de la méthodologie. La Figure 2.1 illustre ces étapes et leurs interactions.
Figure 2.1 – Etapes de la construction d’une méthode multicritère d’aide à la décision
Roy (1985) propose une méthodologie pour une démarche d’aide à la décision selon quatre différents
niveaux. Ces niveaux sont notés de 1 à 4, mais cette succession d’étapes n’est en aucun cas linéaire et
fixe. Les paragraphes suivants vont traiter de chacune de ces étapes.
Méthode d’évaluation des performances des systèmes d’infiltration des eaux de ruissellement en milieu urbain
Priscilla Moura – Institut National des Sciences Appliquées de Lyon 83
2.2 Le niveau I : Objet de la décision et esprit de la prescription ou de la participation
Cette étape consiste à réfléchir sur le problème posé, et sur la façon de modéliser le problème. Il
consiste à bien délimiter le problème et à faire une liste des actions potentielles. C’est aussi dans cette
étape qu’à partir de l’objectif recherché, il est possible d’identifier le type de problématique où se
place le processus de décision.
2.2.1 Types de problématiques
Dans les décisions qui nous avons à prendre nous pouvons avoir comme objectif soit, de sélectionner
une alternative parmi plusieurs, soit de trier ou affecter les alternatives possibles, soit de classer les
alternatives, soit de décrire les alternatives. Selon l’objectif nous pouvons utiliser une des quatre
procédures d’aide à la décision (Roy, 1985).
La première problématique est nommée α, c’est la problématique du choix, elle consiste à poser le
problème en termes de choix d’une seule « meilleure » action, c'est-à-dire à orienter l’investigation
vers la mise en évidence d’un sous ensemble A’ de A, aussi restreint que possible (ensemble total des
actions).
La seconde problématique (problématique β), consiste à poser le problème en termes de tri des actions
par catégories, c'est-à-dire à orienter l’investigation vers la mise en évidence d’une affectation des
actions de A à ces catégories.
La problématique γ, consiste à poser le problème en termes de rangement des actions de A ou de
certaines d’entre elles, c'est-à-dire à orienter les l’investigation vers la mise en évidence d’un
classement défini sur un sous-ensemble de A en vue de discriminer les actions comme « suffisamment
satisfaisantes » en fonction d’un modèle de préférences.
La quatrième et dernière problématique (problématique δ), consiste à poser le problème en termes
limités à une description des actions de A et/ou de leurs conséquences, c'est-à-dire à orienter
l’investigation vers la mise en évidence d’informations relatives aux actions potentielles.
2.3 Le niveau II : Analyse des conséquences et élaboration de critères
Cette étape consiste de la construction des critères, pour exprimer chaque aspect du problème posé.
Les critères doivent, selon Roy (1985), être exhaustifs, c'est-à-dire, considérer l’ensemble des aspects
du problème, en étant cohérents avec la problématique, mais sans être redondants.
Après la définition des critères vient la définition de leur évaluation. Cette évaluation est faite à partir
des indicateurs.
Chapitre 2 – Point sur les méthodes d’aide à la décision & Démarche proposée
84 Priscilla Moura - Institut National des Sciences Appliquées de Lyon
Le terme indicateur peut être défini de différentes façons, chaque organisation le définit à sa manière,
selon son utilisation. Toutefois ces définitions sont, en général, proches.
Selon l’OCDE (1994), un indicateur est un paramètre ou une valeur dérivée de paramètres donnant des
informations sur un phénomène. C’est également la définition que donne Maystre & Bollinger (1999)
qui le définit comme un ensemble de données de natures différentes, agrégé en une seule
caractéristique plus synthétique.
D’autres (Plan Bleu, 1996 apud Kastner, 2003) définissent un indicateur comme une donnée
quantitative qui permet de caractériser une situation évolutive (par exemple, l'état des milieux), une
action ou les conséquences d'une action, de façon à les évaluer et à les comparer à leur état à
différentes dates. Cette définition permet d’intégrer l’évolution des performances en fonction du
temps. Notons également que l’indicateur est ici, dans l’esprit des auteurs, une quantité chiffrée.
Dans la définition de l’IFEN (2000) la référence au quantitatif disparaît, l’accent est mis sur
l’adaptation d’un indicateur à un contexte particulier (échelle notamment). Un indicateur est alors vu
comme quelque chose qui simplifie l'information en provenance de phénomènes complexes et qui la
quantifie de manière à la rendre significative à l'échelle désirée.
Enfin notons une dernière définition donnée par UNIQUAIMS (apud Riley, 2001) qui définit
l’indicateur comme une fonction de variables, procurant une indication, c'est-à-dire une entité pouvant
être utilisée comme un argument dans une fonction de décision. Cette dernière définition est
intéressante car elle pose le ou les indicateur(s) comme des outils devant entrer dans des méthodes
d’aide à la décision.
Pour notre part, nous prendrons à notre compte la définition de l’IFEN en ajoutant, pour plus de clarté,
qu’un indicateur doit en outre être muni d’une « structure de préférence » de manière à pouvoir
refléter une tendance exploitable compte tenu du problème traité, ce qui le dissocie d’un simple
descripteur. Cela étant posé, m’indicateur aura donc dans la suite du travail, la même signification
qu’un critère de décision, qui selon Roy (1985) « sert de base à un jugement ».
Dans la littérature concernant les indicateurs en général, on peut également trouver des classifications
d’indicateurs selon leur usage (indicateurs d’évaluation, de suivi, de comparaison, de diagnostic, de
communication, …) ou bien selon leur nature (indicateur d’état, de changement, d’impact, de réponse,
de performance) dépendant des objectifs du « phénomène à mesurer ». Ces classifications ont
l’avantage de mettre l’accent sur la nécessité de bien finaliser, c'est-à-dire, de fixer les objectifs précis
des indicateurs et les échelles spatio-temporelles auxquelles les phénomènes doivent être étudiés.
Selon Maystre & Boullinger (1999) l’expérience montre que la construction d’une famille cohérente
de critères est une longue tâche dans laquelle on progresse par approximations successives. Le progrès
par approximations successives vient du fait que, après une proposition d’indicateur, elle doit être
Méthode d’évaluation des performances des systèmes d’infiltration des eaux de ruissellement en milieu urbain
Priscilla Moura – Institut National des Sciences Appliquées de Lyon 85
testée par rapport à sa qualité. Ainsi, après une chaque définition de l’indicateur, sa qualité
individuelle doit être testée.
2.3.1 Qualité des indicateurs
Une étude bibliographique menée par Kastner (2003) montre que l’analyse critique d’indicateurs ou de
familles d’indicateurs a fait l’objet de peu de recherches au regard de l’activité de construction
d’indicateurs qui, elle est en pleine expansion. Il identifie alors quelques méthodes recourant à deux
grands types d’approches :
• Les approches fondées sur la définition a priori de critères généraux de qualité (cas des critères
de Labouze & Labouze, 1995 ou Personne, 1998), ou spécifiques aux problèmes faisant
référence au développement durable comme Bellagio (1996) et Pastille (2002) ou encore Hart
(1999) ;
• Les approches basées sur l’identification a posteriori des erreurs courantes commises lors de
l’exploitation du jeu d’indicateurs comme Perrin (1998) ou Riley (2001).
Dans les paragraphes suivantes quelques uns de ces approches vont être détaillés, ceux qui nous
pensons les plus relevants.
Les approches fondées sur la définition a priori des critères de qualité des
indicateurs
Pour ce type d’approche faisant référence au développement durable on peut citer les travaux de
Labouze & Labouze (1995), Personne (1998), Bellagio (1996) et Pastille (2002).
Les critères de Labouze & Labouze consistent à examiner pour chaque indicateur les qualités
suivantes :
• accessibilité: capacité de l'indicateur à être calculable assez rapidement à un coût acceptable ;
• fidélité: conservation d'un biais éventuel à un niveau constant sur les unités spatio-temporelles
de référence ;
• objectivité: la définition de l'indicateur doit permettre de le calculer sans ambiguïté à partir des
grandeurs observables ;
• pertinence: capacité à refléter toute la signification d'un concept ou tous les aspects d'un
phénomène et garde sa signification dans le temps ;
• précision: définition de l'indicateur avec une marge d'erreur acceptable, en fonction de la
précision des mesures sur les grandeurs observables ;
Chapitre 2 – Point sur les méthodes d’aide à la décision & Démarche proposée
86 Priscilla Moura - Institut National des Sciences Appliquées de Lyon
• sensibilité: variations significatives de l'indicateur pour des variations assez faibles du
phénomène ;
• univocité: variation de l'indicateur de façon monotone par rapport au phénomène décrit pour
pouvoir interpréter ses variations sans équivoque.
Personne (1998) en prenant comme base les travails de Labouze (1995), de l’IFEN (Weber & Lavoux,
1994), de l’OCDE (1993) et de l’ISO (1996), a extrait les critères suivants:
• Pertinence
• pertinence/besoins : les indicateurs doivent fournir une information répondant à un
• besoin de l’entreprise ou des parties intéressées
• objectif : chaque indicateur doit être lié à un objectif auquel il se compare
• lisibilité : simplicité d’interprétation et de compréhension, non ambiguïté
• existence d’un consensus des parties intéressées quant à la validité de l’indicateur
• Justesse d’analyse
• représentativité : représentation fidèle et synthétique de la situation ou du
• phénomène auxquels on s’intéresse
• justesse d’analyse : construction sur une base scientifique et technique saine.
• Objectivité et non ambiguïté des résultats
• cohérence dans le temps et dans l’espace, pour permettre la comparaison (entre site,
• au niveau national, international...), le suivi et le dégagement de tendances
• existence de valeurs de référence permettant de situer l’indicateur
• Données
• mesurabilité : accessibilité des données de base à un rapport coût/bénéfice
• raisonnable, procédures fiables
• sensibilité : variation de l’indicateur pour une faible variation du phénomène
• observé et avec un temps de réponse acceptable
• précision : marge d’erreur acceptable
• les indicateurs doivent être quantitatifs dans la mesure du possible
• les indicateurs ne doivent être qualitatifs que lorsque le quantitatif est impossible.
Méthode d’évaluation des performances des systèmes d’infiltration des eaux de ruissellement en milieu urbain
Priscilla Moura – Institut National des Sciences Appliquées de Lyon 87
L’étude du Projet Pastille rend compte d’une tendance à considérer aussi bien la qualité de conception
de l’indicateur que la qualité de son intégration dans un projet. Pour évaluer la qualité d’un indicateur
le projet propose les critères suivants :
• validité scientifique ou pertinence de l’analyse, incluant la capacité de réponse aux changements
qui surviennent,
• pouvoir d’être obtenu selon des méthodes standardisées et basées sur des données accessibles,
• être comparable, non ambigu, robuste et indépendant des hypothèses,
• être en nombre limité,
• être relié à un horizon temporel raisonnable et à une échelle spatiale pertinente,
• pouvoir d’être relié à d’autres indicateurs et capable d’être agrégé,
• être transparent et répondant aux besoins.
Après la proposition d’un jeu d’indicateurs la phase de caractérisation des indicateurs doit d’être mise
en place pour mieux connaître le jeu d’indicateurs et permettre de relever des manques de cohérence
autour du jeu lui-même.
Les approches basées sur l’identification a posteriori des erreurs courantes
commises lors de l’exploitation du jeu d’indicateurs
Dans les approches basées sur l’identification des erreurs citons deux références Perrin (1998) et Riley
(2001).
Les erreurs relevées pour Perrin sont basées sur l’utilisation des indicateurs dans les programmes
publics et donnent les travers suivants :
• Des interprétations différentes du même terme et / ou concept ;
• Déplacement d’objectifs ;
• Utilisation de mesures sans signification ou pertinence ;
• Apparition de déplacements de coûts au lieu de réduction de coûts ;
• Différences critiques camouflés par l’usage d’agrégations abusives ;
• Limitations propres aux approches basées sur les objectifs ;
• Inutilité pour l’aide à la décision ou allocation des ressources.
Rilley, pour sa part, a relevé les travers suivants :
• Indicateurs bâtis sur la combinaison de variables, conduisant à des agrégations non voulues ;
Chapitre 2 – Point sur les méthodes d’aide à la décision & Démarche proposée
88 Priscilla Moura - Institut National des Sciences Appliquées de Lyon
• Indicateurs pondérés sans transparence ;
• Facteurs d’échelles spatiales et temporelles (transposition hâtive à une échelle globale
d’observations faits à une échelle locale).
2.4 Le niveau III : Modélisation des préférences globales et approches opérationnelles pour l’agrégation des performances
Dans ce niveau l’agrégation des différentes performances est traitée. Il faut choisir la méthode
multicritère la plus adéquate selon la problématique à traiter, selon des types d’indicateurs et le type de
résultat souhaité.
Le choix de la méthode multicritère dépend de la définition des actions, de la famille de critères et du
problème multicritère à traiter (Vincke, 1989). Une grande variété de méthodes d’aide multicritère à la
décision existe. Dans le choix de la méthode la plus adéquate le facteur comme le temps disponible
pour la décision, la quantité, la nature des données requises doivent être considérées.
C’est aussi dans cette étape que se pose la question de l’importance relative de chaque critère et de
chaque indicateur.
2.4.1 Méthodes multicritères
Les méthodes multicritères d’agrégation d’indicateurs se divisent en trois grandes familles : les
méthodes multicritères ordinales, les méthodes par fonction d’utilité et les méthodes de surclassement.
Parmi les méthodes multicritères ordinales nous pouvons citer la méthode de Borda, qui consiste à
additionner les rangs obtenus par une action donnée relativement à chacun des critères (Pomerol &
Barba-Romero, 1993). La méthode de Condorcet, fait aussi partie de la famille des méthodes
multicritères ordinales, et est basée sur le nombre de critères pour lesquelles une action domine une
autre.
Les méthodes de fonction d’utilité cherchent une fonction qui permet de calculer une valeur
correspondante à chaque action. Ensuite, l’action la mieux notée est retenue. La somme pondérée est
l’exemple classique de ce type de méthode. Les méthodes de fonction d’utilité sont des méthodes
d’agrégation complète, d'inspiration anglo-saxonne. Elles visent la maximisation d’une fonction
unique. En cela elles reviennent à une approche monocritère. Ces méthodes ne considèrent que les
situations de préférences strictes et d'indifférences (souvent d’égalité), et par conséquent n'acceptent
aucune situation d'incomparabilité. La différence principale entre les différentes méthodes réside dans
la manière de définir la fonction d'utilité. Les méthodes UTA (Jacquet-Lagrèze & Siskos, 1982),
MAUT (Multi Attribute Utility Theory ; Keeney et al., 1976) et AHP (Analytic Hierarchy Process ;
Saaty, 1977) sont des exemples de ce type de méthode.
Méthode d’évaluation des performances des systèmes d’infiltration des eaux de ruissellement en milieu urbain
Priscilla Moura – Institut National des Sciences Appliquées de Lyon 89
La compensation des mauvais critères par les critères plus performants est sans doute le plus grand
désavantage des méthodes de fonction d’utilité. En synthétisant le problème en une fonction unique,
on élimine de l'information importante en masquant les critères discriminants. En effet, un mauvais
critère pourra toujours être compensé ici par un bon critère. En outre, le choix des échelles de
préférence est primordial et influence grandement le résultat final de ce type de méthode.
Les méthodes de surclassement datent des années 60 et sont d'inspiration françaises. Aussi nommées
méthodes d’agrégation partielle, elles sont basées sur la construction de relations de comparaisons des
performances entre chaque couple d’actions (ai,ak). Ces relations s’appuient, pour la plupart des
méthodes, sur le fait que pour qu'une action ai surclasse une action ak il est nécessaire que ai soit
meilleure que ak sur la plupart des critères et qu'il n’existe pas de critère tel que ai soit beaucoup plus
mauvaise que ak. Cela demande au préalable que soit définie pour chaque critère une modélisation des
préférences permettant de définir l'importance du critère par rapport aux autres, les seuils et règles à
partir desquelles il est possible de dire si une action est meilleure ou moins bonne qu’une autre. Ces
ces relations sont ensuite synthétisées pour l’obtention d’un classement final. Les méthodes
ELECTRE (ELimination et Choix Traduisant la REalité ; Roy, 1968), PROMETHEE (Preference
Ranking Organisation METHode for Enrichissement Evaluation ; Brans et al., 1984) sont des
exemples de ce type de méthode.
Ces méthodes ont pour atouts majeurs, par rapport aux méthodes d'agrégation complète d’accepter les
situations d'incomparabilité et de prendre en compte l'intransitivité. L’inconvénient de ces méthodes
réside dans la définition de paramètres nombreux et l’obligation de réaliser des analyses de sensiblité
et de robustesse, parfois longues.
Pour illustrer ces méthodes nous présenterons ELECTRE III et ELECTRE TRI utilisées par la suite.
2.4.2 La méthode ELECTRE III
La méthode ELECTRE III a été proposée par Roy (1978). Son objectif est de comparer et de classer
des actions potentielles dont les performances sont connues sur un ensemble de critères. Elle est basée
sur la construction d’un surclassement floue, l’élaboration de deux classements antagonistes et la
synthèse selon un classement final.
Le principe de la méthode est le suivant. La matrice des évaluations des performances des différentes
actions potentielles ayant été établie, les critères définis et pondérés (importance relative des critères
les uns par rapport aux autres), les actions sont alors comparées deux à deux (agrégation partielle) à
partir d’une relation de surclassement.
ELECTRE III utilise à ce niveau la notion de « pseudo critère » dans la modélisation des préférences
Chacun des critères est caractérisé par : un seuil d’indifférence (q) et un seuil de préférence stricte (p)
permettant de distinguer une préférence faible et une préférence stricte. Le seuil d'indifférence est
Chapitre 2 – Point sur les méthodes d’aide à la décision & Démarche proposée
90 Priscilla Moura - Institut National des Sciences Appliquées de Lyon
défini de manière à tenir compte de l’incertitude qui entache les évaluations sur ce critères ou
représente l’écart jugé insignifiant pour pouvoir faire une différence entre deux actions. Un troisième
seuilest utilisé (le seuil de veto) qui est la limite au-dessus de laquelle deux actions sont considérées
comme non comparables même si une des actions est en grande majorité meilleure que l’autre sur les
autres critères.
Les pseudo critères
Un pseudo-critère est une fonction g dont le pouvoir discriminant est caractérisé par les seuils q et p,
comme indiqué à la Figure 2.2.
Figure 2.2 – Zones (a) indifférence ; (b) de préférence faible ; (c) de préférence stricte (Maystre et al.,
1994)
Les seuils p et q peuvent être définis comme :
• constant ;
• proportionnel à la performance, comme par exemple : )(ag.p(g(a)) iβ+α= .
Les indices de concordance
ELECTRE III utilise un indice partiel de concordance par critère (cj) et un indice de concordance
globale (Cik). Les équations sont établis, pour l’exposé en considérant des critères croissants (plus la
valeur est grand, meilleure est la performance).
Méthode d’évaluation des performances des systèmes d’infiltration des eaux de ruissellement en milieu urbain
Priscilla Moura – Institut National des Sciences Appliquées de Lyon 91
L’indice partiel de concordance par critère indique dans quelle mesure l’action ai est au moins aussi
bonne que l’action ak pour le critère j.
0 )a,(ac kij = ⇔ )(ag – )(ag p ijkjj <
1 )a,(ac0 kij << ⇔ jijkjj p)(ag – )(ag q ≤<
1 )a,(ac kij = ⇔ jijkj q)(ag – )(ag ≤
L’indice de concordance globale affirme dans quelle mesure il y a concordance avec l’hypothèse
« l’action ai surclasse l’action ak ». Il est défini par la formule suivante :
∑
∑
=
== m
1jj
m
1jkijj
ik
P
)a,a(c.PC (Équation 2.1)
Avec :
Pj : Poids du critère j
cj : indice partiel de concordance du critère j
L’indice de discordance
La notion de discordance permet d’examiner le cas où une action ai est moins bonne que ak. Elle
s’appuie sur le seuil de veto. Elle s’exprime par une mesure de l’affaiblissement de l’indice de
concordance. Le seuil de veto pour le critère j est, par définition, la valeur de la différence gj(ak)-gj(ai)
à partir de laquelle il parait prudent de refuser tout crédibilité au surclassement de l’action ai par
l’action ak, même si tous les autres critères sont en concordance avec ce surclassement.
L’indice de discordance )a,(ad kij est donnée par :
1 )a,(ad kij = ⇔ )(ag – )(ag v ijkjj <
1 )a,(ad0 kij << ⇔ jijkjj v)(ag – )(ag p ≤<
0 )a,(ad kij = ⇔ jijkj p)(ag – )(ag ≤
Relation de surclassement floue et dégrée de crédibilité
Le dégré de crédibilité est l’indice de concordance global affaibli par les indices de discordance. Il est
donné par :
∏∈ −
−=δ
Fj ik
kijikik C1
)a,a(d1C (Équation 2.2)
Chapitre 2 – Point sur les méthodes d’aide à la décision & Démarche proposée
92 Priscilla Moura - Institut National des Sciences Appliquées de Lyon
Avec :
Cik : indice de concordance globale
F : sous ensemble de la famille F qui a comme éléments les critères pour lesquels l’indice de
discordance est supérieur à l’indice de concordance globale
)a,a(d kij : indice de discordance
La méthode réalise enfin donc deux préordres complets, à travers la distillation ascendante et la
distillation descendante, synthétisés in fine par un classement median final.
2.4.3 La méthode ELECTRE TRI
La méthode ELECTRE TRI, proposé par Yu (1992), est basée sur l’affectation des actions à une
catégorie, à travers deux procédures d’affectation appelées optimiste et pessimiste. Cette affectation
est réalisée à partir de la comparaison de chaque action potentielle avec des actions de référence.
La méthode ELECTRE TRI utilise, comme la méthode ELECTRE III, pour chaque un des critères
deux seuils dits d’indifférence (q) et de préférence stricte (p) ; ces seuils ont été définis de manière à
tenir compte de l’incertitude qui entache les valeurs de la matrice d’évaluation. Ces seuils permettent
l’apparition de la notion de préférence faible. Un troisième seuil, le seuil de veto (v), est utilisé dans la
concrétisation de la notion de discordance.
Les indices de concordance
ELECTRE TRI utilise les mêmes indices de concordance par critère (cj) et un indice de concordance
globale (Cik) que la méthode ELECTRE III.
L’indice de concordance par critère indique dans quelle mesure l’action ai est au moins aussi bonne
que l’action bk de référence pour le critère j.
0 )b,(ac kij = ⇔ )(ag – )(bg p ij
kjj <
1 )b,(ac0 kij << ⇔
jijk
jj p)(ag – )(bg q ≤<
1 )b,(ac kij = ⇔ jij
kj q)(ag – )(bg ≤
Méthode d’évaluation des performances des systèmes d’infiltration des eaux de ruissellement en milieu urbain
Priscilla Moura – Institut National des Sciences Appliquées de Lyon 93
L’indice de concordance globale affirme dans quelle mesure il y a concordance avec l’hypothèse
« l’action ai surclasse l’action bk ». Il est défini par la formule suivante :
∑
∑
=
== m
1jj
m
1j
kijj
ki
P
)b,a(c.P)b,C(a (Équation 2.3)
Avec :
Pj : Poids du critère j
cj )b,a( ki : indice de concordance du critère j
L’indice de discordance
De même l’indice de discordance )b,(ad kij est donnée par :
1 )b,(ad kij = ⇔ )(ag – )(bg v ij
kjj <
1 )b,(ad0 kij << ⇔
jijk
jj v)(ag – )(bg p ≤<
0 )b,(ad kij = ⇔ jij
kj p)(ag – )(bg ≤
Relation de surclassement floue et dégré de crédibilité
Le dégré de crédibilité est l’indice de concordance global affaibli par les indices de discordance,
comme dans la méthode ELECTRE III. Il est donné par :
∏∈ −
−=σ
Fjk
i
kijk
ik
is )b,a(C1)b,a(d1
)b,a(C)b,a( (Équation 2.4)
Avec :
)b,a(C ki : indice de concordance globale
F : sous ensemble de la famille F qui a comme éléments les critères pour lesquels l’indice de
discordance est supérieur à l’indice de concordance globale
)b,a(d kij : indice de discordance
La relation de surclassement entre une action potentielle et une action de référence est établie à partir
de dégrés de crédibilité et d’un seuil de coupe λ , comme montre la Figure 2.3.
Chapitre 2 – Point sur les méthodes d’aide à la décision & Démarche proposée
94 Priscilla Moura - Institut National des Sciences Appliquées de Lyon
Figure 2.3 – Etablissement de la relation de surclassement (Maystre et al., 1994)
Procédure d’affectation
La comparaison des actions aux profils de référence est effectuée selon deux procédures. Les
caractéristiques des deux procédures d’affectation sont détaillées dans le Tableau 2.1.
Tableau 2.1 - caractéristiques des procédures d’affectation
Procédure d’affectation Pessimiste Optimiste
Objectif Pousser les actions dans les catégories les plus basses possibles
Pousser les actions dans les catégories les plus hautes possibles
Procédure Affecter l’action à une catégorie de façon telle que cette action surclasse l’action de référence basse de cette catégorie : aSbh a∈ Ch+1 avec h=1, 2
Affecter l’action à une catégorie de façon telle que l’action de référence haute de cette catégorie soit préférée à l’action : bh
>a a∈ Ch avec h=1, 2
Sens de haut en bas de bas en haut
2.4.4 Méthodes de pondération des critères et indicateurs
L’importance relative des critères et des indicateurs entre eux est un aspect primordial dans l’analyse
multicritère. Ces poids doivent être le reflet des points de vue des décideurs. Chacun d’eux s’appuie
sur un système de valeurs, des convictions, d’opinions différentes pour expliciter leurs préférences.
Diverses méthodes de pondération de critères existent et leurs résultats peuvent beaucoup influencer le
résultat final de l’analyse (Pomerol & Barba-Romero, 1993). Les poids peuvent être déterminés par
des méthodes dites « objectives » comme la méthode des entropies (Zeleny, 1982), par des méthodes
d’évaluation directe, comme le classement simple ou la méthode de comparaisons successives
(Churman & Ackoff, 1954) ou encore par des méthodes indirectes, comme la méthode AHP (Saaty,
1977).
Il est important de bien insister sur le fait que les poids peuvent influencer le résultat final d’une
analyse multicritère, d’où l’importance de déployer tous les efforts possibles dans une analyse de
Méthode d’évaluation des performances des systèmes d’infiltration des eaux de ruissellement en milieu urbain
Priscilla Moura – Institut National des Sciences Appliquées de Lyon 95
sensibilité à la variation des poids, avant de donner des recommandations finales en matières d’aide à
la décision. Cependant l’analyse de sensibilité doit rester fidèle à une stratégie donnée.
2.5 Niveau IV : Procédure d’investigation et élaboration de la prescription
À partir de la construction d’une famille cohérente de critères, de leurs évaluations, des poids et de la
méthode d’agrégation choisie, la résolution du problème peut être entreprise. La présente étape
consiste donc à tirer des conclusions à partir des résultats obtenus. Cette étape est très délicate.
Plusieurs hypothèses et simplifications peuvent être faites pendant le processus et leur influence doit
être vérifiée. Pour cela des analyses de sensibilité et de robustesse doivent être réalisées.
L’analyse de sensibilité est, selon Maystre et al. (1994), une analyse consistant à répéter l’analyse
multicritère original en faisant varier les valeurs attribuées à l’origine aux différents paramètres de la
méthode, valeurs qui sont souvent empreintes d’un certain arbitraire. Elle vise à définir les paramètres
qui conditionnent les plus étroitement la solution à choisir, et notamment celles où il suffit d’une faible
modification pour changer la solution proposée.
L’analyse de robustesse, toujours selon Maystre et al. (1994), est une analyse cherchant à déterminer
le domaine de variation de certains paramètres dans lequel une recommandation reste stable. Elle sert
à fournir au décideur une recommandation synthétique et robuste, qui l’informe quant à la capacité de
la solution proposée à résister à des variations entre la réalité et le modèle censé la représenter.
2.6 Indicateurs dans le domaine de l’assainissement et du problème traité
Il existe en fait très peu de recherches ou d’études qui ont été menées sur le champ spécifique de la
définition d’indicateurs liés aux structures d’infiltration des eaux de ruissellement hormis celles qui
ont été réalisées au LGCIE, ancien URGC, de l’INSA de Lyon.
Le plus grand nombre de publications dans le domaine concerne le développement d’indicateurs
tentant de mesurer les performances de dispositifs particuliers faisant partie du système
d’assainissement (performance de stations d’épuration ou de systèmes de traitement comme (Lundin,
2000) ou (Balkema et al., 2002) par exemple). Il concerne également les performances du système
(Kolsky & Buttler, 2002), (Geerse & Lobbrecht, 2002) ou plus généralement du service
d’assainissement. C’est le cas notamment des indicateurs de performance développés par
l’International Water Association (IWA) (Matos et al., 2003), ou ceux définis par l’OFWAT (Ewan &
Mott MacDonald, 2001) ou encore ceux proposés en France par (Guerin-schneider, 2001), (Cousquer
& al., 2005), (IGD, 2004), (Le Gauffre et al., 2004) par exemple. Les indicateurs sont soit ciblés sur
un objectif (réhabilitation des réseaux) et/ou sur un type d’acteur (estimation de la qualité de service à
destination du décideur comme pour les jeux d’indicateurs français), soit encore définis de manière
Chapitre 2 – Point sur les méthodes d’aide à la décision & Démarche proposée
96 Priscilla Moura - Institut National des Sciences Appliquées de Lyon
plus large comme ceux de l’IWA par exemple. En effet, dans le cas de l’IWA, les indicateurs couvrent
un champ large et hétéroclite (indicateurs environnementaux, économiques et financiers, indicateurs
liés aux personnels, indicateurs de structure, indicateurs liés à la maintenance des systèmes et à la
qualité de service touchant la population comme les interruptions de service, les réclamations ou les
dégâts, …). Les indicateurs y sont nombreux (182 au total) et ont l’ambition de l’exhaustivité.
Cependant, on trouve ici un certain nombre de biais qu’il sera bon d’éviter ultérieurement. En effet le
nombre important d’indicateurs est difficile à exploiter, de même que certains indicateurs pris
isolément (« nombre de détecteurs de gaz par employé » par exemple). Ils sont souvent fortement
dépendants les uns des autres et couvrent des niveaux et d’objectifs très disparates dont on ne donne
pas la clé d’exploitation.
Sur le domaine des techniques alternatives (dispositifs de retenue et/ou d’infiltration), on trouve
quelques jeux d’indicateurs ou de critères comme (Azzout, 1996), (Moura et al., 2004), (Castro &
Baptista, 2004), (Ellis et al., 2004b). La plupart du temps, il ne s’agit pas de quantifier les
performances intrinsèques d’une solution mais plutôt de définir des indicateurs utilisés en phase choix
ou de conception de différentes variantes d’un même projet ou encore de type de techniques. Les
critères relatifs aux techniques d’infiltration y sont noyés et globalisés. Par exemple dans (Azzout,
1996), l’efficacité en terme de pollution se résume à deux critères « aptitude du système à retenir la
pollution particulaire » et « aptitude du système à retenir la pollution dissoute ». Là encore les critères
sont souvent nombreux et cachent des redondances et de l’inter-dépendance. Certains auteurs ont
même réalisés des études a posteriori permettant d’analyser les résultats de l’application des jeux
d’indicateurs à des études réelles. (Barraud et al., 2004b) a ainsi fait une analyse critique du jeu
d’indicateurs défini par Azzout (1996). L’étude a posteriori montre qu’un trop grand nombre de
critères (ici 27) est pesant pour l’évaluateur et que la difficulté à évaluer certains d’entre eux
(indicateurs environnementaux par exemple) conduisait l’évaluateur à attribuer, par mesure de
précaution, les mêmes performances à tous les scénarios les rendant ainsi inutiles.
Sur les techniques d’infiltration elles-mêmes, des jeux d’indicateurs ont été développés dans le cadre
de projets régionaux ou nationaux (Action incitative Ville (ACI Ville) (Barraud et al., 2001), MGD
Infiltration du Réseau Génie Civil & Urbain (Perrodin et al., 2003), et Thématiques prioritaires de la
Région Rhône Alpes (Chocat et al., 2004). Historiquement, un premier jeu a été défini dans le cadre
de l’ACI Ville (Barraud et al., 2001). Cette recherche visait à quantifier les performances des systèmes
de drainage par infiltration et à comparer plusieurs types de stratégies. Cependant ce travail faisait
apparaître de nombreuses défaillances tant dans la définition des indicateurs eux mêmes, dans les
méthodes d’évaluation que dans la disponibilité des données nécessaires à l’évaluation. Nous les
rappelons lors de la construction de nos indicateurs.
Méthode d’évaluation des performances des systèmes d’infiltration des eaux de ruissellement en milieu urbain
Priscilla Moura – Institut National des Sciences Appliquées de Lyon 97
2.7 Conclusions et démarche proposée
Le présent chapitre a présenté les étapes de construction d’une méthode multicritère d’aide à la
décision. En quatre niveaux :
• Le niveau I : Objet de la décision et esprit de la prescription ou de la participation, qui consiste
en la réflexion sur le problème posé et la façon de modéliser le problème ;
• Le niveau II : Analyse des conséquences et élaboration de critères, qui traite de la construction
des critères ou indicateurs pour exprimer chaque aspect du problème posé et de leur évaluer
avec des critères ou indicateurs robustes et de bonne qualité ;
• Le niveau III : Modélisation des préférences globales et approches opérationnelles pour
l’agrégation des performances, où la méthode d’agrégation des différentes performances est
traitée, ainsi que l’attribution des poids des critères ;
• Niveau IV : Procédure d’investigation et d’élaboration de la prescription, qui consiste à tirer des
conclusions des résultats obtenus, en se basant sur des analyses de sensibilité et robustesse.
Finalement, le dernier paragraphe a donnée un aperçu sur les indicateurs existants dans le domaine de
l’assainissement. Nous avons quelques études qui ont visé évaluation des systèmes d’assainissement,
toutefois très peu d’études ont été dédiées aux techniques d’infiltration, le problème restant entier.
La démarche du présent travail va donc consister à alimenter chacune des étapes définies
précédemment pour chaque problématique : conception & suivi.
Chapitre 2 – Point sur les méthodes d’aide à la décision & Démarche proposée
98 Priscilla Moura - Institut National des Sciences Appliquées de Lyon
Figure 2.4 – Etapes de la construction d’une méthode multicritère d’aide à la décision, pour les phases de
conception et de suivi des systèmes
Rappels des objectifs
L’objet du travail consiste à élaborer des indicateurs de performances pour le développement d’un
service durable de l’assainissement pluvial par infiltration.
Définition de la notion d’indicateurs
Nous avons retenu la définition de l’IFEN (2000) qui considère un indicateur comme : « quelque
chose qui simplifie l'information en provenance de phénomènes complexes et qui la quantifie de
manière à la rendre significative à l'échelle désirée ». Nous avons complété cette définition en
ajoutant qu’un indicateur doit en outre être muni d’une « structure de préférence » de manière à
pouvoir refléter une tendance exploitable compte tenu du problème traité, ce qui le dissocie d’un
simple descripteur. Par exemple, si l’on juge la qualité des eaux sortant d’un système par un indicateur
lié à la couleur, il faut que l’on soit capable d’identifier si la couleur est « satisfaisante », « plus
Méthode d’évaluation des performances des systèmes d’infiltration des eaux de ruissellement en milieu urbain
Priscilla Moura – Institut National des Sciences Appliquées de Lyon 99
satisfaisante » que telle autre, etc. Ainsi, dans ce travail indicateur de performance et critère sont
considérés comme synonimes.
Délimitation du contour des systèmes techniques étudiés, échelles considérées et
objectifs
Les systèmes étudiés ont été définis comme étant un ouvrage ou un aménagement comprenant ou
nécessitant des systèmes de retenue/infiltration.
L’échelle d’espace considérée est donc l’échelle locale d’une opération.
L’échelle de temps pertinente retenue est tout ou partie de la vie d’un ouvrage ou de celle d’un
aménagement.
Définition de la finalité des indicateurs et des acteurs à qui sont destinés les indicateurs.
Les finalités identifiées sont :
• d’évaluer un ouvrage, une situation, un aménagement à un moment donné ;
• de suivre dans le temps un ouvrage, une situation, un aménagement (comparaison à différentes
phases de la vie)
• de comparer des variantes
• de projets (en conception) ;
• d’actions de gestion sur un ouvrage ou un aménagement ;
• d’actions sur la structure d’un ouvrage ou un aménagement.
Les comparaisons se font donc à « environnement » sensiblement similaire. Ainsi les indicateurs ne
sont pas destinés à comparer deux opérations complètement différentes l’une à Lille, l’autre à Lyon
par exemple.
Les acteurs destinataires de ces indicateurs sont les « décideurs » (maîtres d’ouvrage), les « hommes
d’étude » (concepteurs, exploitants).
Chapitre 2 – Point sur les méthodes d’aide à la décision & Démarche proposée
100 Priscilla Moura - Institut National des Sciences Appliquées de Lyon
Définition des indicateurs
Pour élaborer les performances puis les indicateurs, un groupe de travail a été constitué, il est censé
représenté différents points de vue. Ce groupe de travail a rassemblé des chercheurs de différents
domaines partenaires du projet et des acteurs opérationnels (services de collectivités publiques et
bureaux d’études privés).
Les propositions d’indicateurs sont initiées soit sur des bases bibliographiques, soit à partir des
recherches en cours auxquelles j’ai participé soit encore in abstracto. L’ensemble des propositions est
ensuite soumis au groupe pour discussion, modification, re-définition.
Qualités requises pour les indicateurs
Chaque proposition d’indicateur sont ensuite testée sur des cas concrets et passer au crible de critères
de qualité. Les critères de qualité retenus sont ceux de Labouze & Labouze (1995) et figurent au
Tableau 2.2. Ces qualités sont en effet générales et peu liées au domaine. Elles permettent de se poser
de bonnes questions et ce, de manière systématique. La démarche permettant de vérifier ces critères
doit également être définie. La procédure est fournie au Tableau 2.2.
Méthode d’évaluation des performances des systèmes d’infiltration des eaux de ruissellement en milieu urbain
Priscilla Moura – Institut National des Sciences Appliquées de Lyon 101
Tableau 2.2 - Liste des qualités requises dans la méthode de travail et rôle des partenaires dans le travail
de test
Qualités requises / définition Qui teste ces qualités et comment
Pertinence : capacité à refléter toute la signification d'un concept ou tous les aspects d'un phénomène et à garder sa signification dans le temps
La pertinence est validée par le groupe
Accessibilité : aptitude à être calculable facilement à un coût acceptable
L’accessibilité est validée qualitativement par les membres du groupe puis vérifiée par le chercheur coordonnateur qui évalue l’indicateur sur des cas concrets avec des données fournies par les opérationnels
Fidélité : conservation d'un biais à un niveau constant sur les unités spatio-temporelles de référence
Objectivité : aptitude à donner une tendance qui ne dépend pas de l’évaluateur
La fidélité et l’objectivité sont validées par le chercheur coordonnateur qui fait évaluer les indicateurs par plusieurs évaluateurs (ou mode d’évaluation), plusieurs fois
Précision/robustesse : fiabilité de l’évaluation avec une erreur acceptable / aptitude à donner une même tendance malgré les incertitudes sur l’évaluation
La précision/robustesse est testée par le chercheur coordonnateur qui évalue les incertitudes ou les sources de méconnaissance et qui applique la définition à des cas concrets
Sensibilité : aptitude à discriminer des solutions La sensibilité est testée par le chercheur coordonnateur qui choisit des cas concrets que l’on veut discriminer ; l’indicateur est ensuite appliqué pour savoir s’il est capable de discriminer correctement des différents cas
Univocité : aptitude à donner une valeur interprétable de manière univoque
L’univocité est testée a priori au moment de la définition de l’indicateur par le chercheur coordonnateur et le groupe
Performances considérées
Les performances ou objectifs poursuivis pour l’évaluation des systèmes d’infiltration prennent en
compte les performances techniques qui reflètent le fonctionnement adéquat du système technique,
performances environnementales et sanitaires et les performances socio-économiques, qui évaluent les
coûts et les enjeux sociaux de ces systèmes. Comme nous considérons deux objectifs principaux (la
conception de ces ouvrages et leur suivi) les performances seront présentées séparément.
Lors d’études précédentes les indicateurs avaient été classés par famille : indicateurs techniques,
environnementaux, socio-économiques. Cette distinction a été supprimée car certains indicateurs
étaient liés et cette classification avait tendance à cloisonner et à masquer les interdépendances (la
recharge de nappe par exemple n’est intéressante que si l’eau de recharge est de bonne qualité).
Ainsi la liste des performances considérées est la suivante.
Chapitre 2 – Point sur les méthodes d’aide à la décision & Démarche proposée
102 Priscilla Moura - Institut National des Sciences Appliquées de Lyon
Tableau 2.3 – Liste des performances considérées
Liste des performances Prise en compte en conception
Prise en compte en suivi
Protéger contre les inondations X X
Ne pas dégrader la qualité de la nappe X
Retenir la pollution dans l’ouvrage (Ne pas dégrader la qualité de la nappe / Ne pas polluer le sol en profondeur
X X
Contribuer à la recharge des nappes X
Préserver les ressources naturelles X X
Etre maintenable techniquement et facilement par l’organisation
X X
Garantir la santé et la sécurité des usagers/personnels X X
Produire des déchets facilement gérables X X
Avoir un coût peu élevé X X
Qualité de l’aménagement X
Acceptabilité sociale d’un scénario X
Nous allons maintenant examiner l’ensemble de ces performances de manière à construire des
indicateurs les décrivant et des méthodes les exploitant.
Méthode d’évaluation des performances des systèmes d’infiltration des eaux de ruissellement en milieu urbain
Priscilla Moura – Institut National des Sciences Appliquées de Lyon 103