Aspects méthodologiques des évaluations en justice restaurative

Les évaluations disponibles menées depuis plus de 40 ans sur les mesures de justice restaurative à travers le monde mettent en exergue leurs effets positifs sur les personnes, victimes et auteurs, leurs proches, ainsi que sur les communautés concernées et le système de justice pénale.

De façon générale et récurrente, les études constatent un taux de satisfaction élevé chez les participants, le sentiment d’avoir obtenu justice, d’être traités équitablement et la sensation d’un apaisement tant physique que psychique. Les professionnels de la justice attestent les vertus de la complémentarité entre mesures restauratives et justice pénale en termes d’humanisation, de réponse aux attentes des justiciables, de réduction du coût social du crime (réduction des taux de récidive, efficience des coûts de la justice)  et de gain de temps, en particulier en ce qui concerne la durée des prises en charge socio-pénales des personnes concernées. La peur du crime s’estompe grâce au partage des émotions, à l’engagement et à la prise de conscience de l’humanité de l’Autre, permettant à chacun de cheminer individuellement vers un horizon d’apaisement.

Néanmoins, au-delà de ces résultats, il apparait essentiel d’expliquer pourquoi il est nécessaire d’évaluer systématiquement les pratiques restauratives et comment ces évaluations éparses sont conduites, selon quelles méthodes et avec quelles limites, afin d’en améliorer l’efficacité et la pertinence, dans le souci permanent de l’intérêt des personnes touchées par une infraction.

 

Pourquoi évaluer ?

Il existe un véritable impératif à évaluer les pratiques restauratives (Zehr 2005). 

Malgré la réticence de certains restaurativistes qui estiment que les approches restauratives sont bénéfiques par principe, l’évaluation apparait nécessaire, doit reposer sur plusieurs méthodes (en particulier longitudinales et différentielles) et être orientée sur plusieurs axes.

Tout d’abord, les processus, les résultats, les objectifs et le fonctionnement des organismes de justice restaurative devraient être évalués afin de savoir si ce que les praticiens font réellement correspond à ce qu’ils pensent réaliser. Dans le cas où un décalage est observé entre les pratiques et les projections, l’évaluation constitue un outil de perfectibilité des protocoles et des programmes de justice restaurative.

L’évaluation est ensuite nécessaire car elle permet de rendre des comptes à la société et aux bénéficiaires de la justice restaurative. Il s’agit en l’occurrence d’une question de prise de responsabilité de la part des acteurs de la justice restaurative, comme pour les pouvoirs publics qui les soutiennent.

Par ailleurs, pour l’application comme pour l’évaluation, le dialogue doit être encourager entre les diverses structures impliquées (services de justice restaurative, associations d’aide aux victimes, communautés, etc) dans une démarche concertée et globale, fondamentalement participative (recherche-action).

Enfin, l’évaluation implique que des principes, des valeurs et une philosophie restauratives soient partagés par tous afin de mettre en place puis d’évaluer une « pratique basée sur des lignes directrices communes ».

 

Les quatre impératifs de l’évaluation par Howard Zehr

- Nous devons être évalués et prendre les résultats au sérieux

- Nous devons rendre des comptes

- Nous devons encourager le dialogue ouvert entre les divers secteurs qui sont concernés par notre travail

- Nous devons non seulement formuler nos principes mais aussi les laisser guider notre pratique

 

Comment évaluer ?

Les méthodes d’évaluation des programmes de justice restuarative sont diverses et de qualité variable.

Les plus abouties sont des méta-analyses qui intègrent une approche différentielle, c’est-à-dire qu’un groupe de contrôle ou groupe témoin est évalué comparativement au groupe ayant participé à une mesure de justice restaurative.

Afin d’éviter le biais qu’emporte le volontariat (tous les participants sont volontaires et par conséquent mieux disposés à ce que la mesure aboutisse), le groupe témoin se compose des individus, soit qui ne se sont pas vus proposer la mesure (orientation aléatoire) mais qui disposaient de tous les critères pour être orientés vers une mesure restaurative, soit qui ont refusé de prendre part au processus restauratif.

L’idéal serait donc de disposer de 3 groupes :

-1 à qui l’on a proposé la mesure et qui l’a acceptée

-1 à qui l’on a pas proposé la mesure mais qui réunissait les critères requis pour y participer

-1 à qui l’on a proposé la mesure et qui l’a refusée

En outre, parmi les personnes ayant accepté de participer, il pourrait exister deux sous-groupes :

  • Celui composé des personnes qui ont complété la mesure
  • Celui composé des personnes qui ont interrompu leur participation

Par ailleurs, les évaluations les plus pertinentes scientifiquement sont conduites sur des études randomisées (de l’anglais random : hasard, aléatoire), c’est-à-dire qui répartissent de façon aléatoire les participants dans le groupe expérimental (groupe de participants à une mesures restaurative) et le groupe témoin (les personnes ne prenant pas part à une mesure restaurative). En procédant de cette façon, les biais de sélection qui pourraient mener à constituer des groupes différents (origine sociale, antécédents criminels, etc) sont évités ce qui aboutit à une meilleure représentativité des échantillons ainsi constitués.

 

Des méthodes diverses :

Lorsque la recherche dans le domaine de la justice restaurative s’est développée au début des années 2000, les auteurs ont d’abord procédé à un examen exhaustif de la littérature en résumant les travaux de recherches au moyen de méthodes narratives ou qualitatives.

Les questionnaires pré et post intervention restaurative auprès des participants, victimes et auteurs, des animateurs, des membres de la communauté, des familles et des professionnels représentent une méthode classique privilégiée par les chercheurs tout comme la revue de littérature, l’observation participante et l’entretien semi directif.

Considérée comme plus objective, la méthode des méta-analyses est apparue plus tard et a consisté en l’agrégation des connaissances existantes.

 

À l’instar des méthodes classiques de recherche quantitative, la méta-analyse comprend trois étapes de base :

1. l’analyse bibliographique : déterminer et recueillir les monographies pertinentes

2. la collecte de données : extraire les données au moyen de méthodes de codage déterminées au préalable

3. l’analyse des données : analyser les données agrégées au moyen de méthodes statistiques

 

Une méta-analyse peut être considérée comme une analyse statistique d’une série d’études qui portent sur l’ampleur d’un rapport entre deux ou plusieurs variables (Glass, McGaw et Smith, 1981). Elle signifie l’analyse d’analyses. Il s’agit de l’analyse statistique d’un ensemble d’études dans le but d’intégrer les divers résultats, souvent divergents, tirés d’un ensemble de documents (Russel 2001).

Les méta-analyses, bien que considérées comme les méthodes les plus pertinentes, ne sont pas exemptes de critiques. En effet, il leur est reproché d’être conduites à partir des seules études publiées. Par conséquent, elles ne tiendraient pas compte de l’ensemble des recherches menées et présenteraient un risque de surestimation des bénéfices évalués.

Afin de mesurer la qualité scientifique des études évaluant les résultats de la justice restaurative, un outil est utilisé : l’échelle de Maryland (SMS). Celle-ci permet de classer les recherches en 5 niveaux des moins précises au plus élaborées scientifiquement. Le niveau 1 représente les recherches transversales comparant des groupes expérimentaux et des groupes de contrôle ou évaluant le groupe expérimental avant et après l’administration de la mesure. Le niveau 2 utilise des variables de contrôle, le niveau 3 compare les résultats poursuivis avant la mesure, ceux obtenus après son application en recourant à un groupe de contrôle, le niveau 4 utilise une approche quasi-randomisée tandis que le niveau 5 implique explicitement la randomisation pour le groupe expérimental et de contrôle (http://www.whatworksgrowth.org/resources/the-scientific-maryland-scale/)

 

Une qualité variable

La variabilité de la qualité des évaluations est notamment liée à l’existence de biais méthodologiques.

Les études évaluent principalement trois résultats :

  1. La satisfaction générale des participants
  2. La récidive
  3. L’efficience des coûts

1. Biais affectant l’évaluation de la satisfaction générale des participants : la satisfaction peut être due à la seule prise en compte des victimes et des auteurs. Le simple fait de recueillir la parole des personnes en souffrance, de s’intéresser à elles peut être source de satisfaction mais ne révèle pas forcément leur adhésion et l’appropriation du processus.

En outre, mesurer la satisfaction peut être critiquable : en quoi est-ce un critère scientifique restauratif ? les mesures restauratives doivent-elles être satisfaisantes ? pourquoi et de quelle manière ?

Au sein de cette catégorie, il est possible d’intégrer le critère de la conformité par rapport à l’accord issu de la rencontre ainsi que celui du sentiment d’un traitement juste et équitable. Les résultats positifs évalués dans ces domaines sont potentiellement liés à la prise en considération des personnes et de leur parole, démarche qui dénote avec les pratiques privilégiées au sein des processus de justice classique.

2. Biais affectant l’évaluation de l’impact de la justice restaurative sur la récidive : la justice restaurative ne participe pas directement à la baisse de la récidive, ce n’est pas son objectif.

Les faibles taux de récidive qui sont très souvent observés après une intervention de justice restaurative sont davantage liés aux effets et aux conséquences du processus restauratif.

En outre, les critères d’évaluation de la récidive sont controversés car ils ne sont pas les mêmes selon les études et les définitions de la récidive retenues mais également selon les pays au sein desquels les programmes s’appliquent : la récidive est-elle constituée à partir de la nouvelle condamnation ? De l’arrestation ? Quel délai est pris en compte ? La nouvelle infraction doit-elle être identique à la précédente ?

Les législations relatives à la récidive sont différentes d’un État à l’autre et, par exemple, en France la récidive légale et la réitération sont retenues comme critères permettant de mesurer la récidive mais également la « re-condamnation » qui n’est qu’une catégorie statistique.

De plus, lorsqu’est envisagée la théorie de la désistance, la récidive ne préjuge pas forcément d’un ancrage dans la délinquance mais plutôt d’une « erreur de parcours », une « rechute » dans le long processus du désistement. En ce sens, quelle valeur accorder aux résultats ainsi évalués ?

3. Biais relatifs à l’évaluation de l’efficience des coûts : le calcul de l’efficience des coûts est réalisé, soit à partir du nombre de cas « détournés » de la justice pénale classique (c’est-à-dire ayant fait l’objet d’une mesure restaurative dans une perspective alternative) et à partir de la projection du coût d’une condamnation, de poursuites et/ou de l’exécution de la peine, soit en considérant que la justice restaurative est avant tout préventive et permet d’éviter une récidive. Dans ce dernier cas, l’évaluation est réalisée en tenant compte des effets de l’approche restaurative sur les taux de récidive comparativement aux résultats atteints par la justice classique. Les coûts sont soit calculés sur le modèle des coûts moyens (la division du coût total par le nombre d’unités ou de personnes concernées par ce coût) ou opérationnels soit sur celui des coûts marginaux (le coût suscité par l’ajout d’un auteur dans le système de justice pénale) aboutissant ainsi à une différence notable en termes de résultats.

Cette efficience des coûts est délicate à évaluer sur le court terme, dans la mesure où les processus restauratifs sont relativement longs, sollicitent de nombreux bénévoles et que le gain économique opéré peut également dépendre de critères extérieurs à la seule mise en œuvre d’une mesure restaurative.

Enfin, dans les nombreuses évaluations menées un problème récurrent est celui de la définition de la justice restaurative (comme de la récidive) qui selon sa nature, plus ou moins étroite, emporte des résultats distincts. Selon la définition qui est choisie, on n’évalue pas la même chose, d’où l’importance cruciale à s’accorder sur des protocoles et des principes communs régissant les programmes de justice restaurative évalués.

 

Quelles perspectives ?

Bien que de nombreuses données soient disponibles et que la justice restaurative soit l’un des champs les plus évalués de la probation, les chercheurs appellent à davantage d’études afin d’affiner les résultats existants, ainsi qu’à des analyses plus qualitatives.

De plus, la plupart des évaluations répertoriées ont été réalisées de façon logique dans les pays précurseurs en matière de justice restaurative et les plus abouties proviennent d’Angleterre, du Canada et des États-Unis.

Elles concernent des initiatives circonstanciées autour de programmes spécifiques et dispersés.
En ce sens, dans le contexte français et dans la perspective d’une application générale ou globale de mesures restauratives harmonisées (établies selon des protocoles communs) une évaluation systématique (et comparative) apparaitrait non seulement pertinente mais également inédite et donc d’un apport précieux pour la recherche dans le domaine.

Outre l’inégalité ou le déséquilibre géographique en terme d’évaluation, il existe une surreprésentation notoire des études relatives à la médiation et aux conférences restauratives au détriment des autres mesures. Ce manque contribue à enclaver la recherche en matière de justice restaurative et à en véhiculer une image réductrice alors même que d’autres mesures sont en œuvre. De la même manière, puisque les résultats les plus positifs concernent les infractions les plus graves (Sherman et Strang, 2012), les évaluations minoritaires en la matière gagneraient à se développer.

Par ailleurs, si les effets positifs de la justice restaurative sur les victimes, les auteurs et les communautés sont connus depuis longtemps, son impact sur les professionnels de la justice n’est pas ou très peu étudié à l’étranger. Les évaluations françaises déjà initiées en ce sens sont source d’une plus-value significative pour la recherche dans le domaine.

Enfin, une réflexion approfondie gagnerait à être initiée au sujet des critères et des résultats évalués. Ceux qui sont communément retenus dans le cadre des évaluations sont ceux de la justice pénale classique (récidive, coûts) mais les recherches n’ont pas encore ou peu identifié des critères restauratifs qui seraient directement liés à l’essence même de la justice restaurative.

Par exemple, si l’un des buts principaux est de rendre possible la rencontre entre auteur et victime, pourquoi ne pas évaluer ce résultat en recherchant quels sont les facteurs favorables à sa réalisation ? Si la création d’un espace de parole sécurisé constitue un autre élément central de toute intervention restaurative, pourquoi ne pas tenter de comprendre quels critères ont concouru à la libération de cette parole ou au contraire au mutisme chez les participants ? Si le succès de toute approche restaurative suppose un dialogue et un partenariat entre différents acteurs, pourquoi ne pas évaluer et identifier les principes et « bonnes pratiques » en la matière ? Si la prise de pouvoir sur leur vie par les participants, leur implication sont au cœur de la justice restaurative, pourquoi ne pas évaluer la réalisation de cet objectif dans le cadre d’une rencontre ?

Ces interrogations témoignent de l’effervescence suscitée par le champ de la justice restaurative et de son caractère évolutif. Il s’agit d’un domaine en évolution et en construction nourrit par la pratique et l’implication de tous : victimes, auteurs, communautés et professionnels.

 

L’évaluation en questions :

Pourquoi ? L’évaluation est nécessaire afin d’identifier les bienfaits et les défis de la justice restaurative, d’en améliorer certains aspects, de rendre des comptes aux participants et au système de justice et d’agir en cohérence avec les principes restauratifs (Zehr, 2005)

Comment ? Parmi les nombreuses évaluations disponibles, les plus abouties sont des méta-analyses qui synthétisent les résultats de plusieurs études afin de déterminer des tendances générales. La méthode comparative différentielle, qui compare un groupe participant à des mesures restauratives à un autre ayant intégré le processus de justice pénale traditionnel, est la plus courante (Hennessey, 2011)

Où ? Les évaluations disponibles ont été menées dans les pays précurseurs de la justice restaurative : le Canada, les États-Unis, le Royaume-Uni, la Nouvelle Zélande et l’Australie (Liebmann, 2007)

Quoi ? La plupart des évaluations concerne les médiations restauratives et les conférences restauratives, en tant que mesures alternatives aux systèmes pénaux, appliquées pour des crimes de faible gravité. Toutefois, de plus en plus souvent les évaluations portent sur les infractions les plus graves, pour lesquelles leurs bénéfices sont les plus importants (Service correctionnel du Canada, 2014)

Quand ? La temporalité est variable mais généralement l’évaluation est réalisée dans les deux ans suivant la mise ne place de l’intervention restaurative afin d’en mesurer au mieux les effets ainsi que leur évolution (Liebmann, 2007). La réalisation d’évaluations longitudinales est cependant fortement recommandée.

 

I.F.J.R, BP 70131, 64001 PAU CEDEX 01