5.4. Comment mesurer
Planifier une évaluation
Lorsque l’on met en place un mécanisme d’évaluation, il convient d’une part d’observer comment d’autres services de logement d’abord (ou d’autres stratégies ou programmes basés sur cette approche) sont évalués et d’autre part, de voir quelles sont les critiques formulées à l’encontre de ces évaluations. Internet est une bonne source d’informations et des ressources telles que Google Scholar peuvent fournir des informations sur les évaluations qui ont été menées et permettent d’avoir accès à certaines ressources gratuites. Les évaluations les plus importantes du logement d’abord, qui sont souvent réalisées avec l’appui de grands organismes financés par l’argent public, sont souvent disponibles gratuitement sur Internet. Certaines orientations en matière d’évaluation sont également disponibles dans le Guide sur l’approche Logement d’abord au Canada((http://www.housingfirsttoolkit.ca/fr/évaluer)).
L’évaluation peut être comparative, ce qui peut impliquer des essais expérimentaux ou des essais randomisés et contrôlés, dans le cadre desquels on contrôle deux groupes appariés (il est souhaitable d’avoir au moins 100 personnes dans chaque groupe). Un groupe intègre un service de logement d’abord et l’autre a recours aux services d’aide aux personnes sans domicile existants. Sur une période d’un an ou plus, on compare les résultats obtenus auprès des usagers du logement d’abord avec ceux des personnes sans domicile qui ont recours aux services existants d’aide aux sans-abri. Ces comparaisons coûtent cher, mais elles permettent de produire des données probantes de grande qualité si elles sont soigneusement conçues et si elles sont précises. On a utilisé des essais randomisés contrôlés (ERC) de ce type pour tester les programmes basés sur le logement d’abord en France et au Canada et ils ont permis de faire état de résultats très positifs (voir le chapitre 1).
Le logement d’abord a également été évalué via l’utilisation d’un groupe témoin, ou par le biais d’une recherche quasi expérimentale. Á nouveau, ces évaluations permettent de comparer un groupe qui intègre un service de logement d’abord à un autre groupe ayant recours aux services existants d’aide aux personnes sans domicile, mais les groupes ne sont pas parfaitement appariés et peuvent être de plus petite taille. Ces évaluations peuvent être intéressantes, mais elles apportent un niveau de preuve moins élevé.
Nombre d’évaluations du logement d’abord sont basées sur l’observation, c’est-à-dire que l’on observe les personnes qui utilisent un service de logement d’abord et l’on évalue l’efficacité du service en termes de traitement du sans-abrisme, d’amélioration de la santé et du bien-être et de progrès réalisés en matière d’intégration sociale de ces personnes (p.ex. le fait de participer à la vie du quartier, d’avoir le soutien de ses amis, de sa famille et d’un compagnon/d’une compagne, voir 5.3). Cette approche de l’évaluation permet de générer des données probantes utiles et convaincantes, mais le manque de comparaison directe avec d’autres services d’aide aux personnes sans domicile peut rendre les résultats moins convaincants que les résultats des évaluations basées sur des ERC ou sur une approche quasi expérimentale.
Il est très important d’envisager soigneusement les ressources et les objectifs d’une évaluation. Cela implique de bien réfléchir à ce que l’on teste par le biais de l’évaluation, aux arguments qui peuvent être utilisés, au temps et à l’argent disponibles et aux critiques qui pourraient être formulées eu égard aux résultats. On décrit souvent les ERC comme les meilleures formes possibles d’évaluation, mais elles font malgré tout l’objet de critiques et on peut en réfuter les résultats, en particulier si l’on observe un problème dans leur conception ou qu’ils manquent de précision. Une ERC ne peut pas être réalisée à moindre coût et implique beaucoup de ressources si l’on veut qu’elle soit vraiment convaincante. De même, une approche basée sur l’observation, bien moins chère, comporte certaines limites, mais peut toutefois être très convaincante.
Un autre point à prendre en considération concerne la personne responsable de l’évaluation. Une évaluation aura probablement moins d’impact si elle est réalisée par l’organisme qui fournit un service de logement d’abord que si elle est réalisée par des chercheurs indépendants. Cela ne veut pas dire qu’une évaluation interne (une évaluation des services de logement d’abord réalisée par les personnes qui fournissent le service de logement d’abord) est sans valeur. Les données probantes issues d’une évaluation interne de bonne qualité peuvent tout de même avoir un impact mais ce type d’évaluation a moins de chance de mettre en lumière des problèmes.
Les évaluations doivent toujours inclure les réactions des usagers des services de logement d’abord. Donner clairement la parole aux usagers permet d’identifier et de corriger les lacunes d’un service de logement d’abord. De même, quand le logement d’abord fonctionne bien, les usagers en ont une compréhension détaillée. Ils connaissent les bonnes pratiques dont on peut tirer des leçons et que l’on peut partager. Il est utile que les usagers des services de logement d’abord puissent participer aux évaluations pour les raisons suivantes:
- Les personnes sans domicile sont des experts de par leur expérience ; elles comprennent mieux que quiconque leurs propres besoins et le type d’accompagnement qui leur est nécessaire. Le point de vue des usagers sur le fonctionnement d’un service de logement d’abord constitue une part importante d’une évaluation. On comprend mieux les forces comme les limites d’un service de logement d’abord en parlant aux personnes qui l’utilisent.
- L’expérience directe des personnes sans domicile qui ont recours au logement d’abord est une manière très efficace d’évoquer l’efficacité de cette approche, quand cette dernière fonctionne bien. On peut utiliser des statistiques pour défendre le logement d’abord, mais on la défendra mieux si l’opinion positive des usagers est combinée à des données statistiques probantes.
L’utilisation de méthodes qualitatives, à savoir le fait de poser des questions ouvertes à des usagers de services de logement d’abord, ce qui leur permet et les encourage à exprimer leur opinion, est la meilleure manière de recourir à leur expérience. On peut également recueillir leur opinion via des enquêtes, mais il est important que celles-ci soient conçues en tenant compte de l’avis des usagers dont le point de vue sur le type de questions qu’il convient de poser est très utile.
La manière de procéder à une évaluation dépend des objectifs plus larges du logement d’abord. Si l’on teste le logement d’abord pour la première fois dans un pays, une région ou une municipalité en particulier, il est logique d’utiliser des approches ECR ou comparatives. Quand cela n’a pas encore été fait, le logement d’abord doit être testé en termes de performance par rapport aux services existants d’aide aux personnes sans domicile. En fonction des résultats de cette évaluation, le logement d’abord peut alors être utilisé à plus large échelle.
Si les données sont suffisamment probantes, si elles se basent sur une évaluation au niveau local ou sur une base de données internationales, on peut décider qu’il n’est pas nécessaire d’effectuer une évaluation comparative des services de logement d’abord. On peut plutôt évaluer les résultats afin de s’assurer que le service de logement d’abord permet d’obtenir les résultats attendus et de pointer les éventuels problèmes.
L’évaluation doit également être proportionnée. Une évaluation relativement coûteuse, telle qu’une évaluation de type ECR, n’est vraiment utile que si l’on étudie un service ou un programme de logement d’abord de grande envergure, mais cela ne convient pas pour tester un seul service de logement d’abord de petite taille. En effet, pour que les résultats d’un ECR soient solides, il convient d’étudier au moins 200 personnes (100 personnes dans un service de logement d’abord et 100 autres dans d’autres services). Les études comparatives de services de logement d’abord uniques restent très précieuses, mais les services de petite échelle, qui comptent par exemple 20 usagers peuvent également être évalués par le biais d’approches quasi expérimentales ou fondées sur l’observation.