dÉveloppement de l’instrument et validité

Parmi les buts du projet Qualité figurait la mise en place de l’instrument à visée pratique présenté ici. Cet instrument est fondé sur des études menées selon des méthodes scientifiques et sa validité est documentée. En cela, il se différencie des instruments créés par diverses institutions (écoles, centres de formation, groupes d’experts) qui ne cherchent pas à étudier la validité selon une procédure reconnue scientifiquement.

Il est essentiel de documenter la validité d’un instrument afin de s’assurer qu’il évalue effectivement les aspects que l’on souhaite examiner et non pas d’autres aspects, ce qui viendrait biaiser l’évaluation. La validité ne provient toutefois pas uniquement de l’instrument, mais de la façon dont les informations qu’il apporte sont interprétées et utilisées dans un but spécifique. Pour étudier cette validité, il s’agit de fournir des éléments de réponse à plusieurs questions qui, ensemble, révèlent cette validité, selon les lignes directrices de l’évaluation dans les domaines éducatif et psychologique (AERA, APA et NCME, 2014). Dans le cas des perceptions de la qualité de la formation professionnelle duale, les questions suivantes concernent la validité d’un instrument qui voudrait évaluer ces perceptions :

1.       Le contenu évalué est-il représentatif des diverses perceptions existantes à ce sujet ?

2.       L’instrument permet-il de distinguer les aspects de la qualité qui importent ?

3.       Les réponses des apprenti‐e‐s sont-elles associées à d’autres aspects de manière cohérente ?

A partir d’analyses thématiques et d’analyses statistiques, des éléments de réponse à ces diverses questions sont décrits ci-dessous.

1.  Le contenu évalué est-il représentatif des diverses perceptions existantes à ce sujet ?

Le projet Qualité a connu plusieurs étapes qui nous ont permis de définir les thèmes principaux décrivant la qualité dans la formation professionnelle initiale et duale suisse[SF1] . Ces éléments constituent les thèmes ou dimensions considérées dans le questionnaire. Nous avons résumé ces étapes dans le schéma suivant afin de retracer la genèse des thèmes.

Figure 1. Comment est-on arrivé aux thèmes décrivant la qualité de la formation professionnelle ?

  Agrandir

×

2.  L’instrument permet-il de distinguer les aspects de la qualité qui importent ? Identification et validité des thèmes décrivant la qualité de la formation professionnelle

Une analyse factorielle exploratoire a permis de distinguer treize dimensions (χ²₍₁₂₉₉₎ = 3573.30 ; p < .001 ; RMSEA = .04 ; CFI = .91). Le tableau 1 décrit les treize thèmes identifiés qui exposent la qualité perçue par les divers acteurs en formation professionnelle initiale duale.

Tableau 1. Thèmes identifiés décrivant la qualité de la formation professionnelle.

Le tableau 2 illustre le nombre d’items et la fiabilité (alpha de Cronbach, α) pour chacune des dimensions identifiées.

Tableau 2. Nombre d’items et fiabilité des dimensions de la qualité en formation professionnelle.

Les coefficients de cohérence interne, qui se situent entre α = .69 et .89, sont adéquats. Cela signifie que les énoncés utilisés offrent une mesure précise des diverses dimensions qu’ils décrivent.

Les corrélations entre les dimensions de l’instrument figurent dans le tableau 3.

Tableau 3. Corrélations entre les dimensions reflétant la qualité de la formation professionnelle.

Les corrélations entre les différentes dimensions caractérisant la qualité de la formation professionnelle nous permettent de dresser cinq constats :

1.   Les corrélations indiquent que les différentes dimensions sont largement distinctes, tout en étant au plus modérément associées.

2.   Les trois dimensions interlieux (1-3) se corrèlent non seulement entre elles, mais également avec les dimensions scolaires et professionnelles ;

3.   La plupart des dimensions relatives à l’école (4-8) sont significativement corrélées à celles relatives à l’entreprise (9-13) ;

4.   Les dimensions Charge de travail à l’école, Style d’enseignement contrôlant, Tâches indésirables et Traitement comme un‐e employé‐e se corrèlent négativement avec les autres dimensions, car elles reflètent des aspects plus « négatifs » de la qualité en formation professionnelle ;

Globalement, les corrélations montrent une cohérence élevée entre les différentes dimensions de la qualité. Cela signifie que les réponses ont été données de manière rigoureuse et que l’instrument présente une bonne validité.

3.  Les réponses des apprenti‐e‐s sont-elles associées à d’autres aspects de manière cohérente ?

Afin de vérifier les associations entre les réponses des apprenti‐e‐s et d’autres aspects mesurés, nous avons calculé différentes mesures d’association (corrélations).

i.        Satisfaction et intention de rompre le contrat d’apprentissage

Si les dimensions de la qualité de la formation évaluées sont importantes, alors elles devraient être associées aux deux aspects que sont la satisfaction de la situation d’apprenti‐e et l’éventuelle intention de résilier le contrat d’apprentissage.

Tableau 4. Corrélations entre dimensions de la qualité, satisfaction et intention de rompre le contrat d’apprentissage.

Dans le tableau 4, on observe que plus les dimensions de la qualité sont évaluées comme positives, plus la satisfaction de l’apprenti‐e est élevée et moins l’intention de résilier le contrat d’apprentissage est présente. Les corrélations entre les dimensions de la qualité en formation professionnelle et la satisfaction sont inversées par rapport à celles entre ces dimensions et l’intention de résilier le contrat d’apprentissage. Autrement dit, lorsque la corrélation est positive entre une dimension et la satisfaction, elle est négative pour l’intention de résilier le contrat.

En ce qui concerne les corrélations entre les caractéristiques de la qualité et l’intention de résilier le contrat, ce sont principalement les dimensions faisant référence à l’entreprise qui se corrèlent significativement. Parmi les dimensions scolaires, seules les deux « négatives » (charge de travail et contrôle) se corrèlent de manière significative avec cet aspect de la formation.

L’intitulé Encadrement et relations en entreprise est la caractéristique qui présente la corrélation positive la plus élevée avec la satisfaction et celle négative la plus élevée également avec l’intention de résilier le contrat d’apprentissage.

Ces résultats indiquent que les dimensions de la qualité perçue, telles que mesurées par l’instrument, ont un rôle à jouer dans la satisfaction et l’intention de résilier le contrat d’apprentissage.

Les corrélations révèlent que les aspects de la qualité relatifs à l’école et à l’interface entre formation à l’école et en entreprise sont liés à l’engagement à l’école. Ces corrélations sont logiquement négatives pour les dimensions « Charge de travail à l’école » et « Style d’enseignement contrôlant » : plus ces aspects de la qualité sont perçus comme présents et moins l’engagement scolaire est conséquent. Les aspects de la qualité relatifs à l’entreprise formatrice et à l’interface entre formation à l’école et en entreprise sont associés à l’engagement en entreprise, de nouveau de manière cohérente. Des corrélations négatives sont observées avec les aspects « Tâches indésirables » et « Traitement comme un‐e employé‐e ». Enfin, toutes les dimensions de la qualité sont liées à l’identité professionnelle. En résumé, ces corrélations soutiennent la pertinence des aspects de la qualité considérés dans l’instrument ; en effet, ces dimensions sont liées à des facettes positives de l’expérience des apprenti‐e‐s durant leur formation.

iii.        Sentiment de compétence

Les perceptions de la qualité sont-elles liées au sentiment de compétence des apprenti‐e‐s dans les contextes scolaire et professionnel (nommé sentiment d’efficacité personnelle en entreprise). Le tableau 6 montre les corrélations observées entre les dimensions de la qualité et les deux aspects du sentiment de compétence. Ces corrélations indiquent des liens significatifs et cohérents ; par exemple, plus les liens théorie-pratique sont vus comme prégnants, plus l’apprenti‐e tend à se sentir compétent‐e pour apprendre à l’école professionnelle et dans l’entreprise formatrice. Au contraire, plus la charge de travail à l’école, le style d’enseignement contrôlant et les tâches indésirables sont considérés comme élevés ou présents, moins l’apprenti‐e aura tendance à se sentir compétent‐e à l’école professionnelle ou dans l’entreprise formatrice.

En résumé, ces corrélations soutiennent la pertinence des dimensions de la qualité considérées dans l’instrument : en effet, ces dimensions sont liées aux sentiments de compétence des apprenti‐e‐s durant leur formation.

Tableau 6. Corrélations entre dimensions de la qualité et sentiment de compétence.

iv.        Motivations au choix de la formation

Enfin, ont également été étudiés les liens entre les perceptions de la qualité et divers types de motivations au choix de la formation. En effet, on pourrait se demander si les apprenti‐e‐s pourraient considérer la qualité de leur formation de manière différente selon les raisons qui les ont motivé‐e‐s à poursuivre cette formation. Trois types de motivations ont été considérées : a) les motivations autonomes concernent un choix de formation réalisé en cohérence avec ses propres intérêts et valeurs ; b) les motivations contrôlées sont liées à des facteurs relatifs aux conditions de travail dans le métier appris, aux pressions sociales dans le choix de la formation ou encore au caractère instrumental de la formation pour la carrière professionnelle ; c) les motivations par défaut révèlent un choix formatif réalisé à défaut d’autres possibilités, autrement dit un choix contraint par les conditions du marché des places d’apprentissage.

Le tableau 7 indique les corrélations entre les dimensions de la qualité et les trois types de motivations. Il en ressort des corrélations significatives comparables entre les dimensions de la qualité d’une part et les motivations autonomes et contrôlées d’autre part. Les motivations par défaut sont liées à une qualité perçue moindre sur presque toutes les dimensions. Ces résultats ne peuvent pas affirmer si ce sont les motivations au choix qui influencent la façon dont la qualité de la formation est perçue ou si ce sont les dimensions de la qualité qui influent sur les motivations.

Tableau 7. Corrélations entre dimensions de la qualité et motivation.

4.  Normes

Cette section présente les normes de l’instrument en trois parties : d’abord, celles des dimensions reflétant l’articulation entre les lieux de formation ; ensuite, les normes des dimensions faisant référence au contexte scolaire et, finalement, celles des dimensions liées à l’entreprise formatrice. Pour chaque groupe de dimensions, des informations indiquent les scores ainsi que l’interprétation pour chaque norme. Une indication visuelle sous forme d’histogrammes est également présente.

i.        Articulation des lieux de formation

Tableau 8. Intervalles des normes pour les dimensions reflétant l’articulation entre les lieux d’apprentissage.

ii.        Ecole professionnelle

Tableau 9. Intervalles des normes pour les dimensions « positives » du contexte scolaire.

N.B. Pour les dimensions Charge de travail à l’école et Style d’enseignement contrôlant, plus le score est élevé, plus l’aspect est perçu comme étant problématique.

Tableau 10. Intervalles des normes pour les dimensions « négatives » du contexte scolaire.

iii.        Entreprise formatrice

Tableau 11. Intervalles des normes pour les dimensions « positives » du contexte professionnel.

N.B. Pour les dimensions Tâches indésirables et Traitement comme un‐e employé‐e, plus le score est élevé, plus l’aspect est perçu comme étant problématique.

Tableau 12. Intervalles des normes pour les dimensions « négatives » du contexte professionnel.

4.  BIBLIOGRAPHIE

Berger, J. L., & Lê Van, K. (2019). Teacher professional identity as multidimensional: mapping its components and examining their associations with general pedagogical beliefs. Educational Studies, 45(2), 163-181. https://doi.org/10.1080/03055698.2018.1446324

Berger, J.-L., Wenger, M., & Sauli, F. (2019). How the perceived quality of in-company training matters: A study with apprentices in technical and retail occupations. In F. Marhuenda & M. J. Chisvert-Tarazona (Eds.), Pedagogical concerns and market demands in VET. Proceedings of the 3rd Crossing Boundaries in VET conference, Vocational Education and Training Network (VETNET) (pp.187-194). https://doi.org/10.5281/zenodo.2641022

Berger, J.-L., Wenger, M., & Sauli, F. (2020). Echelle des motivations au choix d’une formation professionnelle initiale et duale. (Document non publié.)

Diener E., Emmons R. A., Larsen R. J., & Griffin S. (1985). The Satisfaction With Life Scale. Journal of Personality Assessement, 49, 71-76. https://doi.org/10.1207/s15327752jpa4901_13

Galand, B., Bourgeois, E., & Frenay, M. (2002). Développement et validation d’un outil de mesure permettant d’évaluer l’effet d’un dispositif pédagogique. In Actes du 19ème Colloque de l’Association Internationale de Pédagogie Universitaire. Institut de pédagogie universitaire et des multimédias.

Galand, B., & Vanlede, M. (2004). Le sentiment d'efficacité personnelle dans l'apprentissage et la formation: quel rôle joue-t-il? D'où vient-il? Comment intervenir? Savoirs, (5), 91-116.

Karabenick, S. A., & Maehr. M. L. (2007). MSP-Motivation Assessment Program. Final Report to the National Science Foundation. University of Michigan.

Rigotti, T., Schyns, B., & Mohr, G. (2008). A short version of the occupational self-efficacy scale: Structural and construct validity across five countries. Journal of Career Assessment, 16(2), 238-255. https://doi.org/10.1177%2F1069072707305763

Schaufeli, W. B., Bakker, A. B., & Salanova, M. (2006). The measurement of work engagement with a short questionnaire: A cross-national study. Educational and psychological measurement, 66(4), 701-716. https://doi.org/10.1177%2F0013164405282471

Skinner, E., Furrer, C., Marchand, G., & Kindermann, T. (2008). Engagement and disaffection in the classroom: Part of a larger motivational dynamic? Journal of educational psychology, 100(4), 765. https://doi.org/10.1037/a0012840