À partir d’observations ethnographiques de contrôles et d’entretiens réalisés avec des inspecteurs de l’Éducation nationale du premier et du second degré, cet article interroge la fabrication du jugement des inspecteurs dans un contexte a priori éloigné de la forme scolaire, à savoir l’instruction dans la famille. L’analyse montre que le verdict institutionnellement attendu des inspecteurs à l’issue du contrôle est fondé sur deux opérations de jugement. Au-delà d’une appréciation sur d’éventuels dysfonctionnements familiaux ou des manquements d’instruction, reposant sur une suspicion de principe (jugement de normalité éducative), les inspecteurs appuient leur verdict sur leur connaissance spontanée du monde social et certains indices repérés lors de leur visite (jugement de validité pédagogique). En l’absence d’un temps long d’observation, en lien avec les contraintes de leur travail, les inspecteurs portent une attention particulière à certains détails et montrent un souci permanent de trouver une cohérence à la situation contrôlée. Le jugement inspectoral est en lui-même révélateur des relations ambivalentes, parfois tendues, entre l’institution scolaire et les familles qui se situent à sa marge.