여론의 횡포가 가장 깊고 조용하게 작동하는 형태가 바로 관습이다. 밀은 "관습의 독재는 인류 발전의 영구적 장애물"이라고 단언하며, 종교와 교육이라는 두 영역에서 이를 구체적으로 해부한다. 특히 국가가 주도하는 획일적 교육은 다양성을 뿌리째 잘라내는 가장 위험한 형태의 관습적 독재다. 교육의 다양성은 교육 방법론의 문제가 아니라, 자유 사회가 존재하기 위한 근본 조건이다.