Joseph a tout juste dix ans lorsque son père rentre à Paris, accompagné de Nanon et de Joseph. Très vite, l’éducation du jeune mulâtre est confiée aux meilleurs précepteurs.
La Boëssière le plus brillant maître d’armes du moment lui enseigne l’escrime, mais aussi la littérature.
Le chevalier Dugast qui ne reçoit en principe que des fils de la haute aristocratie le perfectionne en équitation.
Grand (1m80, ce qui est exceptionnel pour l’époque), exceptionnellement beau et d’une élégance raffiné, Joseph s’impose vite comme le meilleur escrimeur du royaume et l’un des meilleurs cavaliers. A moins de vingt ans, il devient la personnalité-phare de ce Paris enjoué où les nouveaux riches engloutissent des fortunes colossales dans la construction d’hôtels fastueux et dans les fêtes.