A la mort du Père Joseph, Richelieu confia sa tristesse : « Je perds ma consolation et mon unique secours, mon confident et mon appui. »
Celui qu'on appelait l'
Eminence Grise fut le confident intime de Richelieu et même sans doute la seule personne pour qui le Cardinal éprouvât une réelle affection. Les deux hommes étaient si étroitement liés, il fut normal que les ennemis de Richelieu qui n'osaient pas s'attaquer à lui s'en prirent au Père Joseph qu'ils traitèrent « de bon père crevant d'ambition dans un sac de pénitence », de « religieux dévoyé, désireux de conserver son carrosse et sa bonne table », de « bourreau » ou d'« Araignée ».
Quelle que fut sa personnalité ou sa bonne volonté, le père Joseph n'aurait pu, mandaté par Richelieu, apporter du vin de Bourgogne aux Cadets mourrant de faim et de soif au siège d'Arras. Il avait pour cela la meilleure des raisons - ou la pire : il était mort depuis deux ans déjà...