Le dernier rapport bimensuel de M. le Proviseur du Lycée Buffon contient au sujet de M. Hadamard la note suivante.
«Les classes de M. Hadamard laissent de plus en plus à désirer. Aucun souci des intérêts moraux des élèves petits et grands. Aucune autorité sur eux. Une discipline cassante et capricieuse. Des plaintes continuelles et des demandes de punition faciles à éviter avec un peu de fermeté et de bonté sérieuse. Nulle préparation pratique des classes. M. Hadamard se croit dispensé de tout par ses remarquables aptitudes mathématiques. Plus nous allons, plus nous sacrifions le bien public aux convenances personnelles de ce jeune savant».
J'invite M. l'Inspecteur d'Académie Piéron à voir la classe de M. Hadamard. J'aurai l'honneur de vous rendre compte.
Je suis avec respect, M. le Ministre, votre très humble et très obéissant serviteur.
Comme le dit Paul Montel,
Heureusement, une admirable compagne veillait sur lui. Madame Hadamard avait tout de suite compris le rôle qu'elle pouvait jouer auprès d'un homme de génie. Avec une générosité constante, elle a su protéger son travail. D'une grande intelligence, la Mathématique agissait sur elle comme par induction.Qualifiée par Mittag-Leffler de «secrétaire admirable et infatigable», elle débarrassa son mari de toute contingence matérielle, et se chargea de sa correspondance et de ses écrits. Hadamard lui dictait en sténo ses lettres et ses articles, lui indiquant simplement les espaces qu'elle devait laisser pour les formules mathématiques. La vie n'a pourtant pas épargné le couple. Leurs deux fils aînés étaient morts à quelques semaines d'intervalle à Verdun en 1916. Leur troisième fils devait mourir durant la seconde guerre mondiale. Ni la célébrité du père, ni le sacrifice des fils n'empêchèrent la famille d'être victime des persécutions anti-juives de Vichy, et de devoir s'exiler en 1941. À son arrivée aux États-Unis, Hadamard est d'abord nommé sur un poste de professeur invité à l'Université de Columbia à New-York. Mais la guerre se prolonge et Hadamard doit chercher un travail pour nourrir sa famille. Il a beau être célèbre, il a tout de même 77 ans et les scientifiques européens sont nombreux à chercher du travail. Son neveu Laurent Schwartz rapporte l'anecdote suivante.
Il arriva dans une petite université et fut reçu par le directeur du département de mathématiques. Il expliqua qui il était et remit son Curriculum Vitæ. Le directeur lui dit : «Nos possibilités sont limitées et je ne peux pas vous promettre de vous prendre».
Hadamard remarqua que parmi les portraits accrochés au mur figurait le sien. «C'est moi» dit-il. «Bien, revenez la semaine prochaine». Lorsqu'il se présenta, la réponse était négative et son portrait avait été enlevé.