En 1816, al inicio de la Restauración, Luis XVIII lo intercambió por el Palacio del Elíseo con Batilde de Orleans, duquesa de Borbón, quien lo cedió a una comunidad religiosa hasta su fallecimiento en 1822. Fue heredado por su sobrina nieta, Adelaida de Orleans, hermana del futuro Luis Felipe I de Francia