Dès 1824, la demeure sera habitée par Hippolyte Boutet, dite Mlle Mars (1779-1847 et sa famille. C’est ici qu’elle recevait son amant depuis dix ans, le colonel Fortuné de Brack, à qui elle louait un logement proche de son hôtel, au n° 54, rue Saint-Lazare. Leur séparation fit d’ailleurs grand bruit, lorsque le colonel la quitta lors d’un dîner.
Folle du brillant soldat d’Empire, celui-ci l’humilia pourtant, avant de la quitter de lamentable façon. Se voyant négligée par lui, l’actrice lui posa chaque soir un poignard et une fiole de poison sur la table de nuit. Régnait dans cette société discrète le comte Charles de Mornay un de ses soupirants, le compagnon de route de Delacroix au Maroc, un dandy fauché comme les blés, lequel héritera à la mort de l’actrice, une somme de 40.000 francs qu’il refusera. Affligé par la perte de sa maîtresse, le comte se contenta de décrocher un portrait d’elle et de l’emporter.
Sans doute séduite par ces grands espaces verts, l’actrice possédant d’autres demeures parisiennes, elle fit faire des travaux de transformations, et dans son jardin, fit installer par l’architecte Louis Visconti (1791-1853), une vasque provenant de la Malmaison, et offerte par Napoléon à l’inimitable actrice. L’œuvre était surmontée d’une copie de l’Amour du sculpteur Antoine Denis Chaudet (1763-1810).
A l’extrémité du jardin une avenue plantée d’arbres descendait jusqu’à une porte cochère s’ouvrant au n° 52 de la rue Saint-Lazare. C’est par cette entrée, que des soirs de fêtes, des équipages déversaient d’illustres gloires de la littérature et de la politique, de nombreux admirateurs et de courtisans de l’actrice.
