Cet hôtel particulier est caractéristique des riches demeures grayloises du XVIe siècle : logis sur rue desservi par un escalier côté cour, allée cochère ici déportée, parcelle étendue à l’arrière comprenant communs, jardin et verger. La tour d’escalier, ou viorbe, est particulièrement remarquable par ses dimensions et son appareillage en pierre de taille.
Pour la petite histoire, Louis XIV bannit le marquis de Conflans qui gagna la Hollande.
Son hôtel revint aux Jésuites, ses voisins.