Edificio

El palacio es una de las variaciones de ventura Rodríguez sobre el mismo tema, una estructura tres veces más larga que alta, con quince ventanas y ejes de tres o cuatro pisos, en la que el arquitecto abandona los estilos preferentes de la época, acercándose a los trabajos contemporáneos de Ledoux.

El material principal utilizado es el ladrillo. Las fachadas poseen zócalos de piedra granítica, también empleada en los recercados de las puertas, ventanas y remates superiores.

Se sospecha que el actual palacio está emplazado sobre el antiguo palacio de las Dos Torres, antigua residencia del marquesado de Chinchón.

El palacio está orientado en dirección norte-sur y ocupa una superficie construida de 6.302,15 m². Tiene planta rectangular y se articula en tres cuerpos principales, levantados a tres alturas, a los que se suman dos cuerpos secundarios, de una sola altura, que flanquean los dos lados.

Cuenta con una capilla en la que se encuentra enterrada Doña María Teresa de Borbón y Vallabriga, condesa de Chinchón, en una urna cineraria al lado del Evangelio. También están aquí enterrados los Duques de San Fernando Doña María Luisa de Borbón y Vallabriga y Don Joaquín de Melgarejo y Abalos.

En la fachada principal  se encuentra una lápida conmemorativa con el año 1765 siendo este el año de su finalización. Junto a la fachada septentrional, se halla una fuente diseñada por Ventura Rodríguez, formada por tres nichos y pilastras toscanas.