Los orígenes de este palacio se remontan al año 1405, cuando el rey Enrique III de Castilla ordenó la construcción de una Casa Real en el Monte de El Pardo, lugar que el monarca frecuentaba, dada su riqueza cinegética. Enrique IV, por su parte, edificó sobre la misma un pequeño castillo.