El emperador Felipe II fue un príncipe del Renacimiento, amante de las ciencias y de las artes, y apasionado de la jardinería. Por un lado, rodeó de jardines el antiguo alcázar madrileño (jardines del Rey, de la Reina, de las Infantas, del Cierzo, del Campo del Moro y de la Casa de Campo) pero también llenó de jardines su residencia de El Escorial. Aparte de los que todo el mundo conoce: Jardín de los Monjes y jardines de la Herrería, hubo otros muy interesantes. Algunos convertidos en fincas privadas, y otros desaparecidos.

El palacio y jardines de la Fresneda, también conocidos como La Granjilla se construyeron entre 1561 y 1569. Se trataba de un jardín privado para la familia real. Previamente se compraron las fincas de cinco propietarios locales.

Felipe II desplegó aquí su gran afición a la botánica, a las plantas venidas de otros continentes, a los árboles y a las plantas medicinales. También a los ingenios hidráulicos. Al igual que otros jardines del Renacimiento, el paisajismo respondía a trazados geométricos muy estudiados buscando la armonía y la perfección para que los jardines fueran testimonio de la obra de Dios en el mundo.

El monarca quiso que el jardín de la fresneda fuera una evocación del Paraíso Terrenal de la Biblia. El arquitecto real Juan Bautista de Toledo llevó a cabo el diseño de las casas y los jardines. Aparte de la Casa de los reyes se hizo un convento. Todo ello en un sobrio estilo herreriano.

Estas 148 hectáreas fueron cuidadas por los monjes de El Escorial, que fueron quienes más las utilizaron. De ahí que la casa principal se conozca como Casa de los Frailes.

Pero esta vinculación a los frailes fue la causa de su subasta pública tras la Desamortización de Mendizábal, en la que la finca fue dividida en varios trozos vendidos s diferentes propietarios.

Afortunadamente, la parte principal de la finca se salvó, y hoy está destinada a la celebración de eventos y bodas.