Tras la muerte de Felipe V, la Reina Isabel de Farnesio residió en La Granja durante el reinado de Fernando VI (1746-1759). En estos años adquirió el llamado Coto de Riofrío, e inició la construcción de un nuevo Real Sitio. El bosque de Riofrío, con una extensión de 625 hectáreas, es un notable paraje natural, cercado con tapia de piedra y poblado de gamos y ciervos.

A diferencia de lo que ocurre con la mayoría de los palacios españoles, el de Riofrío es austero, sobrio, alejado de las formas del barroco. Algunos eruditos opinan que semeja la sencillez de la Plaza de San Pedro del Vaticano. El Palacio de Riofrío alberga en la actualidad un Museo de Caza. De tener que existir en la actualidad un museo dedicado a esta ancestral actividad, éste será probablemente el lugar apropiado para ello .