Se construyó el Castillo de Priorio en una colina que se eleva sobre los ríos Gafo y Nalón. Su ubicación tiene un importante valor estratégico que no pasó desapercibido para las poblaciones prerromanas que también eligieron este lugar para establecer un recinto castreño. No se sabe la fecha exacta de la construcción del castillo de Priorio. Si bien Alfonso II se refugió en él cuando, desde el Puerto de Ventana y el valle de Quirós, huía hacia Oviedo escapando de los hombres que Hixem I envió en el año 795 contra el Reino Asturiano. Desconocemos datos sobre la planta de este primitivo castillo. Posteriormente, pasó a propiedad de la mitra ovetense. Pero, ante los distintos abusos que ejercieron sobre la población circundante los caballeros que en él vivían, Fernando IV en 1306 ordenó su destrucción. Ésta no se llevó a cabo y la iglesia conservó su propiedad y acometió diversas obras. En el siglo XV cambió su funcionalidad bélica para convertirse en casa de recreo de los obispos. De este castillo del siglo XV tenemos algunas referencias sobre su estructura puesto que sabemos que se realizaron reparaciones en las dos torres y en el cubo. Probablemente, a esta etapa constructiva o en fecha un poco posterior, pertenezcan las murallas y portada que aún hoy día delimitan la finca. Paulatinamente debió ir perdiendo importancia puesto que en 1865 fue adquirido en estado ruinoso por Ramón Secades. Su hijo, Ángel Custodio acometió una gran reforma que dio al castillo el aspecto actual. Partiendo de una de las cuatro torres primitivas que cerraban con muros el patio de armas antiguo, se construyeron dos torres coronadas con almenas y cubos en las que se abren varios balcones y ventanas ojivales. Entre ambas torres se levantó un cuerpo intermedio de inferior altura. El conjunto, de líneas más elegantes y esbeltas que las de otros palacios asturianos, es un ejemplo de construcción historicista y romántica inspirada en los castillos medievales castellanos.