Del castell de Savallà en queden avui gran part de les parets exteriors i alguns elements de la muralla perifèrica. A l'interior també hi queden alguns elements que permeten deduir la seva estructura. Accedint al castell hi trobarem restes de les torres de defensa de la muralla exterior del castell. La primitiva estructura del castell fou restaurada diversos cops. L'edifici actual és un castell bastit a la darreria del segle XV i al segle XVI, època en què fou habitat per la família Boixadors. Destaquen els finestrals gòtics i renaixentistes de les façanes. Al seu interior també s'hi poden observar fragments d'elements escultòrics i ornamentals que valdria la pena recollir i preservar.
El castell apareix esmentat documentalment per primer cop l'any 1043 com un dels límits del castell de Conesa. A finals del segle XI era propietat de la família Cervera. Al segle XII apareix esmentada la família Savallà, com a castlans del castell. Al segle XIV els propietaris eren la família Timor. El 1380 l'infant Joan vengué la jurisdicció de Savallà, les Piles, Guialmons i Rubió a Bernat de Boixadors, fill de Francesca de Timor, senyor de Savallà. A l'inici del s. XVI era castlà de Savallà Gaspar Desvall, el qual juntament amb la seva família vengué la castlania al monestir de Santes Creus l'any 1509. El senyoriu eminent estava en poder dels Boixadors, els quals aconseguiren de Felip II el 1599 el títol nobiliari de comtes de Savallà. Al s. XIX el senyorejava el comte de Peralada. Amb l'abandó per part dels comtes, el castell-palau s'anà deteriorant i patí greus desperfectes durant les guerres carlines.
Veure també la fitxa que fa referència a la capella castral de Santa Maria.
Finestres.
El conjunt es troba en un estat de degradació molt avançat, amb important risc d'esfondrament d'algun dels seus murs, malgrat les obres de consolidació que s'han anat realitzant aquests últims temps. Les últimes el 1980. Les torres perimetrals estan també en força mal estat i cal una actuació urgent.
La galeria i alguns elements del castell es conserven actualment al castell de Peralada.
DDAA. Els castells catalans. Barcelona. Rafael Dalmau. Volum IV, 1973, pàg. 341-351.