El castell era situat a la part alta de la vila, on hi ha una esplanada de 45 m de llarg per uns 28 m d'ample. Fins a primers del segle XX hi havia hagut unes importants restes del castell medieval. D'aquest castell només queden les parets d'un angle, a l'extrem NE, amb una alçada de 10 m. També veiem algunes filades de carreus al costat occidental. A la banda meridional, vers on hi ha el poble, veiem un portal fet en una època medieval tardana i diverses restes de muralles. També es conserva una immensa cisterna. D'acord amb allò que podem veure en fotografies fetes cap als anys 1880, quan la fortificació es conservava gairebé sencera, aquest edifici era un castell-palau construït als darrers segles medievals. Destacava per les seves grans muralles i torres de defensa, de forma quadrada i algunes altres rodones, merlets amb matacans i pati central.
La primera referència documental apareix el 1038 i el 1058 en un document que es considera fals en què el comte Ramon Berenguer I i la seva muller Almodis feren donació del puig de Forès a Miró Foguet i Bernat Llop per tal que hi edifiquessin un castell. Hom sol considerar com el primer document un de l'any 1076 quan entre les afrontacions de la quadra d'Ollers es consigna "ipso castro de Olivela". Pel que fa al llinatge dels Solivella, no se'n té cap notícia fins a Pere d'Olivella (o Solivella), que el 1204 actua com a testimoni en la cessió que fa Guillem de Puigverd al monestir de Poblet d'una part de les rendes de les Piles. El 1284 és esmentat un Ponç de Solivella com a marmessor del testament de Queralt. Segons JM Sans Travé, el castell de Solivella, al s. XIII era senyorejat per la família Puigverd, i posteriorment passà als Anglesola mitjançant l'aliança matrimonial d'Elvira de Puigverd amb Berenguer Arnau d'Anglesola. A l'inici del s. XIV, el monestir de Santes Creus comprà als marmessors de Ramon d'Anglesola el castell de Solivella per 50.000 sous. Tot i això, els successors del dit noble recorregueren aquesta compra davant el rei Jaume II, que sentencià que l'esmentat castell fos retornat als hereus de Ramon d'Anglesola i que el monestir recuperés els diners esmerçats. El 1324 Sibil.la d'Anglesola, vídua de Ramon d'Anglesola. El 9 de setembre de 1424 el rei Alfons "el Magnànim" vengué el castell a Ramon Berenguer de Llorac per 16.000 sous barcelonesos. Els Llorac el convertiren en un castell-palau. Els successors de Ramon Berenguer I de Llorac el posseïren durant mes de tres segles. El 1772 el castell i la vila eren propietat dels Despujol. La decadència del castell s'esdevingué entre 1830 i 1840. El 19 de març de 1870 fou venut als propietaris de Solivella Tomàs Español Travé, Francesc Casamitjana Andreu i Josep Armengol Farré. El 1882 la majoria dels sostres eren enterrats. El 1912 els titulars del castell eren els germans Enric i Frederic Travé Escardó i Frederic Garcia Salas, que en feren donació a l'Ajuntament.
BCIN Decret 22/04/1949
BOE 05/05/1949
En restauració
-Martinell, C.: L'art català. Barcelona 1953, p.276.
-VV.AA.: Els castells catalans, vol.IV, Ed. Dalmau, Barcelona, 1973, pp. 355-363.
- E. Capdevila: "Solivella. Visió històrica d'una Vila Centenària" a "Gira-Sol" [Solivella]. núm. 75 (tardor-hivern 1999), pàg. 23.