Edifici de construcció cúbica, inicialment aïllada, amb jardí i hort.
Façana amb una gran porta adovellada, on s'entreveuen finestrals renaixentistes, i rematada amb gàrgoles de pedra. Als angles de la façana antigament hi havia unes garites. Originàriament al mig de l'edifici hi havia un pati obert i porticat amb la corresponent escala noble. Temps enrere, el Palau tenia adossat un ampli jardí i hort que arribava fins la muralla, amb sortida per un portal que és el del Castlà.
El Palau del Castlà va ser construït el segle XV, després de la Guerra Civil Catalana.
Durant la Guerra del Francès sofrí un incendi i alguns assalts amb motiu de les posteriors guerres carlines. En aquest moment es van instal·lar les presons de la vila a la planta baixa.
Bo.
- PORTA I BALANYÀ, Josep M.: Montblanc, Valls, Edicions Cossetània, 2000, pàgina 95.