Part de l'antic castell reconvertit actualment en habitatges particulars. De l'antic castell se'n poden veure restes a les façanes de les cases particulars. En una paret d'una de les cases hi podem veure una finestra a la llinda de la qual hi consta l'any 1865 i una pedra amb el símbol JHS la data 1607 i una creu templera.
Formava part de la cadena castellera que defensava el comtat de Manresa. Degué ser bastit al s. XI, en el moment en què es conquerí l'indret. La primera notícia és del 1116. L'any 1191 Gombau d'Oluja (nebot ' de Pere I de Queralt - Timor) i la seva esposa concediren als templers el castell i la vila. Aquesta donació fou confirmada el 1196. Els templers de Barberà crearen al final del s. XII la sotscomada de Vallfogona. El 1199 s'incrementà el patrimoni amb la donació del lloc de palau (terres que actualment són del terme de Vallfogona), feta per Guillem de Montargull, que professà a l'orde. Passà als hospitalers, qui posseïren la vila i cap de comanda fins al 1811 (Vallfogona de Comalats). Als segles XVI i XVII encara estava en força bones condicions. Tenia muralles emmerletades i una gran torre angular a la que s'accedia per una barbacana fent pontet.
Restes d'un finestral actualment adossat.
Actualment s'hi han fet habitatges en algunes parts del castell, en els quals s'hi veuen algunes peces que formaren part del castell. La part que no hi ha habitatges està en ruïnes.
Conegut a la vila com Ca l'Eugeni.
Joan FUGUET. L'arquitectura dels templers a Catalunya. Rafael Dalmau Editor. Barcelona, 1995, pàg. 220-222.