Sembla que el castell només devia ésser una simple torre, de la qual no resta cap vestigi visible, i tan sols ha quedat el seu record en el topònim de l'indret que ocupava, anomenat "la Torre".
Actualment es conserven algunes arcades adossades als edificis actuals. Aquestes arcades són fetes amb dovelles y lleugerament apuntades. També es conserven alguns carreus originals en les cantonades dels nous edificis.
El lloc de Blancafort (possible disseminat als peus del Tallat) figurava esmentat tardanament en les escriptures medievals, tot i que és probable que ja tingués un petit nucli habitat a mitjan segle XII.
Una de les primeres mencions documentals on figura el castell de Blancafort data de l'any 1207, en una escriptura per la qual Arnau de Fitor i Pere Romeu donaren al monestir de Poblet un cens anual de 2 sous sobre les cases que Pere Drula tenia en el terme del "castro Blanchafort".
Tanmateix, al llarg de la Baixa Edat Mitjana, el lloc amb el seu castell romangueren sota la sobirania de la monarquia, tot formant part de la batllia de Montblanc i consta que l'any 1359 tenia 66 focs.
Posteriorment, el 1387, quan el rei Joan I creà el Ducat de Montblanc a favor del seu germà Martí, Blancafort passà a formar part d'aquesta circumscripció territorial i els seus habitants hagueren de participar econòmicament, malgrat les protestes, en la construcció de les muralles de Montblanc.
Respecte al seu castell, hom sap que l'any 1439 n'era batlle Jaume Gilart, el qual s'adreçà als consellers barcelonins sobre la qüestió del trànsit de bestiar per les terres del poble.
Al segle XVIII els vilatans de Blancafort satisfeien delmes a la vila de Montblanc, al seu castlà, a la mitra de Tarragona i al monestir de Vallbona de les Monges, tot i que estaven sota jurisdicció reial.
Desaparegut.