Segons els veïns, es tracta de restes d'una torre de l'antic castell (malgrat que no coincideix amb la ubicació proposada per Cortiella (1982, pàg. 24).
El castell va ser aixecat pels sarraïns i sols es conserven restes d'algunes de les entrades del castell i aquesta façana on s'aixeca una de les suposades torres.
Del castell de Vilaverd se'n tenen referències documentals des del segle XII. El 1148 fou conquerit per Ponç de Cervera, però degué quedar despoblat el 1155.
El lloc de Vilaverd es documenta per primer cop el 1155, quan Ramon Berenguer IV atorgà una carta de població als habitants de Duesaigües o Vilasalva i als de Vilaverd.
El rei Alfons I es desprengué del lloc el 1178, quan el donà a l'Arquebisbe de Tarragona a canvi d'uns drets que l'església de Tarragona tenia a Lleida.