El castell forma un pla fortificat que s'estén fins a ocupar tot el cim del turó. Aquest recinte, de planta quadrangular (32x35 m aprox.), és delimitat per una muralla perimètrica de la qual sobresurten en els panys nord-oest i oest dues bestorres semicirculars. La part nord del recinte, la més vulnerable a causa del poc desnivell del terreny, és defensada exteriorment per un vall excavat a la roca. A la part central, el punt més elevat del turó, s'aixequen les restes d'una torre de planta circular, de 6 metres de diàmetre exterior. La resta d'estructures situades dins el recinte semblen distribuir-se atenent a la posició central d'aquesta torre. l'únic edifici que ha conservat definida la seva estructura se situa a l'extrem sud del recinte. De planta rectangular (9x20 m mides externes) i orientat est-oest, presenta una fàbrica elaborada. La façana principal se situa en el mur de migdia, on s'obre la porta d'ingrés i una finestra situada just al seu damunt. El fet que determina de forma inequívoca la seva caracterització com a església és l'existència d'una necròpolis en el pla de davant la façana principal.
El castell de Pontils, com la resta de castells del curs alt del Gaià, fou bastit el segle X, tot i que en desconeixem la data. És l'any 976 quan tronem la primera menció documental, com a terme adjacent al castell de Queralt. El castell de Pontils, tot i trobar-se en un territori repoblat bàsicament per iniciativa particular, havia d'ésser del domini dels comtes de Barcelona, ja que l'any 1057, Ermessenda, vídua del comte Ramon Borrell, vengué a Ramon Berenguer I i Almodis, entre d'altres propietats, el castrum de Pontils amb totes les seves pertinences i els seus termes. El predomini dels Cervelló, com a feudataris dels comtes de Barcelona, sobre el castell i lloc de Pontils continuaria al llarg de tot el segle XII. De tota manera, els Cervelló degueren infeudar, al seu torn, la castlania d'aquest castell a d'altres senyors. Així, el 1132, Alari de Timor féu cessió d'alguns castells al seu fill Ramon, entre els quals s'esmentava el de Pontils amb tots els seus termes i pertinences.
l'any 1200 el rei Pere I cedí els castells de Montagut, Pontils i Montclar a Berenguera, vídua de Guerau Alemany V de Cervelló, amb la condició que no donés cap mena d'auxili al seu fill Ramon Alemany fins que aquest no hagués resolt les diferències que tenia amb l'esmentat monarca.
Al segle XIV el castell de Pontils era senyorejat pel noble Guillem Ramon de Cervelló tal com consta en el fogatjament dels anys 1365-70. Entre els segles XVI i XVII consta com a senyor de Pontils el primer comte de Savallà, Bernat de Boixadors, casat amb la baronessa de Vallmoll, Elisabet de Pacs i de Burgués. Posteriorment, al segle XVIII, el lloc i castell de Pontils era senyorejat pel marquès d'Aitona, i restà sota el domini d'aquesta família fins a la desamortització del segle XIX.