El 1208 Guilla, senyora o castlana de Banyeres, juntament amb el seu vicarius  Miró de Castellvell, feia donació del turó de Nudias  a Guillema de Montcada i Bigorra, senyora de Castellvell i vescomtessa de Narbona, perquè hi edifiqués viles i fortaleses i els repoblés. La jurisdicció de Nulles va estar estretament lligada a la de Vallmoll i la seva baronia fins al segle XIX. Primer fou dels Montcada i d'aquests va passar als Foix. El 1365 depenia de Roger Bernat IV de Foix, vescomte de Castellbò i baró de Castellvell. Al s. XVII era dels comtes de Savallà, barons de Vallmoll.

Actualment només hi ha restes d'un mur de maçoneria de 10 x 3 m amb vestigis d'elements de defensa (espitlleres). El mur, que ara dóna a un jardí públic, és un dels costats del castell. La resta devia desaparèixer quan es va fer l'església de Sant Joan Baptista de Nulles.