I lavori dell’imponente costruzione vennero avviati da Drogone d’Altavilla, figlio di Tancredi e fratellastro di Roberto il Guiscardo.
La data di fondazione è stata stabilita nel 1048 quando i normanni erano nel pieno periodo di conquista del sud Italia. La Torre dell’antica Argyrios (poi Argentanum) si presenta come un cono incastrato in una parte più larga chiamata “motta” ed era un presidio militare. Nel piano sotterraneo erano conservati i viveri, per questo motivo si chiama “sala della granaglie”. A salire, al secondo piano si trova la “sala delle prigioni”, al terzo “la sala delle armi” che coincide con l’ingresso al quale si accedeva tramite un ponticello e
delle scale, al quarto la “sala delle udienze” e al quinto la “sala del principe”. Dal terrazzo è possibile oltrepassare con lo sguardo una vasta vallata, fino ai monti del Pollino e alla Sibaritide. Si ipotizza che dalla Torre normanna partisse un lungo cunicolo che portasse all’Abbazia della Matina e si estendesse fino alla Torre della vicina Malvito, con la quale probabilmente era stata creata una rete difensiva.