Edificato nella prima meta' del secolo XV su una preesistente struttura dal signore di Vasto Giacomo Caldora, il castello sostenne nel 1464 un assedio durato tre mesi contro le truppe di re Ferdinando I d'Aragona. Adibito a tribunale e a carcere tra 1605 e 1697, restaurato e rafforzato nel 1713, è stato utilizzato verso la meta' dell'Ottocento come abitazione per privati. Il complesso presenta una pianta quadrilatera determinata da quattro fabbricati a base scoscesa disposti intorno ad un cortile rettangolare. Ai potenti bastioni cilindrici originali sono state aggiunte nel 1439 tre punte sporgenti quadrangolari.
Risultano ancora visibili nelle mura le cannoniere e le feritoie per le colubrine. Il Castello Caldoresco, edificato sulla collina su cui si adagia la città alta, in un punto da cui si domina la marina, è un monumento dalla lunga e articolata storia costruttiva. All'impianto originario, risalente alla fine del XIV secolo e inizi del seguente, sarebbe da ascrivere la prima struttura a pianta quadrata con torri angolari cilindriche ( ne rimangono solo due), articolata intorno ad un cortile centrale, secondo un modello risalente all'architettura militare svevo-angioina. In seguito a distruzioni subite dalla popolazione vastese nel corso dei tumulti del XV secolo, il castello venne fortemente rimaneggiato sul finire dello stesso secolo da Innico D'Avalos , al quale si devono molti degli interventi che hanno conferito alla costruzione l'aspetto attuale. In questo periodo infatti, il forte viene trasformato e rinforzato da grandi bastioni angolari a mandorla (oggi ne rimangono solo tre dei quattro originari) e irrobustito da più spesse cortine murarie, coronate da apparato a sporgere continuo su beccatelli.
L'adozione dei bastioni a mandorla, indica la volontà del committente di "aggiornare" la costruzione secondo le più recenti ed efficaci tecniche difensive: questo tipo di rinforzo angolare è infatti particolarmente resistente agli assalti, attenuando fortemente la vulnerabilità di questi punti. Oggi il forte si presenta dunque come un monumento "palinsesto", con le bastionature aragonesi che avvolgono il precedente nucleo angioino e con superfetazioni e sopraelevazioni esterne, iniziate a partire dal XVIII secolo, che hanno via via privato la struttura del suo uso e dunque del suo aspetto militare, per adeguarlo alle funzioni residenziali. Oggi il Castello Caldoresco è in parte adibito a scopi residenziali, in parte ad uso commerciale.
