Il nucleo storico cittadino ha conservato l'originario impianto a scacchiera voluto nel 1256 dal re Manfredi, fondatore della città. Per difendere i suoi sudditi dalle frequenti incursioni saracene, il figlio di Federico Il eresse anche il poderoso castello sul mare. Il maniero venne completato da Carlo I d'Angiò, poi, nel Cinquecento, venne ulteriormente ampliato dagli spagnoli. Oggi la fortezza ospita il Museo archeologico Nazionale del Gargano, in cui sono esposti millecinquecento esemplari di stele daunie, una delle più importanti testimonianze di arte protostorica italiana. Bella anche la Cattedrale barocca, eretta nel 1680 per volere di papa Benedetto XIII sulle rovine di un edificio gotico distrutto dai turchi.