Il Castello sorto attorno al XII sec. fu fatto costruire dai monaci della Badia di San Tommaso per difendersi dalle scorrerie di soldati e predoni, frequenti nella vallata dopo la disgregazione del mondo feudale. L'Abate di San Tommaso ne farà la sua residenza abituale amministrando i molti uffici al riparo delle possenti mura. Per l'importanza strategica illustri famiglie si contesero il Castello: I Malatesta, signori di Pesaro, innalzarono la Rocca, gli Sforza restaurarono le mura e costruirono il piccolo torrione di levante, voluto dal giovane Costanzo che qui amava soggiornare e che vi mori nel 1483. Una suggestiva passeggiata nel folto della vegetazione permetterà di riscoprire antichi ruderi e il torrione restaurato, dal quale si gode uno splendido panorama.