Sortint de la Fosca, camino per un camí de ronda escortat en el primer tram de cases. Poc després s'alça el castell de Sant Esteve, en un estat ruïnós que contrasta amb el seu pes històric. Segons sembla, el castell es va fer sobre una construcció romana que, anteriorment, per allò dels palimpsestos de la història, havia ocupat l'espai d'un poblat iber. Arnau sa Bruguera, primer alcalde de Palamós, el va comprar el 1277 en nom del rei, i durant els segles XV i XVI va ser una fortalesa contra els pirates.