Carles de Castellarnau se'n va a Tarragona, i el 14 de novembre de 1748 signa capítols matrimonials amb Maria de Magriñà i Porta. Visqué a la imperial ciutat, honoradíssim i considerat de tothom; i de tant en tant féu escapades a Alins, i es posà en contacte amb el rendiment de les fargues. Morí el 13 de maig de 1766 i deixà hereu Josep Antoni de Castellarnau i de Magriñà, el qual, nat en 1763, es casà als vint-i-dos anys, i per poders, amb María Antonia de Camps i de Font, gironina, i de la família dels actuals marqueses de Camps.
Josep Antoni de Castellarnau es converteix en un dels personatges més brillants, per no dir el més brillant, entre els cavallers tarragonins. Aquest besavi meu, me l'imagino més viu que la tinya. Perquè no es comprèn que amb les rendes d'Alins arribés a la fama i a l'opulència que va obtenir. Sembla que amb les seves anades a Madrid devia planejar més d'un negoci, i l'afavorí considerablement la seva amistat, que es diu que fou de debò, amb Manuel Godoy, Príncep de la Pau. De cavaller i propietari passà a fer l'ofici de banquer i a ell deu Tarragona el seu port, perquè primer obté la preferència tarragonina damunt la petició de Reus, que volia el port a Salou, i després contribuí a la seva construcció, i força; fins amb la seva fortuna personal. Llançà emprèstits i creà una rifa, amb la pròpia signatura com a garantia, per dur endavant les obres, i va fer venir molt ferro de les seves fargues d'Alins.
Llavors de la guerra napoleònica proporcionà mineral per a la defensa de la ciutat.
Fou alcalde segon i alcalde primer de Tarragona: li concediren la gran creu de Carles III. Ostentà la investidura de diputat provincial i a les Corts; assistí a les de Cadis; era Mestrant de Ronda atenent als seus privilegis de noblesa, i tresorer honorari de l'exèrcit.
A desgrat de tants mèrits, i de tanta empenta, Josep Antoni de Castellarnau i de Magriñà amb la guerra de la independència va rebre un cop molt fort. A Tarragona havia aconseguit fer marxar les coses; fou un patrici generós, potser massa; potser la glòria li va pujar una mica al cap, i, com que tenia un urc de cavaller, la seva fortuna se'n va ressentir. En moltes coses Josep Antoni demostrà que en lloc d'aquell temperament semític i conservador, com el de tants noms il·lustres del nostre segle XIX, posseïa un caràcter més aviat feudal i pirenaic, que el conduïa a Alins fent un viatge impossible, només que pel gust de clavar una bala de plom a la freixura d'un os.