El nou emplaçament, però, plantejava un problema que explica el 1954, a la revista S'Agaró, Josep Ensesa i Gubert, fill del primer propietari: «Donava la casualitat que al costat, d'aquell lloc que havia triat Masó, en una propietat veïna de la nostra, existia de feia temps un cobert utilitzat per guardar-hi els ramats de cabres que pasturaven per aquells erms. La pudor que feia, per l'acumulació durant tants anys l'excrement animal, no feia aconsellable la posada en pràctica del projecte de Masó. Es van fer, doncs, les gestions per adquirir aquella propietat amb l'objecte de fer desaparèixer el pudorós cobert i, quan això va ser una realitat, el meu pare es va trobar amb una superfície de terreny molt superior a la que necessitava.»
És a partir d'aquest fet col·lateral que va sorgir la idea de fer una urbanització on es construirien cases que respectessin la bellesa del lloc. Josep Ensesa fill i l'arquitecte Masó es van entusiasmar amb la idea de fer un poble nou i s'hi van posar el 1923. «Les llargues vetllades d'aquella tardor [la de 1923] van resultar curtes», escriu Ensesa, «vist com s'anava perfilant el poble nou i Masó, llançat pels amples camins de la seva fantasia creadora, omplia el paper amb plans d'avingudes, escalinates, pèrgoles, places i miradors que no estàvem massa segurs que algun dia poguessin ser realitat; però donava tant de goig somiar, poder somiar aquelles coses.»
L'estiu del 1924 es va estrenar la casa dels Ensesa —que va rebre el nom de Senya Blanca, tal com coneixien el lloc els pescadors—, encara sense aigua ni llum, i a partir d'aquell moment s'aniria concretant la idea noucentista de «l'obra ben feta» pregonada per Eugeni d'Ors. «Nosaltres, el catalanisme el fem amb pedres», es diu que comentava Josep Ensesa. El Mediterrani civilitzat naixia en un espai de privilegi i a l'hora de posar-li un nom van optar pel de s'Agaró, que era com s'anomenava el torrent, sec la major part de l'any, que desembocava a la platja de Sant Pol.
Durant la dictadura de Primo de Rivera, del 1923 al 1930, Rafael Masó va ser empresonat per catalanista, pero no va renunciar mai al somni de s'Agaró. Tal com ha escrit Narcís-Jordi Aragó, nebot de l'arquitecte, «Ensesa recordava més endavant que el nacionalista Masó no va trobar millor manera d'exterioritzar la seva protesta que "creant un nou poble que, per la manera de ser concebut i executat, proclamés que Catalunya existia amb sentiments i llengua propis i amb una arquitectura molt definida".