През 1940 г. семейството на Спенсър се мести в [[Рим]], където шест години по-късно той започва да следва химия. Спенсър обаче прекъсва обучението си, защото заедно с фамилията се мести отново – този път в [[Южна Америка]]. Там той работи на различни постове – работник във фабрика в [[Рио де Жанейро]], библиотекар в [[Буенос Айрес]], секретар в италианското посолство в [[Уругвай]]. Завръща се в [[Италия]] през 1948 г. и се записва да учи право. След като прекратява спортната си карера и получава докторска степен по право, Спенсър отново отива в Южна Америка, където работи като надзирател на строежа на панамериканската[[Панамериканска магистрала|Панамериканската [[Панамериканамагистрала]], а по-късно и във фабрика за автомобили в [[Каракас]]. След като се завръща в [[Рим]], през 1960 г. Спенсър се жени за Мария Амато, която познава от 15 години, която му ражда три деца – Джузепе (1961), Кристине (1962) и Диаманте (1972). Нейният баща – [[Пепино Амато]] е един от най-известните италиански филмови продуценти ([[Сладък живот]]). През 1965 г. Спенсър основава продуцентска компания, която продуцира предимно документални филми за животни за телевизия [[РАИ]]. Покрай снимките за филма [[Давайте още, момчета!]] той се запалва по летенето и през 1975 г. се сдобива с разрешително за пилот на хеликоптер, а през 1977 г. – и за самолет. През 1981 г. основава товарната авиокомпания [[Мистрал Ер]], която по-късно продава, а с парите купува текстилна фабирика, в която произвежда детски дрехи. През 2005 г. Спенсър прави опит да влезе в политиката, кандидатирайки се за регионален съветник за областта [[Лацио]] от партията на [[Силвио Берлускони]] [[Форца Италия]], но губи изборите.
