През 16 век, когато поетите все още пишели за "сребристата" [[Темза]], северният бряг на реката между днешното [[Сити (Лондон)|Сити]] и [[Уестминстър]] е предпочитано място за именията на на аристокрацията. През 1539 г. [[Хенри VIII]] подарява земи на [[Едуард Сиймур]] в "Chester Place, извън [[Темпъл Бар]], Лондон". Когато престолонаследникът – болнавият невръстен крал [[Едуард VI]] – сяда на трона през 1547 г., Сиймур като негов вуйчо става регент и [[лорд-протектор]], като получава титлата [[херцог]] на Съмърсет. Около 1549 той срутил няколкото сгради, които били на това място и започнал да си строи внушителна резиденция, като се възползвал свободно от околните сгради, в това число и от зали за литургии и [[метох|метосите]] в старата катедрала [[Свети Павел (Лондон)|„Сейнт Пол“]], разрушени в полза на херцог Съмърсет и други влиятелни протестантски благородници при закриването на манастирите. Сградата, на 2 етажа, построена около четириъгълен вътрешен двор, с вход с височина от 3 етажа, била сред най-ранните примери за [[Английски ренесанс|ренесансова архитектура]] в Англия. Не е известно кой е проектирал сградата.
Преди да бъде завършена обаче, херцог Съмърсет вече си е създал много врагове във властта. В борбите за власт той търпи поражение и през 1552 г. е екзекутиран на [[Тауър (хълм)|хълма Тауър]]. Тогава имението Съмърсет става собственост на короната и в продължение на няколко години в него живее принцеса Елизабет преди да бъде коронясана като [[Елизабет I]] през 1558 г.
