През 16-ти век, когато поетите все още могат са пишели за "сребристата" [[Темза]], северният бряг на реката между днешното [[Сити (Лондон)|Сити]] и [[Уестминстър]] е предпочитано място за именията на на аристокрацията. През 1539 г. [[Хенри VIII]] подарява земи на [[Едуард СийморСиймур]] в "Chester Place, извън [[Темпъл Бар]], Лондон". Когато престолонаследникът — болнавият невръстен крал [[Едуард VI]] — сяда на трона през 1547, СийморСиймур като негов вуйчо става регент и [[Лорд Протектор]] и получава титлата [[херцог]] на Съмърсет. Около 1549 той срутил няколкото сгради, които били на това място и започнал да си строи внушителна резиденция, като се възползвал свободно от околните сгради, в това число и от някои от [[Зала за Литургии|залите за литургии]] и [[метох|метосите]] в старата [[Катедрала Сейнт Пол]], разрушени в полза на херцог Съмърсет и други влиятелни протестантски благородници, част от [[закриване на манастирите| закриването на манастирите]]. Къщата е била на два етажа, построена около четириъгълен вътрешен двор, с вход с височина от три етажа и е била един от най-ранните примери за [[Ренесансова архитектура]] в Англия. Не е известно кой е проектирал сградата.
Преди да бъде завършена обаче, херцог Съмърсет вече си е създал много врагове във властта. В борбите за власт той търпи поражение и през 1552 г. е екзекутиран на [[Тауър (хълм)|хълма Тауър]]. Тогава имението Съмърсет става собственост на короната и в продължение на няколко години в него живее принцеса Елизабет преди да бъде коронясана като [[Елизабет I]] през 1558 г.
