Vers l’an 1000 , Londinium, devenue l’une des villes les plus prospères de l’Empire romain, fut entourée de murailles. Malgré ses remparts, la ville fut prise en 1066 par Guillaume le Conquérant. Une dizaine d’année plus tard, il fit construire la tour Blanche. Ses successeurs y ajoutèrent divers éléments, tel Edouard Ier, qui ordonna l’érection de l’enceinte extérieure.
La Tour servit de résidence royale pour la première fois sous le règne d’Henri III (1216-1272). 
Une partie de ce palais fut reconstruite pendant le règne d’Henri VIII, et c’est à cette même époque, vers 1540, que les maisons à colombages appelées Queen’s Houses furent construites sur Tower Green.