Vers l�an 1000 , Londinium, devenue l�une des villes les plus prospères de l�Empire romain, fut entourée de murailles. Malgré ses remparts, la ville fut prise en 1066 par Guillaume le Conquérant. Une dizaine d�année plus tard, il fit construire la tour Blanche. Ses successeurs y ajoutèrent divers éléments, tel Edouard Ier, qui ordonna l�érection de l�enceinte extérieure.
La Tour servit de résidence royale pour la première fois sous le règne d�Henri III (1216-1272). 
Une partie de ce palais fut reconstruite pendant le règne d�Henri VIII, et c�est à cette même époque, vers 1540, que les maisons à colombages appelées Queen�s Houses furent construites sur Tower Green.