Cette tour des anciens remparts de Lisieux date du XVe siècle. C'est un des bâtiment les plus anciens de la ville avec la Cathédrale Saint-Pierre et la tour Lambert, qui ont survécu aux bombardements de 1944. La Tour Sainte-Anne était une des onze portes de la muraille de protection de la ville. Les boulevards de la ville suivent le tracé de ces ancien remparts.