Au XIe siècle, l’Hôtel-Dieu Notre-Dame, modeste maison d’accueil des pèlerins de la route de Saint-Jacques, est doté d’une petite chapelle dédiée à Marie. Au cours des siècles, l’oratoire s’agrandit ; il devient cure, paroisse puis doyenné.
C’est aux XVIe et XVIIe siècles que le monument revêt le visage que nous lui connaissons aujourd’hui avec sa haute tour surmontée des inscriptions « Jesus Maria Ave Gracia » et des initiales « CHC » pour Charles-Henri de Clermont, comte de Tonnerre, principal contributeur à l’édification de cette tour et de la façade occidentale.
Pourtant, ces différentes transformations architecturales ne se firent pas sans mal : en 1359, les troupes anglaises mirent le feu à l’église, lorsqu’elles occupèrent la ville basse et assiégèrent la ville haute, de même que les troupes bourguignonnes en 1414. En 1556, un vaste incendie la consume à nouveau (la base de la tour est encore noire de suie) et fragilise sa structure.
Durant la Révolution, de 1791 à 1798 environ, l’église devient le Temple de la Raison.
Au début du XIXe siècle, l’église est tellement abîmée et fragile qu’on pense un temps à la raser pour la reconstruire entièrement. Finalement, il sera moins onéreux de la restaurer, malgré l’ampleur des travaux. Les différentes campagnes de restauration durent des années, voire des décennies, durant lesquelles les fidèles se réunissent à l’Hôtel-Dieu qui devient l’église paroissiale provisoire. Pour financer ces travaux, la fabrique vend du mobilier et des œuvres d’art. L’hôpital en achète certaines, celles, notamment, qui meublent déjà l’hôtel-Dieu, comme des boiseries du maître autel, des tableaux et des stalles. L’orgue, datant de 1610, qui était installé sur la tribune de la Grande Salle fut vendu à l’église de Ligny-le-Châtel.
Au tournant du XXe siècle, l’église Notre-Dame, faute d’être flambant neuve, présente au moins l’avantage de ne plus présenter de problème de sécurité pour ses paroissiens. Jusqu’à cette journée dramatique du 25 mai 1944 où, vers 9h30 du matin, Tonnerre est bombardée pour 3e fois en 4 ans. Deux bombes américaines tombent sur l’église et perforent charpente et voûtes. Par miracle, une des deux n’éclata pas. On releva tout de même 14 corps dont ceux de 8 enfants qui faisaient, ce jour-là, une répétition de leur communion solennelle qui devait se dérouler le dimanche suivant.
Au sortir de la guerre, l’église est à nouveau restaurée même si des stigmates de ces différents événements sont toujours visibles, notamment sur sa façade occidentale.