C'est au fond d'une ria du golfe du Morbihan, à l'abri des vents, que les Ducs de Bretagne ont choisi de construire un pont, un port et un château. Deux quartiers voient ainsi le jour : le port, au pied de la forteresse et le quartier situé autour de la cohue et du prieuré Saint-Gildas derrière le château.

Si la résidence ducale disparaît au XVIe siècle, les maisons à colombages et les immeubles en pierre de taille témoignent de la richesse de la cité et de l'important développement des activités maritimes du XVe au XVIIe siècle.

La forteresse illustre la présence à Auray des Ducs de Bretagne dès le bas Moyen Age. Auray est alors le témoin central d'une grande bataille qui met fin à la guerre de Succession de Bretagne. Cette bataille se déroule en 1364, dans les marais entre Brec'h et Auray et oppose les troupes de Charles de Blois à celles de son cousin et rival Jean de Montfort. L'affrontement coûte la vie à Charles de Blois. Jean IV de Montfort, devenu duc de Bretagne, fait alors bâtir l'église de la Chartreuse, à Brec'h, en mémoire des combattants morts.

Le château d'Auray est, quant à lui, progressivement abandonné suite au rattachement de la Bretagne au royaume de France en 1532. Ses pierres seront en partie utilisées pour la construction de la citadelle de Belle-ile-en-Mer.

D'autres monuments du pays d'Auray illustrent la riche histoire de la cité. Ainsi, "le champ des martyrs" à Brec'h rappelle les chouans fusillés à cet endroit suite au débarquement des royalistes émigrés en Angleterre, après la décapitation de Louis XVI. Avec l'aide des chouans, ils débarquent à Carnac et à Quiberon en 1795 afin de rétablir la monarchie. Leur tentative est un échec et ils sont fusillés dans ce champ sur la route de Saint-Anne d'Auray.