Первоначально аббатство располагалось в четырех милях от нынешнего, немного ниже, чем его описал Вальтер Скотт. Его основал святой Айдан ок. 660 г. н. э. Одним из первых настоятелей был святой Кутберт, позднее став­ший настоятелем в Линдисфарне. В 1131 г. шотландский король Давид I убедил монахов-цистерцианцев построить новое аббатство на месте нынешнего под Эйлдонскими холмами. Оно было посвящено Деве Марии в воскресенье, 28 июля 1146 г., и явилось первым цистерцианским монастырем в Шот­ландии. Позднее оно не раз подвергалось погромам: ар­мия короля Эдуарда II осквернила, ограбила и сожгла церковь, а Ричард II поджег аббатство. Благодаря щед­рости Роберта Брюса в 1326 г. было начато строитель­ство нового храма. Бесчисленные благотворители, знатные и простые, дарили Мелроузу земли и владения и сделали его богатым и известным, что говорит об ува­жении к монастырю. О тогдашнем его богатстве можно судить по записям XII в., рассказывающим, как во время голода монастырь кормил в течение трех месяцев че­тыре тысячи человек.

В 1544 г. армия Генриха VIII сожгла Мелроузское аббатство. Разрушение закончила толпа фанатиков в 1569 г., разбив рельефы и статуи. Последнее унижение, которое пришлось пережить некогда величественному сооруже­нию, было растаскивание освященных камней на стро­ительные материалы.

Небольшая реставрация монастыря была проведена под руководством сэра Вальтера Скотта в 1822 г., а сегод­ня заботу о нем взяло на себя общество «Историческая Шотландия».

Шотландцы почитают это место не только по причинам религиозным, но и потому, что здесь захоронено серд­це Роберта Брюса.

Роберт Брюс родился в 1274 г. и стал королем в воз­расте тридцати одного года. Он женился сначала на Изабелле Марской, а потом на Елизавете де Бург. Их сын впоследствии стал королем Давидом II. Английский ко­роль Эдуард I счел Роберта Брюса, которого он назначил начальником войск в Шотландии, предателем, когда тот поклялся освободить Шотландию от английского влады­чества. После ряда битв Брюсу удалось вернуть шотланд­цам часть земель и замков и разбить англичан в битве при Баннокберне в 1314 г.

Брюс умер в 1329 г. в Кардроссе скорее всего от проказы. Его тело было погребено в Данфермлайне, а сердце вынуто и взято в крестовый поход сэром Джеймсом Дуг­ласом  (Черным). Сэр Джеймс погиб в сражении с мав­рами в Испании и перед смертью, как рассказывают, швырнул сердце во врага. После битвы сердце Брюса удалось отыскать и доставить в Мелроузское аббатство, где по просьбе Давида II оно было захоронено.

В 1996 г. во время археологических раскопок, прово­димых на территории монастыря обществом «Историческая Шотландия», был исследован свинцовый контейнер, в котором, как предполагали, находилось сердце Роберта Брюса. С помощью волоконной оптики удалось осмотреть его содержимое. Внутри оказался еще один, меньший по размерам, контейнер с медной пластинкой, надпись на которой гласила: «Этот свинцовый контейнер с сердцем был найден под полом Дома собраний в марте 1921 г. работниками учреждения Ее величества». Хотя контей­нер и содержит сердце, тем не менее Ричард Веландер, один из исследователей, заявил, что невозможно с уве­ренностью утверждать, что это именно сердце Брюса, однако «весьма вероятно, что так оно и есть». Других за­хоронений сердец в этом аббатстве обнаружено не было. Внутренний контейнер открывать не стали, а отправили в Эдинбург, после чего он был вновь захоронен в Мелроузском аббатстве 22 июня 1998 г. 24 июня того же года, в годовщину победы Брюса при Баннокберне, министр по делам Шотландии Дональд Девар открыл памятное над­гробие над новым местом захоронения сердца в аббат­стве.