Легендам о Скунском камне более 3000 лет. Одно из преданий гласит, что у фараона Рамсеса II была дочь по имени Скота. После того, как израильтяне перешли Красное море, принцесса покинула Древний Египет и более тысячи лет блуждала по Ближнему Востоку в поисках собственной земли обетованной, дошла до Испании и направилась в Ирландию. Добравшись до северного побережья Ирландии, она наконец нашла то, к чему так долго стремилась — земли, позже названные Шотландией. Скотты и пикты, по одной из версий легенды, были потомками Скоты и её мужа Гателы, царя скифов.

Считается, что Скота и привезла с собой в Шотландию большой камень, впоследствии названный Скунским. По преданию именно этот камень библейский персонаж Иаков положил под голову вместо подушки и увидел во сне лестницу, достигавшую небес, по которой восходили и нисходили ангелы. Сначала, во времена Дал Риады (раннесредневековое королевство на западе Шотландии), камень был помещен в Дунадд, а потом, в 847 г. король ШотландииКеннет I перевез его в Скун. И с тех пор короли Шотландии во время церемонии коронации сидели на этом камне.

По другой легенде Скунский камень служил алтарем во время миссионерских путешествий Святого Колумбы (ирландский святой монах, проповедник христианства в Шотландии).

Ещё одна легенда утверждает, что камень принадлежал Гателе (а не Скоте), который, спасаясь от чумы, забрал его из Сирии в Египет, а затем, по совету Моисея, направился с женой и камнем в Испанию и, наконец, отправил Скунский камень в ту область Ирландии, которая потом перешла к Шотландии.

В 1296 г. английский король Эдуард Длинноногий захватил Скунский камень в числе других военных трофеев и перевез его в Вестминстерское аббатство. Там реликвию поместили под сиденье деревянного трона (Стул Святого Эдуарда), на котором короновались английские монархи. Неизвестно, захватил ли Эдуард настоящий камень или подделку. Существует мнение, что монахи из Скуна утопили настоящий камень в реке Тей или зарыли его на холме Дансинан. В более позднее время возникали слухи, что настоящий Скунский камень находится среди сокровищ тамплиеры.

В 1328 г. между Англией и Шотландией было заключен Нортгемптонский договор — мирное соглашение, согласно одному из пунктов которого Скунский камень должен был быть возвращен Шотландии. Однако ему было суждено оставаться в Англии еще шесть столетий.

Рождественским утром 1950 г. четверо шотландских студентов из университета Глазго незаметно проникли в Вестминстерское аббатство и похитили Скунский камень. По пути они нечаянно уронили его, и блок разбился на 2 части. В Глазго студенты нашли каменщика, который склеил обломки, и спрятали камень в сломанном тракторе.

Вопреки надеждам патриотически настроенных студентов, их поступок вызвал волну общественного возмущения в Шотландии. 11 апреля 1951 г. камень был обнаружен в развалинах аббатства Арброт, возвращен в Вестминстерское аббатство и вновь помещен в основание Коронационного трона. В 1953 г. на нем была коронована королева Елизавета II.

В 1996 г. правительство Великобритании приняло решение передать камень Шотландии, однако было оговорено, что англичане будут заимствовать его на время коронаций. 30 ноября того же года, в день Святого Андрея, Скунский камень вернулся в Шотландию и был помещен рядом с шотландскими королевскими регалиями в Эдинбургском замке. В этот памятный для всей Шотландии день около 10 тысяч людей выстроились вдоль улицы Королевская Миля для того, чтобы увидеть собственными глазами процессию сопровождающих Скунский камень священнослужителей и солдат.