Das Castle thront ähnlich wie Edinburgh Castle auf einem Vulkanfelsen über der Stadt und wirkt auch sonst fast wie dessen kleine Schwester. Man betritt die Anlage durch ein Vorwerk des 18. Jh. Die erhaltenen Teile der Burg wurden weitestgehend von James V. im 15. und 16. Jh errichtet. Eine große Restaurierung begann 1996. Genauer sollte man sich die insbesondere in Details gelungenen Renaissancefassaden des Palastes (vier Flügel mit einem Innenhof) ansehen. An der Südfassade soll sich eine interessante Darstellung des Teufels befinden. Die Chapel Royal wurde 1594 errichtet. Mary Queen of Scots wurde 1543 in dem Vorgängerbau gekrönt. Besonders sehenswert ist auch die Sammlung der knapp 30 erhaltenen Eichenmedallions aus dem königlichen Wohnzimmer. Sie wurden wieder an ihrer ursprünglichen Stelle eingesetzt. Ähnlich wie Edinburgh wirkt auch dieses Castle leider ein wenig steril, aber insgesamt hübscher.
Der einjährige James V. und auch Mary bis zu ihrem 6. Lebensjahr wurden hier zur Sicherheit untergebracht.