Trutzig und vieltürmig präsentiert sich das Schloss auf einem Felsplateau über dem Ort Goldegg. Um 1323 wurde hier einen neue Burg gebaut, die auch den nahen Handelsweg schützen sollte. Diese Burg steckt bis heute in der Anlage, dass sich über die Jahrhunderte mit modernen Zu- und Ausbauten zum Schloss mauserte. Mitte 19. Jh. fanden letzte gravierende Umgestaltungen statt.
Heute dient es als Kultur- und Bildungszentrum des Pongau und beherbergt das Pongauer Heimatmuseum, außerdem eine Malakademie den Kulturverein Schloss Goldegg, den Veranstalter der Goldegger Dialoge zu Gesundheitsthemen. Hier findet auch das Literaturfestival "Verstörungen - Ein Fest für Thomas Bernhard" statt.
Beim Museumsbesuch ist auch der prächtige Rittersaal von 1536 zugänglich. Dessen Decke zeigt Felder mit 137 Wappen, die die hierarchischen Machtverhältnisse des Erzbistums Salzburgs zur Anschauun bringen. Die Wände des Saales zeigen Freskenbilder mit Jagdszenen, biblische Szenen und die Huldigung der Familie Graf von Schernberg.
