Le clan Fraser est un clan écossais situé dans les Lowlands. Il est différent du Clan Fraser de Lovat (en) qui se situe dans les Highlands, même s'ils ont un ancêtre commun. Chaque clan a son propre chef et chacun d'entre eux est reconnu officiellement par le concile des chefs écossais (en).
Les Fraser seraient originaires d'Anjou en France et seraient apparentés aux Blinn[réf. nécessaire] du comté de Fougères. L'anthroponyme Fraser serait une altération du français Fresel ou Freseau. Le premier Fraser se serait établi en Écosse autour de 1160 lorsque Simon Fraser choisit les terres de Keith dans l'East Lothian.
Cinq générations après le premier Simon Fraser, un autre Simon Fraser se battant pour Robert Ier d'Écosse fut capturé et exécuté en 1306 par le roi Édouard Ier d'Angleterre. Le cousin de Simon était Alexander Fraser de Touchfraser et Cowie qui fut le chambellan de Bruce. Il était marié à Mary (en), la sœur de Bruce. Le plus jeune fils d'Alexander Fraser était un autre Sir Simon Fraser dont descendent les chefs du Clan Fraser de Lovat (en). L'un des petits-fils de Simon Fraser était Sir Alexander Fraser de Cowie et Durris. Cet Alexander Fraser acquit le château de Cairnbulg (en) et les terres de Philorth en épousant Joanna, la plus jeune fille et cohéritière du Comte de Ross en 1375.
En 1592, Sir Alexander Fraser de Philorth reçut l'accord de Jacques VI d'Écosse de s'implanter dans le village de pêcheurs de Faithlie qui deviendra la ville de Fraserburgh. Sir Alexander Fraser a été également autorisé à fonder une université mais les troubles religieux ont arrêté le projet.
Le 18e Lord Philorth bâtit le château de Fraserburgh qui deviendra le phare de Kinnaird Head. Cette construction le ruina. La famille perdit le château pendant plus de 300 ans jusqu'en 1934 lorsque le 19e Lord Saltoun procéda à son rachat.
Le 9e laird de Philorth épousa la cohéritière de Lord Saltoun d'Abernethy. Leur fils, le 10e Lord Saltoun, fut blessé à la Bataille de Worcester en 1651. Il survécut grâce à son valet, James Cardno qui l'aida à s'enfuir du champ de bataille. En 1666, il construisit Philorth House près de Fraserburgh qui fut la résidence de la famille jusqu'à son incendie en 1915.
Sir Alexander Fraser de Durris fut le médecin personnel du roi Charles II d'Angleterre. Il fit ses études à Aberdeen et accompagna le roi en campagne en 1650. En 1660, après la Restauration, il siégea au parlement écossais. Il figure dans les écrits de Samuel Pepys.
La famille Fraser ne prit pas part aux rébellions jacobites contrairement à leurs lointains parents du clan Fraser de Lovat.
Le 16e Lord Saltoun commanda un régiment d'infanterie légère à la Bataille de Waterloo en 1815. Le 19e Lord fut prisonnier en Allemagne pendant la Première Guerre mondiale. En 1936, il devint membre de la Chambre des lords et promut la Royal National Lifeboat Institution.