Родина походила від Брюсів з Клакманнан, предком яких був Томас де Брюї. За словами сера Джеймса Бальфура Пола, немає жодних доказів того, що ця гілка родини походить від Роберта Брюса (короля Роберта I), незважаючи на твердження, що Томас був позашлюбним сином короля[1]. Однак син короля Роберта Давид II надав у 1359 році землю Роберту Брюсу, називаючи його dilecto consanguineo suo (наш улюблений двоюрідний брат)[2]. Загальновизнано, що гілка Клакманнан походить від Джона де Брюса, який був молодшим сином Роберта де Брюса, 5-го лорда Аннандейла[3][4].
Першого графа змінив його син Роберт, який також був призначений графом Ейлсбері в ранзі перства Англії. Два графства продовжували поєднуватися до смерті четвертого графа Елґіна, коли титули Ейлсбері та барона Брюса (з Ворлтона) вимерли, а титул Елґіна перейшов до графа Кінкардина; а лордство Кінлос стало нечинним. Після цього графство Елґін і Кінкардин залишилися поєднаним.
Крім титулів графів Елґіна і Кінкардина, лорд Елґін також має титули лорд Брюс Кінлос (створений 1604), лорд Брюс Торрі (1647) і барон Елґін з Елґіна в Шотландії (1849). Перші два належать до перства Шотландії; третій — до перства Сполученого Королівства .
Лордство Кінлосс, яке належало першим чотирьом графам, було успадковане після смерті 4-го графа 3-м герцогом Чандос. Через його доньку титул перейшов до герцогів Бекінґема і Чандоса, і зараз належить спадкоємцю цих герцогів.
У Дубліні є дороги, які походять від титулів графа. Це Елґін-роуд і Ейлсбері-роуд. В Канаді, Джеймс Брюс, 8-й граф Елґін був Генерал-губернатором (1847–1854), всі його титули широко представлені в географічіних назвах, назвах вулиць тощо. На його честь названі графства (округи) Елґін та Брюс, а також містечко Кінкардин, село Брюс-Майнз у провінції Онтаріо, Порт-Елґін у Нью-Брансвіку, численні вулиці. У 1953 році ім'я Джеймса Брюса було внесене до списку національних історичних осіб Канади в рамках процесу інституціалізації національної історичної пам'яті Канади[6]
Спадкоємцем є син нинішнього власника Чарльз Едвард Брюс, лорд Брюс (нар. 1961). Спадкоємцем спадкоємця є його син Джеймс Ендрю Чарльз Роберт Брюс, магістр клану Брюс (нар. 1991). Шаблон:Earls of Kincardine family tree