Gulag Orkestar est le premier album de Beirut. Il a été enregistré en 2005 à Albuquerque, Nouveau-Mexique. Le livret indique que les photos de la jaquette de l'album ont été trouvées dans un livre déchiré d'une bibliothèque de Leipzig. Le photographe était inconnu du groupe jusqu'à ce que l'album soit enregistré, mais a maintenant été identifié comme étant Sergey Chilikov[1].
Cet album a reçu une très bonne critique et a été élu meilleur album 2006 par le label Rough Trade. L'album a plus tard été redistribué avec l'EP Lon Gisland.