Lowens wurde in einer jüdischen Familie in der ostpreußischen Stadt Allenstein (inzwischen Olsztyn, Polen) geboren. Sein Vater, Alfred Loewenstein, war ein angesehener Rechtsanwalt, dessen Kanzlei durch das Gesetz über die Zulassung zur Rechtsanwaltschaft nach der Machtergreifung der Nationalsozialisten einbrach.[3] Die Familie zog im Jahr 1936 nach Berlin, entschied sich aber später, Deutschland in Richtung der Vereinigten Staaten zu verlassen. Während sie in Rotterdam auf ihre Ausreise warteten, überfielen die Deutschen Holland. Im Juni 1943 wurde die Familie nach Westerbork gebracht und sollte von dort nach Auschwitz deportiert werden, als sie durch Beziehungen des Vaters überraschend auf freien Fuß gesetzt wurden.[4] Nach der Freilassung ging er in den Untergrund und wurde unter dem falschen Namen Ben Joosten ein aktives Mitglied der Résistance.[3] Im Jahr 1947 immigrierte er zusammen mit seinem Vater und seiner Stiefmutter in die Vereinigten Staaten, wo er Schauspieler wurde.[3] Er spielte in den folgenden Jahren sehr oft deutsche Nationalsozialisten.[5]