Der Bau wurde 1981 in das National Register of Historic Places aufgenommen, da er die architektonischen und historischen Kriterien erfüllte. Die Eigentümer erreichten 1982, dass es wieder aus der Liste gestrichen wurde.[1][2][3]
In den 1980er Jahren kaufte die Benetton Group das Gebäude. Rückläufige Geschäfte zwangen Scribner zu einem Umzug in einen anderen New Yorker Bezirk, in dem das Mietniveau niedriger war, bevor es durch Barnes & Noble erworben wurde. Das Gebäude wurde danach durch die Buchhandlung Brentano’s, dann einen Benetton-Shop und jetzt durch Sephora, einen Kosmetik-Einzelhändler, genutzt. A&A Investment Co. erwarb das Charles Scribner’s Sons Building im Jahr 2006[4] und veräußerte es 2011 an Thor Equities.[5]
Das Scribner Building an der 153-157 Fifth Ave. (bei der 21st) wurde 1893 ebenfalls von Ernest Flagg errichtet.