Nato nel New Hampshire, a Nashua nel 1879, Walter Long si arruolò nell'esercito americano sia nella Prima che nella seconda guerra mondiale, portandovi la sua robustezza e il suo carattere burbero. Cominciò l'attività cinematografica nel primo decennio del Novecento, apparendo per la prima volta in The Fugitive (1910), un cortometraggio di David Wark Griffith. Con il grande regista, Long girò alcuni dei suoi primissimi film. Dopo essere apparso in pellicole di genere drammatico o western, negli anni trenta incontrò il produttore Hal Roach.
Questi gli propose un contratto con Laurel & Hardy per interpretare il cattivo in alcune delle loro comiche e in un paio di lungometraggi. La prima apparizione di Long con la coppia fu nel film Muraglie (1931) in cui i due protagonisti, incarcerati per aver cercato di vendere birra durante il proibizionismo, vengono avvicinati dal "Tigre" (appunto Long) il quale li coinvolge in un piano di evasione.
Concluso il contratto con Roach nella seconda metà degli anni trenta, Long interpretò piccoli ruoli in altri film, per poi ritirarsi definitivamente dal cinema negli anni quaranta.
Nel 1908 Long sposò Luray Grace Roblee, una stenografa del Wisconsin che in seguito divenne attrice presso Triangle Fine Arts e che morì nel 1919 all'età di 29 anni, a causa dell'epidemia di influenza spagnola. Si risposò nel 1923 con Leta Amanda Held, con la quale adottò un figlio, John Huntley Long.
Walter Long prestò servizio durante la prima e la seconda guerra mondiale, ottenendo il grado di tenente colonnello prima di ricevere un congedo onorevole alla fine del secondo conflitto.