A avut o bogată carieră de actor de teatru și a fost membru al prestigioasei Companii Teatrale Haiyuza.[3] Avea puțină experiență în fața camerei de filmat atunci când cineastul Akira Kurosawa l-a ales să joace rolul înțeleptului samurai Gorōbei Katayama în filmul Cei șapte samurai (1954).[3] Regizorul avea nevoie de un actor matur și supus, iar Inaba îndeplinea aceste cerințe.[3] Cu toate acestea, actorul a fost timorat atât de interpretarea în fața camerei, cât și de tonul răstit cu care Kurosawa se adresa interpreților.[3] În timpul filmărilor scenelor de interior pe platourile studioului Toho, Inaba era panicat și palid, iar regizorul l-a pus să alerge în jurul platoului pentru a-și mai veni în fire și apoi, pentru că actorul era în continuare speriat, i-a cerut să cânte cântecul mineresc „Tango-bushi” pentru a-și elibera tensiunea.[3] Inaba nu a reușit să-și vindece tracul în fața camerei de filmat, iar rolul său din Cei șapte samurai a fost singurul rol substanțial din întreaga carieră.[3]
Deși a mai jucat în filme (inclusiv un mic rol în Tronul însângerat (1957) al lui Kurosawa), Yoshio Inaba a fost singurul din interpreții celor șapte samurai care a avut o carieră nesemnificativă ca actor de film.[3] Mai târziu, Seiji Miyaguchi, Yoshio Inaba și Toshirō Mifune au fost reuniți în filmul american de acțiune The Challenge (1982), regizat de John Frankenheimer.[4] Cei trei interpreți ai samurailor (Mifune, Inaba și Miyaguchi) apăreau în același cadru, dar Mifune era singurul care avea un rol consistent, ceilalți doi având roluri mai mult de figuranți.[5] La acea vreme, Inaba și Miyaguchi aveau puține oferte de a apărea în filme.[5]
Yoshio Inaba a apărut în peste 80 de filme între 1951 și 1989.[6] El a murit în urma unui infarct miocardic la vârsta de 77 de ani.