Il est surtout connu pour sa concurrence amicale avec Sasaki Takatsuna. Lors de la deuxième bataille d'Uji, lui et Sasaki ont fait la course pendant qu'ils traversaient la rivière Uji sur leurs chevaux pour aller au combat. Kajiwara montait Surusumi, le cheval noir du shogunMinamoto no Yoritomo. Au début de la course, Kajiwara était devant, mais il s'arrête lorsque Sasaki lui annonce que sa selle s'est défaite. Ce dernier a alors continué à traverser le fleuve mais cette fois-ci en première place.