Esta raza es tradicionalmente japonesa. Las primeras datan de la segundo mitad del primer milenio, pero especialistas de la raza estiman que están presentes en el archipiélago nipón desde hace 3000 años. Como la mayoría de los perros japoneses fue utilizado en sus orígenes para la caza en las montañas.

El Shiba Inu estuvo a punto de desaparecer, pero las letradas y los cazadores unieron sus esfuerzos para salvaguardar esta raza entre las mejores líneas puras hacia finales de los años 20. En el año 1937 el Shiba Inu se declaró monumento natural y paso a ser protegido por el gobierno japonés.

A pesar de que estuvo a punto casi de desaparecer a principios de la Segunda Guerra Mundial, actualmente es una de las razas más populares de Japón.