Der Shiba Inu ist nicht nur die kleinste der fünf japanischen Inu-Rassen, er ist auch die älteste. Skelettfunde haben ergeben, dass Shiba Inus bereits 8000-10000 Jahre vor Christi Geburt gelebt haben und heute noch fast genauso aussehen wie damals. Ebenso wurde der Shiba Inu bereits 400 vor Christus namentlich in Aufzeichnungen erwähnt und seine Existenz damit belegt. Sie sind also eine der am ursprünglichsten erhaltenen Hunderassen. Das belegen auch Genanalysen, die eine besonders große Nähe zum Wolf aufweisen. Die urtümliche Erhaltung macht sie auch wenig anfällig für die typischen Hundekrankheiten. Kein Wunder also, dass er aktuell zu den beliebtesten Hunderassen in Japan zählt.
Der natürliche Lebensraum der Shiba Inus war einst die bergige Gegend um das japanische Meer. Er wurde Zur Jagd auf Vögel und Kleinwild eingesetzt.
Ab 1880 wurde der Shiba Inu immer häufiger mit englischen Jagdhunden gekreuzt. Der Grund dafür war die beginnende Globalisierung, zu Beginn durch Schifffahrt. Früher existierten keine anderen Hunderassen in der Region, wodurch der Shiba Inu so lange seine Reinrassigkeit bewahrte. Die isolierte Lage Japans mitten im Meer begünstigte das zusätzlich. Mit der Globalisierung und der Schifffahrt begann man aber, andere Hundrassen mit in das Land zu bringen, um Vorteile anderer Hundrassen, vor allem von Jagdhunden wie Pointer und Setter, mit einzubringen. Dadurch verwässerte sich aber der eigentliche ursprüngliche Shiba Inu immer mehr und der reinrassige Shiba Inu wurde immer seltener anzutreffen. Deswegen begann man ab 1928, reinrassige Shiba Inus systematisch und gezielt zu züchten. 1934 erfolgte der erste Zuchtstandard des Shiba Inu. 3 Jahre später, im Jahr 1937 erhielt der Shiba den Status "Nationales Naturdenkmal".
Durch die Zucht seit 1928 unterscheidet sich der inzwischen moderne Shiba Inu etwas von dem Shiba, der noch vor 100 Jahren typisch war.
