Die frühesten Ursprünge des Appenzeller Sennenhundes sind weitgehend unbekannt, aber eine Theorie besagt, dass Sennehunde von der alten Molossus-Rasse abstammen, die von den Römern in die Region gebracht wurde. Diese großen Hunde vom Mastiff-Typ wurden zum Bewachen von Vieh eingesetzt und haben Sennenhunden möglicherweise ihre große Knochenstruktur und instinktive Hütementalität verliehen. Wie bereits erwähnt, haben die regionale Verwendung und Zucht des Sennenhunds vier unterschiedliche Typen innerhalb der Rassengruppe hervorgebracht, darunter den kleineren, aber robusten Appenzeller.
Trotz der Ungewissheit über die genaue Herkunft der Rasse ist bekannt, dass der Appenzeller um 1800 Teil des täglichen Lebens in den Alpen war und den Menschen als wichtiger Begleiter diente. Tatsächlich stammt die früheste veröffentlichte Beschreibung der Rasse aus dem Jahr 1853 und beschreibt die Rasse als „einen deutlich bellenden, kurzhaarigen, mittelgroßen, mehrfarbigen Rinderhund eines ziemlich gleichmäßigen „Spitztyps“, der in bestimmten Regionen zu finden ist und wird teils zur Bewachung des Gehöfts, teils zur Viehzucht verwendet.“ Von den frühen Anfängen der Rasse an war also klar ersichtlich, dass es sich um fleißige Tiere handelte, die gleichermaßen in der Lage waren, Wach- und Hüteaufgaben zu übernehmen. Dies waren schon früh klare Charaktereigenschaften der Rasse.
Ende des 19. Jahrhunderts erkannte ein Förster aus dem Appenzellerland namens Max Siber die Notwendigkeit eines Zuchtprogramms und Standards, um diese besonderen Sennenhunde zu erhalten. 1898 brachte Herr Siber die Rasse zu ihrem ersten internationalen Ausstellungsdebüt und 1906 wurde der Appenzeller Sennenhund Club gegründet und ein offizielles Zuchtbuch eingerichtet. Obwohl die Rasse eine so vielseitige Arbeitsrasse und ein beliebter Familienbegleiter ist, hat sie im Vergleich zum Berner Sennenhund langsamer an internationaler Popularität gewonnen.
Der Appenzeller wurde 1993 vom United Kennel Club (UKC) zu einer anerkannten Rasse ernannt. Er hat einen Foundation Stock Service (FSS) beim American Kennel Club (AKC), was bedeutet, dass die Organisation die Entwicklungsbemühungen der Rasse unterstützt.