Dit unieke ras dateert uit de 18e eeuw en is een directe afstammeling van de Puli, Duitse herdershonden en Franse herdershonden, mogelijk de Pommerse en Hutespitz. Velen speculeren dat ze ook oude terriërs in hun afkomst hebben, en daarom kunnen ze enkele terriërachtige eigenschappen vertonen. De Puli werd in de 17e en 18e eeuw gebruikt om merinoschapen te hoeden. Hongaarse herders begonnen de Puli te kruisen met andere herdershonden, voornamelijk Franse en Duitse herdershonden. De nakomelingen van deze fokdieren konden het terrein van Hongarije beter aan dan de Puli. De Pumi is ontwikkeld om vee te drijven vanwege hun pittige, vocale en energieke manieren. Het duurde meer dan 300 jaar voordat deze hond zich ontwikkelde tot de Pumi van vandaag. Ze werden voor het eerst genoemd in historische documenten in 1815, maar het duurde honderd jaar later voordat ze daadwerkelijk als ras werden erkend. Ook al heeft deze werkhond een unieke uitstraling met hun gezwollen oren, velen verwarren ze nog steeds met de Puli. Ze zijn niet zomaar een herdershond; van hen werd verwacht dat ze andere taken op de boerderij vervulden, zoals waakhond zijn, ongedierte jagen en het vee bewaken. Ze zijn een typisch herdersras en kunnen extreem vocaal zijn; in feite beschreef de oorspronkelijke rasstandaard ze als niet in staat om te zwijgen. In de loop der jaren heeft het ras zich buiten Hongarije verspreid over heel Europa en naar Noord-Amerika. De Hongaarse Pumi Club of America werd opgericht en de leden werkten ijverig om het grote publiek voor te lichten over deze interessante herdershonden. De American Kennel Club herkende ze in 2016 als een herdersras.