Rasen uppstod i Ungern redan på 1700 - 1800talet troligen genom korsningar av den inhemska Pulin med Tyska och Franska vallhundar med uppstående öron. En korsningsavel som pågick under mycket lång tid. Pumin och Pulin blev ofta förväxlade förr, dels av dialektala skäl och därför att utseendet kom i andra hand hos herdarna. På en ungersk utställning 1920 beskrevs pumin som en lokal variant av puli. 1921 började man arbeta på beskrivningar för att skilja raserna åt och 1923 ställdes pumi ut som egen ras. I Ungern användes den i huvudsak till att vakta och valla får och nötboskap. En del pumi lär ha använts till vildsvinsjakt tack vare dess förmåga att hålla rätt vallavstånd till dessa farliga villebråd.

Den första pumin kan ha funnits i Sverig redan före förra sekelskiftet.
P.O Smith ("Brännvinskungen") köpte sig en ungersk hund som hade förmågan att klänga sig fast på ens kropp och därmed ge lindring åt giktvärk med sin värme, det stämmer bra in på pumin. Annars importerades de första pumi Edda och Era från Kilvan kennel, Finland 1977. Den första kullen i Sverige föddes 1978.