¿Cuál sería el premio para alguien que descubra un algoritmo más rápido para encontrar si un número es primo?

No hay premio particular para tal algoritmo.

Pero se le otorgaría el respeto de otros matemáticos, y dada la popularidad del tema, probablemente también aparecería en las noticias durante unas pocas semanas (lo que podría ganar algo de dinero para entrevistas, etc.).
Es posible que se le otorguen algunos premios por su trabajo, dependiendo de qué tan rápido sea su algoritmo, qué tan importantes son los conceptos que utiliza en su prueba y (para no olvidar) lo que ha hecho antes.

No es que tal algoritmo tenga efectos inmediatos fuera de la investigación matemática. Ya tenemos pruebas de primalidad bastante rápidas, y sabemos que existen pruebas rápidas: prueba de primalidad AKS

Tal vez debería preguntar qué sucede si alguien descubre un algoritmo rápido para encontrar la factorización de un número en factores primos. ¡Porque esto realmente tendría muchas consecuencias para la criptografía!

PD: Tampoco hay un premio especial por resolver ese problema.