Para hacer la ejecucion mas rapida podria cambiarse:

for($i = 2; $i < $numero; $i++)

por:

for($i = 2; $i < ($numero/2); $i++)

Con una pequeña demostracion matematica puede llegarse facilmente a la conclusion de que si tras haber comprobado la mitad de los posibles divisores no se ha encontrado ninguno, en la mitad restante tampoco se van a encontrar divisores.