El jardinero tenía 30 años cuando se unió a los Gigantes en 1949, dos años después de que Jackie Robinson rompiera la barrera racial en Grandes Ligas. Irvin jugó siete de sus ocho temporadas con los Gigantes y un año con los Cachorros en 1956. Irvin también vio acción en las Ligas Negras, y la pelota invernal de México y Puerto Rico.
El estadounidense llegó a batear al menos .300 en tres ocasiones, imponiendo una marca personal de .329 en el año 1953. El estadounidense acabó con un promedio de .293, 99 jonrones y 443 remolcadas, estadísticas que pudieron haber sido superiores, si no hubiera sido por la segregación racial.