La llegada de Dumars a los Pistons coincidió con los años de Chuck Daly como entrenador, al que dotó de su espíritu guerrero y lo inculcó a sus jugadores, teniendo al propio Dumars cómo su mano derecha sobre la pista, debido a su faceta defensiva, de hecho fue elegido en el mejor quinteto defensivo en cuatro ocasiones. Los jugadores que componían la plantilla, todos absorbidos por la fuerza de su trainer, conformaban un cocktail esfervescente y dinámico. Junto a Isiah Thomas, Adrian Dantley, Rick Mahorn y Bill Edwards, logró llegar por primera vez a las finales de la NBA en la temporada 87/88, sucumbiendo por 4-3 frente al conjunto de Magic y Jabbar. Al año siguiente consiguió su primer anillo de campeones, frente a los Lakers nuevamente, ganando por un rotundo 4-0 y siendo nombrado MVP de las finales. Al año siguiente conquistó su segundo anillo derrotando a los Portland Trail Blazers de Clyde Drexler por un , no menos rotundo, 4-1.
Su fama de defensor férreo se agrandó al defender en la final de conferencia a Michael Jordan de manera tan eficaz que Jordan lo llegó a calificar de mosca cojonera e incluso dijo que era peor que una pesadilla. Todos los jugadores que se enfrentaban a él acababan teniendo una mala noche y terminaban reconociendo la oscura pero eficaz labor de este escolta impasible.
En la temporada 90/91 finalizó el dominio de los Pistons en las finales y comenzó el reinado de los Bulls de Jordan. Dumars continuó su labor de defensor implacable en los Pistons mientras se desmantelaba la plantilla que consiguió llegar a tres finales y ganar dos de ellas. En 1994 formó parte del equipo de USA que conquistó el campeonato del mundo en Canadá, aumentando así su palmarés. También caben destacar sus seis participaciones en los All- Star, en una época de mucha competencia en los puestos exteriores en la conferencia Este.
Su estilo inconfundible, serio y frío, le valió el apodo de "El asesino silencioso", ya que aunque su fuerte fuera la defensa, promedió 16 puntos de media durante toda su carrera y demostró ser decisivo en numerosas e importantes ocasiones. En 1999 dejó el baloncesto profesional para pasar a ser presidente del conjunto de toda su vida. Los Pistons retiraron su camiseta con el número 4 y en el año 2006 entró en el "Hall of fame". En su honor se entrega el trofeo al jugador más deportivo, el trofeo Joe Dumars.
