En la temporada 2000-01 marcó 12 goles con el Perugia, lo que fue un récord para un defensa en Italia, lo que le sirvió para fichar en 2001 por el Inter de Milán, su actual club, en una operación cercana a los 18 millones de dólares. En Inter de Milán ha conseguido ganar una Liga de Campeones de la UEFA, dos Copas de Italias, dos Supercopa, una copa de europa y cinco scudettos, además de debutar con la selección italiana.

El central italiano ha sido siempre objeto de una fuerte polémica debido a su estilo de juego agresivo. Muchos lo consideran el mejor defensa de la selección italiana junto a Alessandro Nesta o Fabio Cannavaro, aparte de su calidad como defensa central, tiene un gran cabezazo y un fantástico lanzamiento de penalty. Una curiosa anécdota es que en la temporada 1999-2000, cuando la Lazio se proclamó campeón de la liga italiana, Materazzi se llevó el balón al camarín en un partido entre el Perugia y la Juventus, provocando más de una reacción, tanto de aficionados como de la prensa nacional.

Ha sido internacional con la Selección de fútbol de Italia en 40 ocasiones y ha marcado 2 goles. Con la selección nacional disputó la Copa Mundial de Fútbol de 2002 en Corea del Sur y Japón, la Eurocopa de fútbol 2004 en Portugal y la Mundial Alemania 2006, donde consiguió la Copa del Mundo (e Italia se proclamaría campeona por cuarta ocasión), con un gol suyo de cabeza. En este Mundial destacó la expulsión de Zinedine Zidane tras agredir a Marco Materazzi en el tiempo extra de la final del mundial. El defensa italiano reconoció más tarde que había insultado a Zidane con reincidencia, provocando la agresión del jugador francés al defensa italiano. El asistente del árbitro observó el cabezazo, advirtiendo al árbitro Horacio Elizondo, el cual expulsó a Zidane. Curiosamente, el hecho fue aprovechado mercadológicamente, ya que una empresa registró la silueta de un hombre golpeando el pecho de otro con la cabeza para plasmarlo en diversos artículos, de igual manera, Marco Materazzi filmó un comercial con Nike, en el cual recibe golpes en el pecho con diversos objetos (una camioneta, bola de boliche, jugador de fútbol americano), aludiendo a la actitud de Zinedine Zidane en la final de Alemania 2006.