Carlo Ancelotti 1959. június 10-én Reggiolóban született. Gyerekként a futball mellett a kerékpárral is próbálkozott, 9 évesen győzött is egy kisebb versenyen.
Aztán mégis a futball mellett maradt: 1976-ban megfelelt a harmadosztályú Parma próbajátékán (a csapat az ő két góljával vívta ki a feljutást), majd három év után, 1979-ben a Romához szerződött a középpályás. Fontos tagja, időnként kapitánya is volt az 1980-ban, 1981-ben, 1984-ben és 1986-ban Olasz Kupát, 1983-ban pedig bajnoki címet szerző együttesnek. Az 1984-es, a Liverpool ellen büntetőkkel elveszített BEK-döntőn nem lépett pályára. Közben 1981-ben a válogatottban is bemutatkozhatott – összesen 26-szor szerepelt a squadra azzurában, és 1 gólt lőtt. A sport mellett másra is jutott ideje: szerepelt a Don Camillo dímű filmben, majd két másik filmben magát alakította a 80-as évek közepén.
A sikeres római évek után 1987 nyarán elfogadta a Milan ajánlatát, és a piros-feketékkel rögtön első idényében bajnoki címet nyert. Stabil tagja volt a holland sztárokkal fémjelzett piros-fekete aranycsapatnak, amely 1989-ban, majd egy évvel később is Európa trónjára ült, a BEK-et megnyerve. Az első fináléban végig a pályán volt, a másodikban 72 percet játszott. A középpályán Roberto Donadonival és Frank Rijkaarddal szerepelt együtt, valamint a későbbi Chelsea-edzővel, Ruud Gullittal is egy csapatban játszott. Egyik legszebb és legemlékezetesebb gólját a Real Madrid elleni 5-0-s győzelem során szerezte: nagyszerű cselek után 25 méterről bombázott a hálóba.
1992 nyarán, egy újabb bajnoki cím után felhagyott az aktív játékkal. Utolsó idényében Fabio Capellótól már kevés lehetőséget kapott, így saját bevallása szerint is ekkor már edzői szemmel figyelte a játékot. A Milanban összesen 112 meccsen lépett pályára.
Edzői karrierjét 1995-ben a Reggianánál kezdte, amelyet azonnal feljuttatott az első osztályba. Erre az eredményre a nagyobb klubok vezetői is felfigyeltek, és 1996-ban egykori csapata, a Parma kispadjára hívták. Már ekkor sokat köszönhettek neki a Chelsea-drukkerek, hiszen a Gianfranco Zolával való viták kellettek ahhoz, hogy az olasz klasszis Londonba igazoljon. A kis lordot nem a számára megfelelő poszton szerepeltette a tréner.
A Parmában szerepelt ekkor Hernan Crespo is, az argentin támadó góljainak is köszönhetően a gárda a második helyen zárta a bajnokságot Ancelotti első idényében. Egy évvel később a hatodikok lettek, míg a BL-ben a címvédő Dortmund mellől nem jutottak tovább, így az idény végén menesztették a sárga-kékektől.
1999 februárjában, vagyis idény közben Marcello Lippi helyét vette át a Juventus kispadján, miután a torinóiak csak a hatodik helyen álltak a bajnokságban. Az eredeti tervek szerint a szezon végén nevezte volna ki a Juventus, mivel Lippi már megegyezett az Interrel. A bajnokságban maradt a hatodik hely a zebramezeseknek, míg a BL-ben Ancelotti az elődöntőig vezette a csapatot. A szurkolók körében római és milánói múltja miatt nem örvendett nagy népszerűségnek, és erre rátett a lapáttal, hogy Didier Deschamps-ról is lemondott – aki épp a Chelsea-hez került. Első teljes idényében a második helyig kormányozta a Zidane-nal, Inzaghival és Del Pieróval fémjelzett csapatot. 2001-ben is be kellett érniük az ezüstéremmel, a BL-ben pedig a csoportkört negyedik helyen fejezték be, így nem volt meglepő, hogy visszacsábították Torinóba Lippit, Ancelottinak pedig mennie kellett.
Sokáig nem volt munka nélkül: 2001 őszén a Milan menesztette a török Fatih Terimet, helyére pedig Ancelottit nevezték ki. Első idényében az UEFA-kupa elődöntőjéig vezette az együttest, a bajnokságot pedig negyedik helyen zárták.
A következő szezonban már trófeát is szerzett Ancelotti: az általa tökéletesített diamond felállással együttese megnyerte a BL-t. A fináléban éppen korábbi együttese, a Juventus ellen győztek büntetőkkel. Ezzel azok elitklubjának lett tagja, akik játékosként és trénerként is megnyerték a legrangosabb sorozatot (mellette Miguel Munoz, Givanni Trappatoni, Johann Cruyff, Frank Rijkaard és immár Josep Guardiola mondhatja el ezt magáról). Emellett az Olasz Kupát is begyűjtötték, a bajnokságban pedig a harmadik helyen zártak.
Egy évvel később a bajnoki arany került Milánóba, a piros-feketék toronymagasan, 11 ponttal előzték meg a Romát. Edzőként ez Ancelotti egyetlen bajnoki elsősége. A BL-ben ezúttal a negyeddöntő jelentette a végállomást, miután a hazai 4-1-es előny után idegenben 4-0-ra kapott ki a Milan a Deportivótól. Ekkor már a csapat kulcsembere volt Kaká, akit Ancelotti fedezett fel.
2005-ben ismét BL-döntőig jutott a Milan, de minden idők egyik legemlékezetesebb fináléjában ezúttal alul maradt a Liverpool ellen. A szüentben még Ancelotti csapata vezetett 3-0-ra, de a végén büntetőkkel kikaptak. A bajnokságban is be kellett érni a második hellyel, bár később a bajnoki címet elvették a Juventustól a bundabotrány miatt. A megvesztegetési ügyekben a Milan is benne volt, ezért a 2005-2006-os szezont 30 pontos levonással fejezték be, így a harmadik helyen végezve, a BL-ben pedig a későbbi győztes Barcelona állította meg Ancelottiékat az elődöntőben.
Sokáig úgy tűnt, a páratlan években nincs BL-döntő Milan és Ancelotti nélkül: 2007-ben ismét a fináléba került az együttes, és revansot véve a Liverpoolon ezúttal meg is nyerték. Emlékezetes volt, hogy az elődöntőben milyen taktikai csatát nyert Carletto Sir Alex Ferguson ellen. Ez év őszén a klubvilágbajnoki serleget is begyűjtötte Ancelotti.
A 2008-as év már nem sikerült ilyen fényesre: a bajnokságban ötödik lett a Milan, ezzel csak UEFA-kupás helyet csípve meg, a BL-ben pedig az Arsenal a nyolcaddöntőben kiütötte az olaszokat. A klubvezetés azonban kiállt Ancelotti mellett, és nyáron megszerezték Ronaldinhót. A brazil sztár sem segített sokat, a Serie A-ban a harmadik hellyel kellett beérni, míg az UEFA-kupa-kaland nem tartott sokáig.
A 2008-2009-es idény végén maga Ancelotti jelentette be, hogy felbontja még érvényes kontraktusát a klubbal, pár nappal később pedig a Chelsea-hez igazolt. A londoni klubbal 3 éves szerződést kötött az olasz edző.
