2001-ben, a szeptember 11-i New York-i terrorcselekmények hatására a frontember, Gerard Way elhatározta, hogy kezd valamit az életével. Együttest alapított. Az első felállásban ő és az ex-dobos, Matt Palissier alkották a formációt. Később felkérték Ray Toro-t (aki addig egy másik együttesben dobolt) hogy gitározzon a bandának. Ezután csatlakozott Mikey Way a basszusgitárral, majd Frank Iero, mivel úgy érezték, hogy a dúsabb hangzás érdekében kell még egy gitáros Ray mellé. Frank akkor lépett ki a Pencey Prep nevű bandából, amiben pár szám erejéig már Mikey és Ray is feltűntek.

2003-ban Reprise Recordsszal aláírtak egy szerződést és turnéra is indultak Amerikában és Japánban. Ezalatt már a második albumukon dolgoztak. Gerard alkohol és drogproblémái miatt a turné megszakításán gondolkodtak. A turné befejeztével nyilvánosságra hozták, hogy Matt Pelisser (a hivatalos verzió szerint Ray és közte lévő ellentétek miatt)többé nem tagja a bandának. Az új dobos Bob Bryar (a The Used addigi hangtechnikusa) lett. Gerard pedig a káros szenvedélyek elhagyása érdekében terápiára kezdett járni, és sikeresen leszokott az ivásról és a drogokról.

2004-ben jelent meg a Three Cheers For Sweet Revenge című albumuk, amelyet a sztárproducer Howard Bensonnel készítettek. Ezek után mindenhol „My Chemical Romance Explosion” ( a My Chemical Romance berobbanásáról) beszéltek. Majd az Mtv-ben is szerepeltek.. A rajongók hada elől a rendőrség menekítette ki őket. Ebből az albumból egy hét alatt több mint 11.000 db fogyott el és platinalemez is lett. A Three Cheers For Sweet Revenge albumról több kislemezt is megjelentettek, amelyekhez videoklip is készült. Ezek: I´m Not Okay (I Promise), Helena, The Ghost Of You . Az összes szám videoját Marc Webb rendezte.

Az együttes a Green Day-jel fellépett a nyitókoncertjükön, majd ezután egy saját világ körüli turnéra indultak. Ekkor már az új albumukon törték a fejüket. 2006. április 10-én kezdték meg a felvételeket és ősszel már meg is jelent The Black Parade. A Welcome to the Black Parade című számuk az UK toplistán már a második héten az első helyen állt.