1984 m. Dieną Bobas Irsay (1923–1997), kadaise galingo Baltimorės Colto savininkas, perkelia komandą į Indianapolį. Be jokio viešo pranešimo, „Irsay“ pasamdė darbuotojus, kad viduryje nakties sutalpintų komandos biurus Owings Mills mieste Maryland, o Baltimorės miestas miegojo.
Robertas Irsay įgijo Colts kontrolę 1972 m., Kai iš esmės pardavė savo nuosavybės teises Los Andželo avinuose su Carollu Rosenbloomu, tuometiniu Colts franšizės savininku. „Colts“, vadovaujami ketvirtfinalio žaidėjo Johnny Unito, puolėjo Lenny Moore'o ir gynybinių linijų žaidėjų Gino Marchetti bei Arto Donovano, buvo geriausia NFL komanda šeštojo dešimtmečio pabaigoje ir turėjo įkūnyti Baltimorės darbininkų klasės dvasią. Žaidėjai gyveno tarp gerbėjų, ne sezono metu dirbo kartu su gerbėjais ir akivaizdžiai didžiavosi savo priimtu miestu. Tik tada, kai Irsay nupirko komandą, franšizė pradėjo mažėti. 1971 m. Laimėjęs „Super Bowl V“, Coltsas turėjo keletą laimėjimo metų, tačiau aštuntojo dešimtmečio pabaigoje franšizė buvo tokia bloga, kad kai būsimasis Šlovės muziejaus ketvirtfinalis Johnas Elway'as Colts'ą išmetė į pirmąją vietą iš Stanfordo 1983 m. jis atsisakė pranešti komandai, sakydamas, kad vietoje jo žais beisbolo žaidimą Niujorko „Yankees“ komandai. Koltai buvo priversti prekiauti „Elway“ į Denverio „Broncos“.
Kad coltams būtų dar blogiau, Irsay'as dažniausiai buvo sunkus viršininkas, kuris buvo liūdnai pagarsėjęs dėl savo nusiteikimo ir, kaip žinoma, piktai pliaukštelėjo žaidėjus ir darbuotojus. 1984 m. Irsay paprašė Baltimorės miesto sumokėti už Memorialo stadiono, kuriame žaidė koltai, patobulinimus. Bet vėlgi, jo netinkamumas galėjo kliudyti. Nors abi šalys papasakojo skirtingas istorijas apie tai, kas vyko derybose, viskas klostėsi ne taip gerai ir kovo 28 d. Merilando valstijos įstatymų leidėjas priėmė įstatymą, leidžiantį jiems Baltimorės miestą pasisavinti koltus iš Irsay. Užuot atsisakius savo komandos, Irsay greitai ėmėsi Indianapolio miesto pasiūlyto susitarimo ir perkėlė koltus, kol kas nors nesužinojo, kas nutiko. Baltimorės gerbėjai buvo priblokšti, o Colts žygiuojanti grupė, ilgai žaidžianti žaidimus, nemandagiai tęsė pasirodymus mieste.
Futbolas negrįžo į žavesio miestą iki 1996 m., Kai Cleveland Browns savininkas Art Modell (1925-2019), ginče su Cleveland miestu dėl stadiono, kuriame žaidė Browns, sutiko perkelti Browns į Baltimorę mainais už visiškai naujas stadionas, pastatytas iš mokesčių mokėtojų pinigų. Nors Brownsas mėgavosi daugelio metų sėkme ir pasiutęs gerbėjų palaikymo būdamas Klivlande, Modell teigė, kad finansiniai sunkumai privertė jo ranką. Brunai buvo pervadinti Baltimore Ravens po eilėraščio „The Raven“, kurį parašė Baltimorės gimtasis Edgaras Allenas Poe. Vadovaujant Brownso „Famer Hall“ generaliniam direktoriui Ozzie Newsome, franšizė pastebėjo nuolatinę sėkmę Baltimorėje, įskaitant pergalę „Super Bowl XXXV“ 2019 m., Kai žaidėjai iš tikrųjų buvo suburti kaip Brownsai.
