Manastir se nalazi u južnom delu Bačke, i od najstarijih vremena bio je poprište važnih istorijskih događaja, pre svega zbog strateški izuzetno važnog položaja. Mnogobrojne vojske prelazile su reke Savu i Dunav u blizini manastira, još od starih Rimljana pa kasnije srpske, turske, mađarske. Zbog toga je i manastir Kovilj neretko bio u središtu vojnih zbivanja. Na drugoj obali Dunava su Sremski Karlovci, značajno kulturno i crkveno sedište srpskog naroda u proteklim vekovima kao i Petrovaradinska tvrđava.

Monaške naseobine se po pravilu osnivaju na brižljivo biranim skrovitim mestima, gde bi mogli da provedu život u molitvi i podvizima, a da su im blizu važniji putevi, izvori vode ili još bolje reka. Uzdignut i suv teren predstavljao je povoljne prirodne uslove za naseljavanje. O vremenu nastanka manastira Kovilja i njegovom osnivaču nema pouzdanih istorijskih izvora. Naša saznanja o tome utemeljena su na legendama, a u istoriografiji postoje oprečna mišljenja. Iako se neke pretpostavke oslanjaju na tradiciju, ni jednu ne možemo da prihvatimo sa potpunom sigurnošću.

Srpski vladari i crkveni velikodostojnici iz roda Nemanjića  bili su osnivači i ktitori mnogih manastira. Prema predanju manastir Kovilj je osnovan početkom 13 veka. Po jednoj verziji, prilikom krunisanja 1217. Stefan Prvovenčani je da bi izbegao rat sa Ugarskom poslao brata Sv.Savu da pregovara sa njihovim kraljem Andrijom II Arpadovićem kome se nije dopalo da Srbija ima kralja. Diplomatski pregovori su uspešno završeni, a na tom mestu je podignut ovaj manastir.

Postoji i mišljenje da je manastir podignut kao metoh srpskog arhiepiskopskog sedišta manastira Žiče. Zatim, pojedini istoričari pronalaze predanje po kom je manastir podigao srpski kralj gospodar Beograda Dragutin (1276-1282).

Pominje se mogućnost da je potencijalni srednjevekovni hram u Kovilju podignut na mestu neke još starije kultne građevine iz ranohrišćanskog perioda. Često se može naići i na verziju u literaturi po kojoj je ovaj manastir podignut na temeljima franjevačkog  samostana osnovanog 1421. Ovo su samo neke od pretpostavki koje su brojne ali materijalni dokazi koji bi potkrepili tvrdnje ne postoje. Najstariji pisani poznati podaci o manastiru Svetih arhistratiga Mihajla i Gavrila potiču iz sredine 17 veka, kada je konjički pukovnik Marije Terezije grof. Valis 1775. dobio zadatak da kao carski poverenik snimi stanje manastira Kovilj. On je tada zabeležio da postoji na ulazu zapis na srpskom jeziku iz 1651.

O poreklu imena manastira postoje takođe brojne pretpostavke: Prema jednom mišljenju u okolini manastira je raslo svetložuto mirisno cveće kovilje. Po drugoj verziji ime je dobio po srednjevekovnom rimokatoličkom titelskom manastiru Kabul. Postoji takođe i mišljenje da se upravo na ovom mestu sapleo Atilin konj, pa je to mesto nazvano Kobolt.

Patroni koviljskog manastira su Sveti arhangeli Mihajlo i Gavrilo. Sveti arhangel Mihajlo je vojskovođa cele angelske vojske i borac protiv verskih jeresi. Sveti arhangel Gavrilo je blagovestitelj i pojavljuje se među ljudima kao vesnik volje Božje. Manastirska slava se obeležava svake godine na dan Sabora Svetog arhangela Gavrila  13/26 jula. U manastiru se nalazi zajednica monaha posvećena podvižničkom životu po ugledu na vizantijske zajednice, nalazi se pod rukovodstvom manastirskog starešine Njegovog starešine episkopa jegarskog gospodina Porfirija vikarnog episkopa Bačkog.

Srpski manastiri su bili najznačajniji duhovni centri i stecišta obrazovanih ljudi. U koviljskom manastiru postojala je srpska osnovna škola jš 1607. Tada se učilo samo čitanje i pojanje a kasnije i pisanje i računanje. Nastava je bila religioznog karaktera, a čitanje se učilo iz bogoslužbenih knjiga. Na čelu uprave manastira nalazi se iguman, koga obično bira manastirsko bratstvo. Na blagostanje manastira i bratstva u duhovnom i materijalnom pogledu presudno je uticala ličnost arhimandrita i igumana manastira.

Jovan Rajić, poznati srpski istoričar, pisac, pedagog rođen u Sremskim Karlovcima 1726. putovao je na Svetu Goru, prikupljao dragocene izvore i građu koju će pretočiti u svoju Istoriju. Zamonašio se  12.5.1772. u manastiru Kovilj gde je rukopoložen za jeromonaha u Sabornom hramu u Novom Sadu, iste godine malo kasnije rukopoložen je za igumana, a 3. juna postaje arhimandrit koviljskog manastira. Napisao je i Katihizis koji je zbog svoje opširnosti nazvan Veliki Katihizis, a kasnije je napisao i mali Katihizis. Veliki odjek u srpskoj kulturi, nauci i politici proizvelo je njegovo delo Istorija raznih slovenskih naroda Bugara, Hrvata i Srba. Smatra se da je tim delom počelo moderno izučavanje istorijskih nauka kod Srba. Sahranjen je 11.12.1801. u crkvi manastira Kovilja sa najvećim počastima.

Današnji izgled crkve manastira, svojom arhitekturom podseća na srpske srednjovekovne manastire a najviše na manastir Manasiju koji joj je arhitektonski uzor. Manastir pored toga što poseduje zgradu, hram i konake on je u stvari prevashodno zajednica ljudi koji su bili spremni da se odreknu svega što ovaj svet nudi i da dođu na jedno mesto molitve, gde se uspostavlja mir i harmonija u samom čoveku. Bratstvo manastira Kovilj broji 30 monaha, što ga čini jednim od najbrojnijih muških manastira u okviru Srpke pravoslavne crkve. Skoro polovina monaha je visokobrazovana a jedan deo nastavlja obrazovanje i usavršavanje teološkim naukama. Pored redovnih molitava i rada na imanju pevaju u čuvenom manastirskom horu koji neguje tradicionalno vizantijsko pojanje.. u manastiru se još prave sveće,slikaju ikone... bave se proizvodnjom meda od belog bosiljka, voćne rakije, konjak i liker od oraha...

Do sredine 18 veka Trci su u dva maha opustošili manastir. Nakon stradanja monasi su pomoć u novcu, knjigama i bogoslužbenim predmetima tražili i nalazili u drugim srpskim manastirima, ali i drugim državama. Često je pomoć dolazila i iz Rusije. U poslednjim decenijama 18. veka Kovilj ponovo strada od Turaka.

Prva velika obnova manastira bila je sredinom 19 veka, kada je stari koviljski hram srušen, a taj materijal upotrebljen za zidanje monaških ćelija. Pored znatne materijalne pomoći sa raznih strana manastir je obnovljen samo delimično. Dok se sa uređenjem unutrašnjosti moralo čekati na bolja vremena. Obnova celokupnog manastirskog kompleksa završena je tek na kraju 19. veka.

Na čelu uprave manastira nalazi se iguman, koji je obično biran između monaha manastirskog bratstva,arhimandrit takođe učestvuje u upravljanju.

Taman kada je nastao period blagostanja i napretka krajem 19. i početkom 20. veka, počeo je I svetski rat i nova stradanja. U ratno vreme vlast je uzimala materijalna sredstva gde god i kad god je to bilo moguće. Osim materijalnih sredstava otimali su i zalihe hrane, ovce, zvonik, sve što je moglo da opsluži. Po završetku rata sprovedena je agrarna reforma i pošto je manastir prevazilazio propisni maksimum, oduzet je deo poseda. Tridesetih godina 19 veka u manastiru su se dogodile velike promene. Kovilj je pretvoren u ženski manastir, a iskušenici i manastirski đaci upućeni u manastir Bođani. Na drugi dan Uskrsa 14. aprila 1940. mađarska vojska je ušla u selo Kovilj, monahinje su ostale još godinu dana da bi opet na drugi dan Uskrsa bile proterane u Srem, manastir je opljačkan. Posle 2 meseca u Kovilj se vraćaju monasi iz manastira Bođana, koji je takođe bio raseljen i opljačkan. Pred kraj rata mađarske vlasti su vratile celokupno manastirsko imanje upravi manastira. Državne vlasti su u septembru 1945. oduzele imanje manastiru. Potom je 1948. oduzeto još 10 hektara zemlje uz obrazloženje da ovaj kompleks nije od većeg istorijskog značaja. U posleratnom periodu monahinje se više nisu vraćale ovamo, ali je broj muških monaha varirao, 1979-80 manastirsko bratstvo nije uspevalo uspešno da vodi manastir. Posle 1990 manastirsko bratstvo je obnovnjeno i manastir Kovilj živi i danas. Tradicija uspešnog stočarstva u manastiru nastavljena je i u današnje vreme, uzgajaju se krave i proizvodi sir i mlečni proizvodi. U manastirskoj bašti uzgajaju različito povrće. Proizvode se i mnogobrojni posni proizvodi, koje konzumiraju a nešto prodaju i u Novom Sadu. Od ovih prihoda izdržavaju grupu mladih ljudi koji se uz pomoć i brigu koviljskih duhovnika uspešno leče od bolesti zavisnosti.

2008. uspeli su da vrate ekspropisanu manastirsku zemlju posle Drugog svetskog rata oko 1000 hektara. Koviljski monasi proizvode rakiju, med. Okruženi su šumama 14 hektara bresta, drena, trnjina, ringlova, gloga i drugog rastinja što je dobro za pašu pčela. Od pčelinjeg voska proizvode sveće kojima snabdevaju crkve u Bačkoj eparhiji. Život u manastiru organizovan je prema strogom poretku, gde svaki monah ima svoje zaduženje, neguju talente i znanja. Tako u manastiru postoji oftamološka ordinacija, ikonopisačka radionica, slikarski atelje, specifičan crkveni hor koji neguje starovizantijsko crkveno pojanje, sa nekoliko audio izdanja  svojih interpretacija.

U osnovnoj školi „Laza Kostić“ u Kovilju, monasi ovog manastira drže časove veronauke, tako doprinose duhovnom i kulturnom prosvećivanju mladog naraštaja.