Irodalmi működése az 1849-ik évvel kezdődik. Lírai dolgozatai már ekkor feltűnést keltettek. Későbbi munkássága és lángoló szerelme nejéhez, Licsanin Rózához, majd ennek elveszte fölötti igaz fájdalma megteremtették a szerb költészet igazgyöngyeit, és költőjüket a szerb nép Petőfijévé avatták. Széleskörű munkásságot fejtett ki az irodalom többi ágaiban is. A Neven (Peremér, Borongó virág) című gyermeklapot 1880-90-ben és a Javor (Jávorfa, ebből a fából szokták a guszlát csinálni) szépirodalmi lapot 1862-63-ban Jovanović alapította, versei és prózai dolgozatai pedig mindkét lapot elterjedtté tették a szerb olvasóközönség körében. 1857-ben jelent meg Jovanović szerb fordításában Arany János Toldija, s a kritika egyhangúlag ugy nyilatkozott, hogy a fordítás szépségei mit sem engednek az eredetinek. Ezt követték 1860-ban Petőfi Sándor János vitéze; 1870-ben Arany Toldi estéje és 1878-ban Murány ostroma; 1890-ben pedig Madách Imre, Az ember tragédiája készült el nem kevésbé kitűnő fordításban. Fordított még kisebb költeményeket Petőfitől, Gyulaitól, Jókaitól, Aranytól (Walesi bárdok), Garaitól (Kont), Czuczortól, Tóth Kálmántól. Németből számos kisebb dolgozaton (főleg Heine-i dalokon) kívül 1861-ben Hafiz és Bodenstedt után a Keleti gyöngyöknek és Mirza Schaffy dalainak remek fordításával ajándékozta meg a szerb irodalmat. Fordított még sok dalt Bérangerből, Enoch Ardent Tennysontól (1880), a Démont Lyermontofftól (1864). Jovanović műfordítói tevékenységét és a magyar irodalom ismertetése körül szerzett érdemeit a Kisfaludy Társaság azzal hálálta meg, hogy őt 1867-ben levelező tagjává választotta. Ifjú korában a Komaracot Jovanović dolgozatai tették kedveltté. Pesti tartózkodása alatt 1864-től 1871-ig a Zmajt (jelentése: sárkány) szerkesztette, melynek élcei és humora oly közkedveltségűekké lettek, hogy a lapot a közönség azonosította a szerzővel, így kapta Jovanović a Zmaj melléknevet. 1873-74-ben a Zsizsa (Szikra) élclapot szerkesztette Pancsován, 1878-1889-ben a Sztarmali (A kis okosdi) címűt Újvidéken, 1877-78-ban az Ilustratova Ratna Kronikát (Képes hadi krónika, csataképek, leírások a szerb-török háborúból). 1874. október 20-án ülte meg a szerb nép Jovanović 25 éves írói jubileumát.
A legjelentősebb gyűjteménye a "Đulići" (Rózsák) és a "Đulići uveoci"(Fonnyadt rózsák) versek, az első egy boldog családi életről szól, a második a fájdalom a szeretteikért. Lírai dalok mellet, szatirikus és politikai dalokat is írt, és ez volt az első író, aki szerb irodalomban a gyermekek számára verseket írt. A Zmaj születési helye a Sremska Kamenica és egykor Zmajeva Kamenica névnek mondták (Sárkány Kamenica), Jovan Jovanović Zmaj-nak (Sárkány) tiszteletére.