1895-ben született Pákán. Később, mikor édesapja halála után édesanyjával és testvéreivel Győrbe költözött, a bencéseknél tanult.

1912–ben felvételt nyert a Piarista Tanítórendbe. Egy évi váci noviciátus után a gimnázium 7.-8. osztályát a kecskeméti piarista gimnáziumban végezte el. Itt érettségizett, jeles eredménnyel, 1915-ben. Mivel ősei - atyai ágon - kétszáz évre visszamenően mind néptanítók voltak, ő sem gondolt más hivatásra. Így egyetemi tanulmányait a Budapesti Tudományegyetemen kezdte meg 1915-ben, mint számtan-fizika szakos piarista tanárjelölt. A számtan-fizika szakot azért választotta, mert ösztönösen vonzódott a tárgyi, a bizonyítható igazságok felé.

Mikor tanítani kezdett még akkor sem léteztek olyan tudományos könyvek, amelyeket nyugodtan ajánlhatott volna az ifjúságnak. Az egyetemen sem kísérletek bemutatásával oktatták a tantárgyakat, s csak Eötvös Lóránd óráin látott kísérleteket az első évben.

Valamennyi vizsgáját kitüntetéssel tette le és 1919-ben fejezte be egyetemi tanulmányait. Először Szegeden majd Tatán, Vácon és Budapesten tanított piarista gimnáziumokban.

Egy kölcsön kapott német nyelvű, a mindennapi megfigyelések alapján érdekes ismereteket közlő meteorológiai könyv hatására kezdett el írni. Irodalmi munkássága 32 könyv, sok-sok cikk és feljegyzés. Ezek közül néhányat idegen nyelvre is lefordítottak. Műveiben a tanításban szerzett tapasztalatai keltek életre.
Öveges József tudományos tevékenysége mellett a sportot szerető, természetjáró ember volt. Sok fiatalt tanított meg úszni, korcsolyázni. Tatán ő honosította meg a jégvitorlázást.

Húsz éven át tanított vidéken, de a kitunő tanár híre messzire elterjedt, s a fővárosba helyezték. Volt tanítványai legendákat mesélnek óráiról. Öveges titka valószínűleg az egyszerűség volt. Erről azt tartotta: "A legegyszerűbb a legművészibb." Óráin egyébként ötöst csak az kaphatott, aki nem vett krétát a kezébe és a legbonyolultabb levezetést vagy jelenséget maga elé képzelve tudta elmondani. Egyik leghíresebb tanítványa Dr. Bászel Károly, aki Hollandiában és Németországban futott be tudományos karriert, elmesélte, hogy találmányainak zömét Öveges módszerének köszönheti. Mivel a legtöbb kutató csak laboratóriumban vagy rajzasztal mellet tud valami újat kitalálni, ő azonban erdőben sétálva, sötétben, álmatlan éjszakáin is tudott „kísérletezni”, mert maga elé tudta képzelni mindazt amiből egy találmánya megszületett.

A második világháború után a Közgazdasági Egyetem fizika professzora, majd 1948-ban a megalakult Pedagógiai Főiskola tanszékvezető egyetemi tanára lett, tevékenységét Kossuth-díjjal ismerték el.

1955-ben a főiskola megszűnésekor saját kérésére nyugdíjba vonult, hogy irodalmi munkásságát még hatékonyabban folytathassa.

1958-ban a Miskolci Nehézipar Muszaki Egyetem meghívta tanszékvezető egyetemi tanárnak. Ezt - saját szavaival - a következők miatt utasította vissza:
„A megtisztelő felhívást - őszinte fájdalmamra - nem fogadhattam el, mert ez akadályozott volna abban, hogy könyveimen, a rádióban, a televízióban akkoriban kibontakozó adásaimon keresztül olyan mértékben lehessek a »nép tanítója«, mint szerettem volna.”

A rádióban 256 előadást tartott, a televízióban pedig 135 alkalommal szerepelt nagysikerű sorozataival. Szórakoztatva mutatta be játékos, a jelenségek lényegének megértését segítő, kísérleteit, s a magyarázat közben maga is fellelkesült. Hitt az élő szó hatásában, a tanári magyarázat erejében. Mindig a közönség helyébe képzelete magát, csak azt mondta el, amit maga is szívesen hallott volna. Színészi fogásokkal fűszerezte mondanivalóját. Csak olyan kísérletet mutatott, amelyeket a nézők bármelyike utánozhatott otthon.
Népszerűvé vált, a „fizika varázslójának” nevezték.

Az Eötvös Lóránd Fizikai Társulat az 1976-ban alapított kitüntetését, a Prometheusz érmét első ízben Öveges Józsefnek ítélte oda a fizikai ismeretterjesztésért.
Öveges József élete során mindig segítette nehéz sorsú embertársait, kiállt az üldözöttek az elnyomottak mellett, nemegyszer élete kockáztatásával próbált rajtuk segíteni.

Idősebb korában is sokat dolgozott. Éppen egy kísérletet mutatott be valakinek miközben agyvérzést kapott.
1979. szeptember 4-én halt meg.

Nevének választásával előadótermünk tisztelegni kíván emléke előtt és szeretné átörökíteni azt a szemléletet, amelyet Ő vallott:
„Az oktatás célja nem az, hogy befejezett tudást adjon, hanem az, hogy szilárd alapot teremtsen a továbbhaladásra.”