Palotai Károly 1935. szeptember 11-én született Békéscsabán. 1950-ben kezdett futballozni a Békéscsabai Építőkben, 1954 decemberében a Viharsarokból ment Győrbe.
Először hátravont középcsatárként próbálgatták a tartalékban. Fél év múlva bemutatkozott az első csapatban. 1956 őszén elhagyta az országot, Pálfy Antallal és hét évvel idősebb fivérével, az A-válogatottban is szerepelt Palotai Jánossal a Freiburger FC-hez került. 1958-ban jött haza Németországból.
Játékos-pályafutása legnagyobb sikerét az olimpiai válogatottal érte el 1964-ben. Az együttes hét mérkőzéséből haton pályára lépett Japánban, és egy gólt szerzett. Tokióban aranyérmes lett, de a csehszlovákok elleni döntőből sérülése miatt hiányzott. Csak évekkel később kapta meg az aranyérmét.
Klubjával 1963 őszén megnyerte az őszi (egyfordulós) bajnokságot, valamennyi bajnokin (13) szóhoz jutott. 1964-ben bekerült az Év csapatába a Labdarúgásnál. 1967-ben bronzérmet szerzett a Győri Vasas ETO-val. 1964 és 1968 között a gárda zsinórban négy Magyar Népköztársasági Kupa-sorozat döntőjébe jutott, hármat megnyert. Az 1964-est elveszítette a Győr a Honvéd ellenében (0:1), azon Palotai Károly nem szerepelt. Az 1965-ös fináléban 4:0-ra megverte az ETO a Diósgyőrt, ő végigjátszotta a 90 percet. Az 1966-os dupla döntő első menetét kihagyta (1:1), a másodikon ellenben vezérletével verték meg a Fradit 3:2-re a Népstadionban. 1967-ben nélküle aratott egygólos sikert a csapat a Salgótarjáni BTC ellen (1:0).
Az 1964–1965-ös BEK-ben fantasztikusan menetelt az ETO. Kiütötte az NDK-beli Chemie Leipziget (2:0, 4:2), a bolgár Lokomotiv Szófiát (5:3, 3:4), valamint a holland DWS Amsterdamot (1:0, 1:1), és bejutott az elődöntőbe. A Benfica elleni „hazai” meccsét aztán a nagy érdeklődésre való tekintettel a Népstadionba vitte a Győr, ahol 70 000 néző előtt 1:0-ra veszített. Tóth kapus sérülése miatt Palotai Károly már fel is húzta a fekete kapusdresszt, de végül mégsem kellett a gólvonal elé állnia. A történetet Lakat T. Károly elevenítette fel a Helyünk a kupanap alatt című könyvben, hajdanán, labdaszedőként pár centiméterről figyelhette az esetet: „A José Augustóval történt összecsapás után a győri kapus, Tóth László megsérült, és minden jel arra mutatott, hogy – mivel a cserét akkoriban még a kapus sérülése esetén sem engedélyezték a nemzetközi kupamérkőzéseken – Palotainak kell a kapuba állnia. A győriek kapitánya a magáról lecibált 5-ös számú mezt kezembe nyomta, és már húzta is magára Tóth fekete 1-esét, de aztán a gyúrói dörzsölgetésnek és kevéske csodakrémnek hála, a kapus mégis csak vállalta a további játékot.”
A visszavágón taroltak a lisszaboni „sasok”, 4:0-val küldtek haza a magyarokat. A nyolc kupatalálkozóból heten ott volt a dirigens, egy találatot jegyzett.
Szinte hihetetlen, hogy Palotai Károly egyszer sem lehetett nagyválogatott! Ugyanakkor 1960 és 1964 között tízszer volt B-válogatott, s egy gólt szerzett a színeiben. 1963-tól 1964-ig harmincszor (!) viselte az olimpiai válogatott felszerelését (a nem hivatalos mérkőzések is szerepelnek a statisztikában), és háromszor talált a kapuba. 1967. május 3-án játszott utoljára bajnokit, az ETO 2:2-re végzett az MTK-val.
Hamarosan fantasztikus játékvezetői karrier kezdődött: 1974-ben, 1978-ban és 1982-ben a világbajnokságon, 1972-ben és 1976-ban az olimpián, 1980-ban az Európa-bajnokságon vezethetett. 1975 és 1981 között csak 1980-ban nem kapott valamelyik kontinentális kupadöntőben bírói szerepet. 1976-ban például ő dirigálta a Bayern München–St.Étienne, 1981-ben a Liverpool–Real Madrid BEK-finálét. A leghíresebb 90 perce fekete uniformisban az 1978-as Mundialon megrendezett argentin–brazil volt (0-0). Vitathatatlan érdeme, hogy Rosarióban sikerült a felajzott felek brutális »bokaviadalát« halottak és kiállítások nélkül levezényelnie.
Sportvezetőként is tevékenykedett. 1990-ben a Győr-Moson-Sopron megyei Labdarúgó-szövetség elnökévé választották. 1998-ig töltötte be ezt a szerepkört. 1985 és 2005 között az UEFA játékvezetői ellenőreként járta az európai stadionokat, s felügyelt a mérkőzések tisztaságára. 2012-ben Győr város díszpolgára lett, 2014-ben jelölték a Prima Primissima díjra.
