Člen bronzové veslařské čtyřky s kormidelníkem na olympijských hrách, medaile sbíral i na dvojce.

Na OH 1972 v Mnichově Karel Neffe spolu s Vladimírem Janošem, Otakarem Marečkem, Františkem Provazníkem a kormidelníkem Vladimírem Petříčkem nestačili pouze na obě favorizované německé lodě. Stejného umístění dosáhla tatáž posádka i na mistrovství Evropy 1973 v Moskvě, na dalších hrách v Montrealu skončila v mírně pozměněné sestavě čtvrtá.

Neffe pak přesedl na dvojku a s Karlem Mejtou a kormidelníkem Jiřím Ptákem získal na mistrovství světa 1977 v Amsterdamu bronz a o rok později v Karapiru stříbro. Na olympiádě v Moskvě skončil s osmou čtvrtý, poté se vrátil na čtyřku a na MS 1982 v Lucernu si s ní dojel pro bronz. Po ukončení závodní kariéry v roce 1984 se dal na trénování, vedl i reprezentaci.