Hij wordt als één van de grondleggers van de kernfysica beschouwd. In 1902 isoleerde hij, tezamen met F. Soddy, radon uit thorium en in 1903 stelde hij, opnieuw met Soddy, een hypothese op over het natuurlijke radioactieve verval van de elementen.
Hij ontwikkelde in 1911 een model over de atoombouw, dat naar hem genoemd zou worden. Hiervoor voerde hij de eveneens naar hem genoemde proef uit, waarbij een uiterst dunne goudfolie werd beschoten met a-deeltjes en waaruit hij op grond van de afbuiging aantoonde dat de atoomkernen positief waren en de afstand tussen kern en elektronen relatief zeer groot was.
Hij ontdekte in 1919 als eerste de kunstmatige splitsing van kernen, bij beschieting van stikstofatomen met a-deeltjes. Met H. Geiger ontwikkelde hij en methode om deze deeltjes te tellen. Hij stelde vast dat deze deeltjes heliumkernen waren, voorspelde het bestaan van neutronen (1920) en bepaalde experimenteel het getal van Avogadro.
In 1934 verkreeg hij, samen met M. L. Oliphant en P. Harteck het waterstofisotoop tritium door beschieting van deuterium met deuteronen.
In 1908 ontving hij de Nobelprijs voor scheikunde.