После Октябрьской революции в 1917—1920 председатель Московского совнархоза, член Президиума ВСНХ, председатель Центротекстиля, председатель ЦК профсоюза рабочих транспорта, председатель Туркестанской комиссии ВЦИК и Туркестанского бюро РКП(б), член Президиума и генеральный секретарь ВЦСПС.
1924—1930 — нарком путей сообщения СССР.
1926—1937 — заместитель председателя СНК и СТО СССР.
С 1931 — председатель ЦКК ВКП(б) и нарком РКИ СССР.
24 мая 1937 был арестован по обвинению в «контрреволюционной троцкистской деятельности и шпионаже в пользу нацистской Германии». На допросах неоднократно подвергался пыткам и избиениям, но виновным себя не признал и показаний не дал. Военной коллегией Верховного суда СССР приговорен к смертной казни. Расстрелян 29 июля 1938 года. В 1956 полностью реабилитирован и восстановлен в партии.
Некоторое распространение имел слух о том, что якобы Ленин перед смертью видел своим преемником именно Рудзутака. В своих мемуарах Микоян утверждает, что Ленин предлагал Рудзутака на должность Генерального секретаря вместо Сталина.
