Ketika Jokowi maju sebagai Gubernur DKI Jakarta pada 2012, Rudyatmo menggantikan posisi sebagai Wali Kota Surakarta dan dilantik pada 19 Oktober 2012. Ia kemudian terpilih kembali untuk periode 2016–2021.
Rudyatmo sempat menjadi sorotan karena dukungannya terhadap Ganjar Pranowo sebagai capres 2024, yang berujung pada peringatan dari Dewan Kehormatan DPP PDIP karena dianggap melanggar disiplin partai.
Ia juga pernah diisukan akan menjabat sebagai Menteri Sosial menggantikan Juliari Batubara.