Karir Sudi Silalahi cukup cemerlang di dunia militer. Sejumlah jabatan strategi pernah Ia duduki, yakni:
1. Wakil Assospol Kasospol ABRI (1996-1997)
2. Kepala Staf Kodam Jaya (1998)
3. Askomsos Kaster ABRI (1998)
4. Pangdam V Brawijaya Surabaya (1999).
Setelahnya, Sudi Silalahi masuk ke dalam dunia politik. Mantan Presiden SBY disebut sebagai sosok yang mengajaknya terjun ke dunia politik.
Sudi mengawali karir di dunia politik dengan menjadi sekretaris SBY pada 2001-2004. Kala itu SBY merupakan Menko Polkam di masa pemerintahan Presiden Megawati.
Pada 2004, SBY terpilih menjadi presiden dan Sudi Silalahi masuk ke dalam Kabinte Indonesia Bersatu dan menjabat sebagai sekretaris kabinet.