Sebelum terjun ke dunia politik, ia diketahui merupakan anggota tentara dengan jabatan terakhir Letnan Jendral atau Letjen.
Sudi Silalahi pun sembat menduduki sejumlah jabatan penting selama berkarir di dunia militer.
Sejumlah jabatan strategis yang pernah dijabat oleh Sudi Silalahi diantaranya adalah Wakil Assospol Kasospol ABRI (1996-1997), Kepala Staf Kodam Jaya (1998), Askomsos Kaster ABRI (1998) dan Pangdam V Brawijaya Surabaya (1999).
Sudi Silalahi pun dikenal dekat dengan mantan presiden Susilo Bambang Yudhoyono. Bahkan SBY bisa dikatakan orang yang membawanya ke dunia politik.
Perjalanan karir Sudi Silalahi dimulai ketika ia dipercaya menjadi sekretaris SBY ketika masih menjabat sebagai Mentri Koordinator Bidang Politik dan Kemananan di era Megawati Soekarnoputri.
Setelah menjabat sebagai presiden pada periode 2004-2009, SBY pun masih melibatkannya dalam kabinet pemerintahannya.
Baca Juga: Profil Pelita Air Service, Maskapai Pesawat Terbang yang Disebut Akan Gantikan Garuda Indonesia
SBY mempercayakan jabatan Sekretaris Kabinet Indonesia Bersatu kepada Sudi Silalahi pada masa kepemimpinan pertamanya.
Pada periode selanjututnya, Sudi Silalahi kembali dipercaya duduk di kursi Mensesneg dibawah pemerintahan SBY.