Setelah menyelesaikan studinya di Universitas Islam Madinah, Abdul Gani kembali ke Indonesia dan bekerja di Yayasan Al-Khaairat. Dirinya mulai bekerja di yayasan ini pada tahun 1983-1990.
Tak sampai disitu saja, Abdul Gani juga turut aktif dalam mendirikan sekolah untuk anak yang tinggal di daerah terpencil di Maluku Utara hingga Papua.
Ilmu dakwah dari Abdul Gani ini sempat membawa dirinya untuk menjabat sebagai Wakil Ketua Majelis Ulama Maluku Utara pada tahun 1994-1999. Setelahnya Abdul Gani mengembangkan kiprahnya lewat dunia politik.
Abdul Gani berkiprah dalam dunia politik yang mengantarkan dirinya menjadi anggota DPR pada tahun 2004 - 2007, dari Partai PKS. Setahun berselang, Abdul Gani i terpilih menjadi wakil Gubernur Maluku Utara.
Pada Pilkada tahun 2013, Abdul Gani pu menang dan dilantik menjadi Gubernur Maluku Utara yang didampingi oleh Natsir Thaib sebagai wakilnya.
Lima tahun menjabat, Abdul Gani kembali mencalonkan diri lagi untuk menjadi Gubernur Maluku Utara.bersama wakilnya yaitu mantan Bupati Halmahera Tengah, Al Yasin Ali lewat partai pengusung yaitu PDIP dan PKPI pada Pilkada.
Abdul Gani dan Al Yasin ini dinyatakan sebagai pemenang dengan raihan suara terbanyak, yakni 176.996 suara.
Harta Kekayaan Abdul Gani
Berdasarkan Laporan Harta Kekayaan Penyelenggara Negara (LHKPN) milik Abdul Gani pada periode 2022, dirinya memiliki harta sebesar Rp 6,4 miliar.