Gagasan tentang perlunya lembaga khusus yang mempunyai fungsi-fungsi tertentu dalam ranah kekuasaan kehakiman sebenarnya bukanlah sesuatu yang baru. Dalam pembahasan RUU Ketentuan-Ketentuan Pokok Kekuasaan Kehakiman Tahun 1968 misalnya, sempat diusulkan pembentukan lembaga yang diberi nama Majelis Pertimbangan Penelitian Hakim (MPPH). Majelis ini diharapkan berfungsi memberikan pertimbangan dan mengambil keputusan terakhir mengenai saran-saran dan/atau usul-usul yang berkenaan dengan pengangkatan, promosi, kepindahan, pemberhentian, dan tindakan/hukuman jabatan para hakim yang diajukan, baik oleh Mahkamah Agung maupun oleh Menteri Kehakiman. Namun, ide tersebut menemui kegagalan sehingga tidak berhasil menjadi materi muatan Undang-Undang Nomor 14 Tahun 1970 tentang Ketentuan-Ketentuan Pokok Kekuasaan Kehakiman. Sewaktu terjadi proses reformasi di tahun 1998 gagasan perlunya lembaga khusus yang mempunyai fungsi-fungsi tertentu dalam ranah kekuasaan kehakiman memperoleh perhatian yang sangat signifikan.

Bagian penjelasan umum Undang-Undang Nomor 35 Tahun 1999 tentang Perubahan Atas Undang-Undang Nomor 14 Tahun 1970 tentang Ketentuan-Ketentuan Pokok Kekuasaan Kehakiman menyebutkan bahwa untuk meningkatkan check and balances terhadap lembaga peradilan antara lain perlu diusahakan agar putusan-putusan pengadilan dapat diketahui secara terbuka dan transparan oleh masyarakat. Selain itu perlu dibentuk Dewan Kehormatan Hakim yang berwenang mengawasi perilaku hakim, memberikan rekomendasi mengenai perekrutan, promosi, dan mutasi hakim serta menyusun kode etik bagi para hakim. Ketika proses amandemen UUD 1945 dilakukan, gagasan mewujudkan lembaga khusus sebagai pengawas eksternal badan peradilan demi untuk menegakkan kewibawaan peradilan semakin mendapatkan perhatian yang sangat serius dari para wakil rakyat di DPR. Melalui Amandemen Ketiga Undang–Undang Dasar Negara Republik Indonesia Tahun 1945 pada tahun 2001 disepakati tentang pembentukan Komisi Yudisial. Ketentuan mengenai Komisi Yudisial diatur dalam Pasal 24B Undang-Undang Dasar Negara Republik Indonesia Tahun 1945. Maksud dasar yang menjadi semangat pembentukan Komisi Yudisial disandarkan pada keprihatinan mendalam mengenai kondisi wajah peradilan yang muram dan keadilan di Indonesia yang tak kunjung tegak. Komisi Yudisial karenanya dibentuk dengan dua kewenangan konstitutif, yaitu untuk mengusulkan pengangkatan hakim agung dan mempunyai wewenang lain dalam rangka menjaga dan menegakkan kehormatan, keluhuran martabat, serta perilaku hakim. Selanjutnya, dalam rangka mengoperasionalkan keberadaan Komisi Yudisial, dibentuk Undang-Undang Nomor 22 Tahun 2004 tentang Komisi Yudisial yang disahkan di Jakarta pada tanggal 13 Agustus 2004.

Setelah Undang-Undang Nomor 22 Tahun 2004 tentang Komisi Yudisial disahkan, selanjutnya Pemerintah membentuk panitia untuk melakukan seleksi calon Anggota Komisi Yudisial Periode 2005 – 2010. Melalui seleksi yang ketat, terpilih 7 orang yang ditetapkan sebagai Anggota Komisi Yudisial Periode 2005 - 2010 yaitu M. Busyro Muqoddas, S.H., M.Hum, M. Thahir Saimima, S.H, Prof. Dr. Mustafa Abdullah, S.H., M.H, Irawady Joenoes, S.H, Zainal Arifin, S.H, Prof. Dr. Chatamarrasjid Ais, S.H., M.H, dan Soekotjo Soeparto, S.H., LL.M. Selanjutnya, pada tanggal 2 Agustus 2005, ketujuh Anggota Komisi Yudisial perdana ini mengucapkan sumpah di hadapan Presiden, sebagai awal memulai masa tugasnya. Ketua Komisi Yudisial periode 2005 – 2010 kemudian dijabat oleh M. Busyro Muqoddas, S.H., M.Hum dengan Wakilnya M. Thahir Saimima, S.H. Mereka dipilih melalui proses pemilihan yang dilakukan dari dan oleh para Anggota Komisi Yudisial.

Pada tanggal 20 Desember 2010 masa jabatan Anggota Komisi Yudisial Periode 2005 – 2010 berakhir dan digantikan oleh Anggota Komisi Yudisial Periode 2010 – 2015. Ketujuh Anggota Komisi Yudisial Periode 2010 – 2015 pada tanggal tersebut mengucapkan sumpah di hadapan Presiden di Istana Negara dan secara resmi menjadi Anggota Komisi Yudisial. Sehari setelahnya, 21 Desember 2010, dilaksanakan proses serah terima jabatan Anggota Komisi Yudisial Periode 2005 – 2010 kepada Anggota Komisi Yudisial Periode 2010 – 2015 di kantor Komisi Yudisial. Anggota Komisi Yudisial Periode 2010 - 2015 yaitu Prof. Dr. H. Eman Suparman, S.H., M.H, H. Imam Anshori Saleh, S.H., M.Hum, Dr. Taufiqurrohman S, S.H., M.H, Dr. Suparman Marzuki, S.H., M.Si, H. Abbas Said, S.H., M.H, Dr. Jaja Ahmad Jayus, S.H., M.Hum, dan Dr. Ibrahim, S.H., M.H., LL.M. Proses suksesi keanggotaan ini dilanjutkan dengan Pemilihan Ketua dan Wakil Ketua Komisi Yudisial, yang dipilih dari dan oleh Anggota Komisi Yudisial, pada 30 Desember 2010. Hasilnya, Prof. Dr. H. Eman Suparman, S.H., M.H terpilih sebagai Ketua dan H. Imam Anshori Saleh, S.H., M.Hum terpilih sebagai Wakil Ketua. Berdasarkan Pasal 6 ayat (2) Peraturan Komisi Yudisial Nomor 1 Tahun 2010 tentang Tata Cara Pemilihan Pimpinan Komisi Yudisial, masa jabatan Ketua dan Wakil Ketua Komisi Yudisial dijalankan selama 2 tahun 6 bulan dan dapat dipilih kembali untuk 2 tahun dan 6 bulan berikutnya.

Undang-Undang Komisi Yudisial juga telah mengalami perubahan. Tanggal 9 November 2011 Presiden Susilo Bambang Yudhoyono mengesahkan Undang-Undang Nomor 18 Tahun 2011 Tentang Perubahan Atas Undang-Undang Nomor 22 Tahun 2004 Tentang Komisi Yudisial. Perubahan Undang-Undang Komisi Yudisial dilakukan setelah Mahkamah Konstitusi dalam putusannya Nomor 005/PUU-IV/2006 menyatakan beberapa pasal dalam Undang-Undang Nomor 22 Tahun 2004 bertentangan dengan Undang-Undang Dasar Negara Republik Indonesia Tahun 1945 dan tidak mempunyai kekuatan hukum mengikat. Sehingga, Mahkamah Konstitusi merekomendasikan agar dilakukan perubahan terhadap Undang-Undang Nomor 22 Tahun 2004.