Majlis Raja-raja ditubuhkan secara formalnya dalam tahun 1948 apabila Persekutuan Tanah Melayu diwujudkan. Sebelum Persekutuan wujud, sembilan Negeri-negeri Melayu dan dua Negeri-negeri Selat (British Straits Settlements) telah ditadbir sebagai Malayan Union di bawah pemerintah tertinggi seorang Gabenor British, iaitu antara 01.04.1946 dan 31.01.1948. Singapura yang juga adalah sebuah Negeri Selat telah dipisahkan sebagai Tanah Jajahan British (British Crown Colony). Malayan Union menggantikan Pentadbiran Tentera British (British Military). Administration (September 1945-April 1946) yang memerintah sementara selepas kekalahan Jepun yang menakluki Negara ini dari akhir 1941 hingga September 1945.
Sebelum itu Negeri-negeri di Semenanjung di perintah secara berlainan iaitu terdapat lima Negeri Melayu yang tidak bergabung (Kedah, Perlis, Kelantan, Terengganu dan Johor manakala empat pula bergabung sebagai Negeri-negeri Melayu Bersekutu (Federated Malay States) terdiri daripada Pahang, Perak, Selangor dan Negeri Sembilan antara 1896 dan 1941 dan juga tiga Negeri-negeri Selat iaitu Pulau Pinang, Melaka dan Singapura.
Negeri-negeri Melayu Bersekutu menganjurkan Durbar iaitu forum bersama antara Raja-raja dan pihak pentadbir British yang bermesyuarat dari masa ke masa. Durbar itulah precursor iaitu pelopor kepada Majlis Raja-raja sekarang.
Pada asalnya penjawat jawatan Penyimpan Mohor Besar Raja-raja ialah kakitangan kerajaan yang paling kanan. Telah diputuskan dalam salah satu Mesyuarat Majlis Raja-raja bahawa jawatan Penyimpan Mohor Besar ini tidak boleh kurang tarafnya daripada Menteri Besar yang paling kanan, yang pada masa itu merupakan seorang kakitangan kerajaan yang kanan. Justifikasinya ialah Penyimpan Mohor Besar Raja-raja bertindak bagi pihak semua Raja, manakala Menteri Besar hanya mewakili Rajanya sahaja. Tambahan lagi Raja-raja masih mempunyai sedikit kuasa eksekutif dan dengan demikian Baginda sekalian memerlukan seorang pegawai kanan. Selepas merdeka, kuasa eksekutif Raja-raja dipindahkan kepada rakyat. Maka jawatan Penyimpan Mohor Besar Raja-raja tidak lagi mendukung tanggungjawab seperti yang pernah termaktub sebelumnya. Jadual Kelima dalam Perlembagaan Persekutuan memperuntukkan bahawa: “3. Majlis Raja-raja hendaklah mempunyai suatu Mohor Besar Raja-raja yang hendaklah dalam jagaan seseorang yang dilantik oleh Majlis itu. 4. Orang yang dilantik dibawah Seksyen 3 hendaklah dikenali sebagai Penyimpan Mohor Besar Raja-raja, hendaklah bertindak sebagai Setiausaha Majlis Raja-raja dan hendaklah memegang jawatannya selama yang diperkenankan oleh Majlis itu. “6. Penyimpan Mohor Besar Raja-raja hendaklah memanggil mesyuarat Majlis Raja-raja bilamasa dikehendaki berbuat sedemikian oleh Yang di-Pertuan Agong atau oleh tidak kurang daripada tiga orang anggota Majlis itu dan, dengan tidak dikehendaki berbuat sedemikian, tidak lewat daripada empat minggu sebelum habis tempoh jawatan Yang di-Pertuan Agong dan apabila berlaku kekosongan dalam jawatan itu atau dalam jawatan Timbalan Yang di-Pertuan Agong.” Gelaran “Penyimpan Mohor Besar Raja-raja” (“The Keeper of the Rulers’ Seal”), dibawa jauh dari England ke Malaysia melalui India. Ia berasal dari Britain dan berakar umbi lebih 600 tahun dahulu. Beliau dikenali dengan nama ini memandangkan beliaulah yang menjaga Mohor Besar Raja-raja. Tidak banyak orang yang mengetahui tugas yang dijalankan oleh Penyimpan Mohor Besar Raja-raja ini. Sebenarnya beliau merupakan Setiausaha Majlis Raja-raja (Seksyen 4 Jadual Kelima dalam Perlembagaan Persekutuan).
