Museum Tanah telah berdiri sejak 29 September 1988, museum ini menempati gedung Laboratorium Voor Agrogeologie en Grond Onderzoek atau Laboratorium Penelitian Agrogeologi dan Tanah, yang didirikan pada zaman Pemerintahan Belanda sekitar tahun 1900. Museum sempat mengalami penutupan beberapa tahun sampai kemudian Kementerian Pertanian memutuskan untuk melakukan renovasi gedung tersebut untuk dimanfaatkan sebagai museum. Pada tanggal 5 Desember 2017 bertepatan dengan Hari Tanah Sedunia, Menteri Pertanian saat itu Dr. Ir. H. Andi Amran Sulaiman, M.P. meresmikan dibukanya kembali Museum Tanah di Gedung yang sama.

Dalam perkembangan selanjutnya, Prof. Dr. Sjarifudin Baharsjah, M.Sc. (Menteri Pertanian periode 1993-1998) dan beberapa tokoh pertanian lainnya mendeklarasikan berdirinya Museum Pertanian pada tanggal 17 April 2018. Keinginan para tokoh pertanian Indonesia tersebut mendapat dukungan dari Menteri Pertanian Dr. Ir. Andi Amran Sulaiman, M.P. yang kemudian memberikan mandat kepada Sekretaris Jenderal Kementerian Pertanian melalui Pusat Perpustakaan dan Penyebaran Teknologi Pertanian untuk melaksanakan pembangunan Museum Pertanian di tempat yang sama, untuk dapat diresmikan pembukaannya pada tanggal 22 April 2019.