Jalur kereta api pertama dibangun pada 17 Juni 1864. Yakni jalur Kemijen-Tanggung, Semarang, sepanjang 26 Km. Diresmikan oleh Gubernur Jenderal L.A.J Baron Sloet Van Den Beele. Tanggal 18 Februari 1870, NISM membangun jalur umum Semarang-Solo-Yogyakarta.
Tanggal 10 April 1869 Pemerintah Hindia Belanda mendirikan Staats Spoorwegen (SS) dan membangun lintasan Batavia-Bogor. Tanggal 16 Mei April 1878, perusahaan negara ini membuka jalur Surabaya-Pasuruan-Malang, dan 20 Juli 1879 membuka jalur Bangil-Malang. Pembangunan terus berjalan hingga ke kota-kota besar seluruh Jawa terhubung oleh jalur kereta api.Di luar Jawa, 12 Nopember 1876, Staats Spoorwegen juga membangun jalur Ulele-Kutaraja (Aceh). Selanjutnya lintasan Palu Aer-Padang (Sumatera Barat) pada Juli 1891, lintasan Telukbetung-Prabumulih (Sumatera Selatan) tahun 1912, dan 1 Juli 1923 membangun jalur Makasar-Takalar (Sulawesi). Di Sumatera Utara, NV. Deli Spoorweg Mij juga membangun lintasan Labuan-Medan pada 25 Juli 1886.
Pada masa pemerintahan Hindi Belanda, selain Staats Spoorwegen milik pemerintah, sudah ada 11 perusahaan kereta api swasta di Jawa dan satu perusahaan swasta di Sumatera.
Perusahaan-perusahaan kereta api swasata pada masa penajajahan adalah:
NV. Nederlandsch Indische Spoorweg Mij.
NV. Semarang Cheribon Spoorweg Mij.
NV. Joana Stoomtram Mij..
NV. Serajoe Dal Stoomtram Mij.
NV. Oost Java Stoomtram Mij.
NV. Kediri Stoomtram Mij.
NV. Modjokerto Stoomtram Mij.
NV. Malang Stoomtram Mij.
NV. Paasuruan Stoomtram Mij.
NV. Probolonggo Stoomtram Mij.
NV. Madoera Stoomtram Mij.
NV. Deli Spoorweg Mij.
KERETA API DI MASA PENJAJAHAN
Setelah NV Nederlandch Indische Spoorweg Mij (NISM) membangun jalan kereta antara desa Kemijen di Semarang dengan Tanggung yang mulai dilalui kereta tanggal 17 Juni 1868, belum didapat kepastian, pihak mana yang harus melakukan pembangunan jalan kereta itu. Sementara swasta selalu berinisiatif untuk membangun jalan kereta sesuai bisnisnya. Hal ini terbukti dengan hadirnya 11 perusahaan kereta api milik swasta di Jawa dan 1 di Sumatera.
Dalam perkembangan setelah jalan kereta swasta berkembang luas, ditetapkan bahwa pembangunan jalan kereta adalah tanggung jawab pemerintah, yang dikoordinir oleh Gubernur Jenderal setelah mendapat konsesi dari Ratu Wilhelmina.
Berdasarkan surat Raja Djawa, 28 Mei 1842, diusulkan agar periode 1842—1862 persiapan pemasangan jaringan jalan rel dari Semarang ke Kedu dan beberapa wilayah Kerajaan di Jawa dapat dilakukan. Dalam aturan tersebut ditetapkan pula bahwa gerbong-gerbong untuk pengangkutan ditarik oleh kerbau, sapi, atau kuda. Belum direncanakan penarikan oleh lokomotip sebagaimana lazimnya kereta api sekarang. Usulan Raja Djawa ini tidak dipenuhi pada tahun 1846 Gubernur Jenderal Rochussen mengusulkan kepada Kerajaan Belanda agar menolak usulan tersebut. Selanjutnya diusulkan untuk penyediaan dana pemasangan rel di lintas Batavia--Bogor. Namun, tahun 1851, Gubernur Jenderal Duymer van Twist meminta Kerajaan Belanda untuk mempertimbangkan kembali pemberian konsesi pembangunan jalan rel kereta kepada swasta. Akhirnya tahun 1857 didapat prinsip bahwa pembangunan jalan rel bisa dilakukan lagi oleh swasta .
Tahun 1871 Bose, salah seorang penentang pembangunan jalan kereta swasta, menyusun RUU pemasangan jalan rel kereta api negara. Tapi RUU itu tak pernah muncul ke permukaan, karena Menteri Transportasi Belanda Fransen van der Putte menariknya. RUU pemasangan rel lintas Surabaya--Pasuruan dengan simpangan di Bangil dan Malang diusulkan Menteri Urusan Daerah Jajahan Mr. pBaron van Golstein. Tanggal 6 April 1875, pemerintah Hindia Belanda menyatakan tanggal tersebut sebagai awal kehadiran kereta api pemerintah di tanah jajahan yang diurus oleh suatu jawatan dipimpin oleh seorang Inspektur Jenderal.
Tanggal 1 Maret 1885 Jawatan ini dihapus dan digabung dengan Departemen van BOW atau Pekerjaan Umum. Dan 1 Juli 1909, Jawatan Kereta Api dan Tram Negara digabung dengan Departemen Perusahaan Negara (Gouvernement Bedrijven) yang dipimpin seorang Kepala Inspektur.
Tanggal 1 Nopember 1917, kembali terjadi strukturisasi, sehingga dalam Jawatan Kereta Api terdapat beberapa bagian yang masing-masing bagian dipimpin Kepala Bagian. Kepala Jawatan Kereta Api dan Tram dipimpin Direktur Perusahaan Negara yang memegang pimpinan dalam pemasangan, persediaan dan lingkungan eploitasi jalan kereta dan tram. Sementara pengawasan umum terhadap kereta dan tram ditangani oleh Jawatan tersendiri. Sejak itu Jawatan yang menangani pengawasan umum telah melakukan pengawasan terhadap perusahaan kereta api milik pemerintah dan swasta. Pimpinan Jawatan yang mengawasi keseluruhan ini disebut Kepala Dinas Pengawasan Kereta Api dan Tram yang bernaung di bawah Departemen Perusahaan Negara.
Tanggal 15 Maret 1924, ketika Kepala Inspektur Dinas Pengawsan Kereta Api dan Tram dipimpin oleh Ir Staargaard, dengan seijin Pemerintah Belanda melakukan pembagian wilayah pengawasan menjadi tiga: Eksploitasi Barat, Tengah, dan Timur. tapi pada awal pelaksanaannya Kepala Eksploitasi hanya sekedar pelaksana saja, yang tunduk kepada Kepala Inspektur di Bandung.
Tanggal 1 April 1934, kembali dilakukan reorganisasi dan restrukturisasi lagi yang diarahkan untuk menekan anggran operasi. Dengan begitu Kepala Eksploitasi memiliki kewenangan manajemen secara penuh
