Nebevi Arapça'da "peygambere ait", tamlamanın anlamı da Peygamber Mescidi'dir. Mekke'de bulunan Mescid-i Haram'dan sonra Müslümanlara göre ikinci en kutsal mescittir.
Mescid-i Nebevî ya da Mescidi Nebi ilk inşasında basit yapılıydı. Hurma kütüklerinden sütunları, hurma dallarından çatısı, taşlardan duvarları vardı. Hemen bitişiğindeki ev kısmı da (bugün kabirdir) kerpiçtendi. Minberi, mihrabı yoktu. Muhammed Cuma konuşmalarını minber olmadığından bir ağaç kütüğünün üstünde yapardı. Mescidin bir bölümü Suffe denilen fakirlere ayrılmıştı.
İslam peygamberi Muhammed Medine'ye vardığında Ensar ve Muhacirler'den oluşan Müslümanlar onu şehrin girişinde karşıladı. Muhammed herkesin namaz ibadetini yerine getirebileceği ve toplantı yapabileceği bir mescit (cami) inşa etmek istedi. Şehre vardığında halka devesini serbest bırakmalarını salık verdi ve devesinin başıboş olarak gidip çöktüğü yerde mescit inşa edildi. Mescit takriben 35 m eninde ve 30 m genişliğinde, taş temel üzerine pişirilmemiş kerpiçten örülü duvarlarla üç kapılı olarak inşa edildi. Çatısı ise hurma yapraklarıyla oluşturuldu. Muhammed'in de taş ve kerpiçlerin taşınmasında Müslümanlara eşlik ettiği rivayet edilir.
Hicret'ten sonta Medine'deki Müslümanların sayısı günden güne artmaya başladı ve mescit namaz kılanlara dar geldi. Bunun üzerine Muhammed mescidi genişletmeye karar verdi. Mescid-i Nebevî'nin başlangıçta kapılarından hiçbiri kadınlara tahsis edilmemişti ancak camiye giden kadınların sayısında artış olunca kapılardan biri kadınlara ayrıldı ve bu kapıdan erkeklerin girmesini yasaklandı. Hicri Takvim'e göre 7. yılda Hayber'in alınmasının ardından mescit takribi olarak 20m en ve 15m boy eklemesi ile iki misli genişletildi. Böylece mescid 50 x 50 m'lik bir kare şeklini aldı. Yükseklik 3.5 m'ye yükseldi ve toplam 35 sütun kapsadı. Bu eklenen alanını Osman bin Affan satın almıştır. Halife Ebu Bekir döneminde mescit aynı kalmıştır.
654 yılındaki deprem ve yangında bu mescit yanmıştır. Emeviler, Abbasiler, Memlükler ve Osmanlılar dönemlerinde yeniden yapılmıştır. Halifeler Ebu Bekir ve Ömer bin Hattab'ın kabirleri de buradadır.
Peygamberimiz (s.a.v.) Medine’yi şereflendirdiğinde, herkes kendi evine misafir olsun istiyordu. O ise devesinin salıverilmesini, onun çöktüğü yere en yakın evde konaklayacağını söyledi. Devesi Kusva Ebu Eyyüb El-Ensari’nin (ra) evinin önünde çöktü. Devenin çöktüğü yer ise Sehl ve Suheyl adında iki yetimin arazisi idi. Buranın zemini düzelttikten sonra Mescidin temelleri atıldı. İlk bina, taş temel üzerine tek sıra kerpiçten, bir adam boyu kadar yükseklikteki çevre duvarı ile kuşatılarak, üstü açı bir biçimde 60x70 arşınlık bir alana (1022m2) inşa edildi. Bu ilk mescidin kıblesi Kudüs’e dönüktü. Mescidin doğu tarafına Hz. Aişe ve Hz. Sevde için iki oda yapıldı.
Mescid-i Nebevi'nin ilk inşasında mescidin doğu duvarına bitişik Muhammed ve ailesi için iki oda yaptırıldı. Bu odaların sayısı daha sonra dokuza kadar yükseldi. Daha sonra Muhammed, Ebu Bekir ve Ömer buraya defnedilmiştir. Dördüncü bir yer boş bırakılmıştır. Ahir Zaman'da, İsa'nın inip Deccal'ı öldürüp, dünyada bir müddet kalıp vefat ettiğinde buraya gömüleceği rivayet edilmektedir. Birkaç defa tadilat geçirdikten sonra II.Mahmut zamanında üzerine kubbe yapılmış ve üzerine kurşun dökülmüş, daha sonra da bu kubbe yeşile boyanmıştır.
Daha sonra oda sayısı dokuza kadar çıktı. Kıble Kudüs’ten Kabe’ye çevrilince güneyde bulunan mescidin kapısı kapatıralak kuzey duvarında yeni bir kapı açıldı. 628 yılında mescit bir kez daha genişletildi. Mescidin alanı 2433 m2.’ ye ulaştı. Kıble tarafının üzeri örtüldü. Mescidin arka kısmı da Suffe Ehli’nin (Ashab-ı Suffe) barındığı yer oldu. Mescid-i Nebevi Hz. Ebubekir (ra) döneminde bir değişikliğe uğramadı. Hz. Ömer (ra) ve Hz. Osman (ra) döneminde genişletilmeler yapıldı. Ömer b. Abdulaziz döneminde minare ve mihrab eklendi. Abbasi, Memlüklüler ve Osmanlılar döneminde önemli değişiklikler yapılıp II. Mahmut zamanında Hücre-i Saadet üzerine yeni bir Kubbe yapıldı. Üzeri kurşunla kaplanarak yeşile boyandı.
1571 ila Birinci Dünya Savaşı ve "Çöl Kaplanı" Fahrettin Paşa'nın Medine müdafaasına kadar Osmanlı Medin'ye hükmetmiştir. Kanuni Sultan Süleyman (1520-1566) caminin doğu ve batı duvarlarını yeniden inşa etti, ve Süleymaniyye olarak bilinen kuzeydoğu minareyi ekledi. Peygamberin mihrabı Şafi'iyya'nın yanına, Ahnaf adında yeni bir mihrab ekledi, ve Peygamberin türbesinin (Hücre-i Saadet) üzerine çelik saçla kaplı yeni bir kubbe yerleştirdi. III. Murad (1574–1595) zamanından bugün de kullanılan minber inşa edildi. 1817'de II. Mahmud, kubbe ile kaplı mescidin güneydoğu tarafına Ravza-i Mutahhara inşasını tamamladı. Kubbe 1839'da yeşile boyandı ve o günden itibaren Kubbe-i Hadra (Yeşil Kubbe) olarak bilinir.
Sultan I. Abdülmecid (1839–1861) zamanında, Peygamberin türbesi, üç miharblar, minber ve Süleymaniyye minaresi hariç, bütün camii yeniden tanzim edildi. Kuzey tarafına bir abdesthane yapılarak genişletildi. Güney tarafındaki namaz yeri enine doğru iki misli büyütüldü, ve küçük kubbeler ile kaplandı. Kubbelerin içi Kuran'dan ayetler ve Kaside-i Bürde şiirinden beyitlerle süslendi. Kible duvarı Kuran'dan hatlarla yazılı cilalı döşemelerle kaplandı. Namaz yeri ve avlunun yerleri mermer ve kırmızı taş ile döşendi. Çevrili olan alanın batısına beşinci minare, Mecidiyye, inşa edildi.