Sejak awal, Nabi Muhammad SAW selalu memberikan hak beribadah kepada umat non-muslim. Al-Qur'an sendiri menyinggung tidak kurang dari 15 kali kata Yahudi, 10 kali kata Nashrani, termasuk beberapa kali agama-agama lain seperti Majusi, dan Shabi'in.
Ini artinya Al-Qur'an memberi pengakuan akan keberadaan agama lain selain Islam, meskipun bagi umat Islam tentu agama yang benar di sisinya ialah Islam sebagaimana dalam ayat:
إِنَّ الدِّينَ عِنْدَ اللَّهِ الْإِسْلَامُ…
“Sesungguhnya agama di sisih Allah ialah Islam…”(QS. Ali ‘Imraan/3: 19)
Upaya untuk mengajak orang lain memilih Islam dilakukan dengan bijaksana, sebagaimana ditegaskan di dalam ayat-Nya:
ادْعُ إِلَى سَبِيلِ رَبِّكَ بِالْحِكْمَةِ وَالْمَوْعِظَةِ الْحَسَنَةِ وَجَادِلْهُمْ بِالَّتِي هِيَ أَحْسَنُ … (125)
“Ajaklah orang-orang ke jalan Tuhanmu dengan penuh kebijakan (hikmah), dengan nasehat yang baik, dan ajaklah berdialog dengan cara-cara yang lebih baik…” (QS. al-Nahl/16: 125)
Ayat-ayat tersebut sangat masyhur di dalam kegiatan dakwah Islam. Nabi Muhammad saw. juga memberi kesempatan kepada umat non-muslim beribadah, atau Nabi saw. tidak pernah terdengar mencekal seseorang melakukan ibadah asal yang dilakukan itu betul-betul ibadah sesuai dengan tuntunan ibadah dalam agamanya.
Bahkan, Nabi saw. selalu mewanti-wanti umatnya jika melakukan peperangan dengan suatu kaum agar tidak merusak atau menghancurkan rumah-rumah ibadah mereka. Larangan seperti ini terus dipertahankan oleh para Khulafaur Rasyidin yang melanjutkan kepemimpinan Nabi saw. setelah ia wafat.
Dalam tulisan Albalaziri (kitab Futuh al-Buldan) dikutip sebuah riwayat yang menuliskan perjanjian Nabi saw. dengan non-muslim yang di antara pasalnya disebutkan sebuah redaksi cukup menarik, yaitu: "Seorang uskup tidak mesti merubah keuskupannya, begitu pula seorang rahib tidak perlu merubah kerahibannya, dan begitu pula seorang pendeta tidak perlu merubah kependetaannya" (h. 76).
Dalam kesempatan lain, Nabi saw. pernah bersabda sebagaimana dikutip dalam buku Albalaziri: "Barangsiapa yang tetap dalam agama Yahudi atau Nashrani maka ia tidak akan dipersoalkan" (h. 82). Bahkan, di dalam Kitab Ibn Katsir, ia mengutip sebuah riwayat bahwa Nabi Muhammad saw. pernah memberikan izin kepada delegasi tokoh lintas agama, khususnya mereka yang beragama Nashrani Najran melakukan kebaktian di samping masjid Nabi ketika mereka melakukan kunjungan persahabatan dengan Nabi. (Jilid IV, h. 91).
Apa yang telah dilakukan Nabi saw. juga dilanjutkan oleh Khalifah Umar bin Khaththab. Kebijakannya terhadap penduduk Iliyah (Palestina) ditegaskan bahwa: "Gereja-gereja mereka tidak dapat ditinggali (oleh orang-orang Islam), dirobohkan, atau dikurangi, termasuk pagar-pagarnya, begitu pula salib-salib mereka dan apa saja dari kekayaan mereka. Mereka tidak boleh dipaksa atas agamanya, dan tidak boleh ada di antara mereka yang mendapatkan mudharat".
Hal yang sama juga dilakukan oleh ‘Amr bin 'Ash, ia memberikan kebebasan sepenuhnya kepada umat non-muslim untuk melakukan ibadah dan merawat rumah-rumah ibadah mereka dengan baik.
Ia memberikan jaminan kebebasan beragama kepada seluruh wilayah yang dikuasainya dan menganjurkan kepada pemerintah di tingkat daerah agar menjamin hak-hak beribadah bagi warga non-muslim.
Umat non-muslim di masa-masa awal tidak pernah merasa dihalangi beribadah dan menjalankan tradisi keagamaannya. Dari segi inilah, Sir Thomas Arnold dalam tahun 1950-an pernah membantah rekan-rekannya dari kalangan orientalis yang mengatakan Islam berkembang di seantero dunia karena pedang. Ia berpendapat bahwa banyaknya orang beralih ke agama Islam karena keluhuran ajaran dan kemuliaan pemimpinnya.
