كتاب الإيمان
1  
The Book of Faith
(35)
Chapter: Clarifying the usage of the word Kafir for one who abandons Salat
(35)
باب بَيَانِ إِطْلاَقِ اسْمِ الْكُفْرِ عَلَى مَنْ تَرَكَ الصَّلاَةَ ‏‏
Sahih Muslim 82 a

It is narrated on the authority of Jabir that he heard the Apostle (may peace and blessings be upon him) saying. Verily between man and between polytheism and unbelief is the negligence of prayer.

حَدَّثَنَا يَحْيَى بْنُ يَحْيَى التَّمِيمِيُّ، وَعُثْمَانُ بْنُ أَبِي شَيْبَةَ، كِلاَهُمَا عَنْ جَرِيرٍ، قَالَ يَحْيَى أَخْبَرَنَا جَرِيرٌ، عَنِ الأَعْمَشِ، عَنْ أَبِي سُفْيَانَ، قَالَ سَمِعْتُ جَابِرًا، يَقُولُ سَمِعْتُ النَّبِيَّ صلى الله عليه وسلم يَقُولُ ‏ "‏ إِنَّ بَيْنَ الرَّجُلِ وَبَيْنَ الشِّرْكِ وَالْكُفْرِ تَرْكَ الصَّلاَةِ ‏"‏ ‏.‏
Reference : Sahih Muslim 82a
In-book reference : Book 1, Hadith 153
USC-MSA web (English) reference : Book 1, Hadith 146
  (deprecated numbering scheme)