كتاب الإيمان
1
The Book of Faith
(35)
Chapter: Clarifying the usage of the word Kafir for one who abandons Salat
(35)
باب بَيَانِ إِطْلاَقِ اسْمِ الْكُفْرِ عَلَى مَنْ تَرَكَ الصَّلاَةَ ‏‏

It is narrated on the authority of Abu Zubair that he heard Jabir b. 'Abdullah saying. I heard the Messenger of Allah (may peace and blessings be upon him) observing this:

Between man and polytheism and unbelief is the abandonment of salat.
حَدَّثَنَا أَبُو غَسَّانَ الْمِسْمَعِيُّ، حَدَّثَنَا الضَّحَّاكُ بْنُ مَخْلَدٍ، عَنِ ابْنِ جُرَيْجٍ، قَالَ أَخْبَرَنِي أَبُو الزُّبَيْرِ، أَنَّهُ سَمِعَ جَابِرَ بْنَ عَبْدِ اللَّهِ، يَقُولُ سَمِعْتُ رَسُولَ اللَّهِ صلى الله عليه وسلم يَقُولُ ‏ "‏ بَيْنَ الرَّجُلِ وَبَيْنَ الشِّرْكِ وَالْكُفْرِ تَرْكُ الصَّلاَةِ ‏"‏ ‏.‏
Reference : Sahih Muslim 82 b
In-book reference : Book 1, Hadith 154
USC-MSA web (English) reference : Book 1, Hadith 147
  (deprecated numbering scheme)