Menurut shahibul hikayat, ia pernah kedapatan berbaring di dekat mimbar masjid. Gara-gara perbuatan aneh itu, orang mengiranya agak kurang waras. Mendengar kasak-kusuk di kalangan sahabat ini, Nabi segera menemui Abu Hurairah. Abu Hurairah bilang, ia tidak gila, hanya ia lapar. Nabi pun segera memberinya makanan.
Suatu kali, dengan masih mengikatkan batu ke perutnya, dia duduk di pinggir jalan, tempat orang biasanya berlalu lalang. Dilihatnya Abu Bakr melintas. Lalu dia minta dibacakan satu ayat Al-Quran. "Aku bertanya begitu supaya dia mengajakku ikut, memberiku pekerjaan," tutur Abu Hurairah. Tapi Abu Bakr cuma membacakan ayat, lantas berlalu.
Dilihatnya Umar ibn Khattab. "Tolong ajari aku ayat Al-Quran," kata Abu Hurairah. Kembali ia harus menelan ludah kekecewaan karena Umar berbuat hal yang sama.
Tak lama kemudian Nabi lewat. Nabi tersenyum. "Beliau tahu apa isi hati saya. Beliau bisa membaca raut muka saya secara tepat," tutur Abu Hurairah.
"Ya Aba Hurairah!" panggil Nabi.
"Labbaik, ya Rasulullah!"
"Ikutlah aku!"
Beliau mengajak Abu Hurairah ke rumahnya. Di dalam rumah didapati sebaskom susu. "Dari mana susu ini?" tanya Rasulullah. Beliau diberi tahu bahwa seseorang telah memberikan susu itu.
"Ya Aba Hurairah!"
"Labbaik, Ya Rasulullah!"
"Tolong panggilkan ahli shuffah," kata Nabi. Susu tadi lalu dibagikan kepada ahli shuffah, termasuk Abu Hurairah. Sejak itulah, Abu Hurairah mengabdi kepada Rasulullah, bergabung dengan ahli shuffah di pondokan masjid.
Sepulang dari Perang Khaibar, Nabi melakukan perluasan terhadap Masjid Nabawi, yaitu ke arah barat dengan menambah tiga pilar lagi. Abu Hurairah terlibat pula dalam renovasi ini. Ketika dilihatnya Nabi turut mengangkat batu, ia meminta agar beliau menyerahkan batu itu kepadanya. Nabi menolak seraya bersabda, "Tiada kehidupan sebenarnya, melainkan kehidupan akhirat."
Abu Hurairah sangat mencintai Nabi. Sampai-sampai dia memilih dipukul Nabi karena melakukan kekeliruan ketimbang mendapatkan makanan yang enak. "Karena Nabi menjanjikan akan memberi syafaat kepada orang yang pernah merasa disakitinya secara sengaja atau tidak," katanya.
Begitu cintanya kepada Rasulullah sehingga siapa pun yang dicintai Nabi, ia ikut mencintainya. Misalnya, ia suka mencium Hasan dan Husain, karena melihat Rasulullah mencium kedua cucunya itu.
Ada cerita menarik menyangkut kehidupan Abu Hurairah dan masyarakat Islam zaman itu. Meski Abu Hurairah seorang papa, boleh dibilang tuna wisma, salah seorang majikannya yang lumayan kaya menikahkan putrinya, Bisrah binti Gazwan, dengan lelaki itu. Ini menunjukkan betapa Islam telah mengubah persepsi orang dari membedakan kelas kepada persamaan. Abu Hurairah dipandang mulia karena kealiman dan kesalihannya. Perilaku islami telah memuliakannya, lebih dari kemuliaan pada masa jahiliah yang memandang kebangsawanan dan kekayaan sebagai ukuran kemuliaan.
Sejak menikah, Abu Hurairah membagi malamnya atas tiga bagian: untuk membaca Al-Quran, untuk tidur dan keluarga, dan untuk mengulang-ulang hadis. Ia dan keluarganya meskipun kemudian menjadi orang berada tetap hidup sederhana. Ia suka bersedekah, menjamu tamu, bahkan menyedekahkan rumahnya di Madinah untuk pembantu-pembantunya.
Tugas penting pernah diembannya dari Rasulullah. Yaitu ketika ia bersama Al-Ala ibn Abdillah Al-Hadrami diutus berdakwah ke Bahrain. Belakangan, ia juga bersama Quddamah diutus menarik jizyah (pajak) ke Bahrain, sambil membawa surat ke Amir Al-Munzir ibn Sawa At-Tamimi.
Menolak Jabatan
Ketika Umar menjadi amirul mukminin, Abu Hurairah diangkat menjadi gubernur Bahrain. Tapi pada 23 Hijri Umar memecatnya gara-gara sang gubernur kedapatan menyimpan banyak uang (menurut satu versi, sampai 10.000 dinar). Dalam proses pengusutan, ia mengemukakan upaya pembuktian terbalik, bahwa harta itu diperolehnya dari beternak kuda dan pemberian orang. Khalifah menerima penjelasan itu dan memaafkannya. Lalu ia diminta menduduki jabatan gubernur lagi, tapi ia menolak.
Penolakan itu diiringi lima alasan. "Aku takut berkata tanpa pengetahuan; aku takut memutuskan perkara bertentangan dengan hukum (agama); aku ogah dicambuk; aku tak mau harta benda hasil jerih payahku disita; dan aku takut nama baikku tercemar," kilahnya. Ia memilih tinggal di Madinah, menjadi warga biasa yang memperlihatkan kesetiaan kepada Umar, dan para pemimpin sesudahnya.