Tatkala kediaman Amirul Mukminin Ustman ibn Affan dikepung pemberontak, dalam peristiwa yang dikenal sebagai al-fitnatul kubra (bencana besar), Abu Hurairah bersama 700 orang Muhajirin dan Anshar tampil mengawal rumah tersebut. Meski dalam posisi siap tempur, Khalifah melarang pengikut setianya itu memerangi kaum pemberontak.
Pada masa Amirul Mukminin Ali bin Abi Thalib, Abu Hurairah ditawari menjadi gubernur di Madinah. Ia menolak. Ketika terjadi pertemuan antara Khalifah Ali dan lawannya, Muawiyah ibn Abi Sufyan, ia bersikap netral dan menghindari fitnah. Sampai kemudian Muawiyah berkuasa, Abu Hurairah bersedia menjadi gubernur di Madinah. Tapi versi lain mengatakan, Marwan ibn Hakamlah yang menunjuk Abu Hurairah sebagai pembantunya di kantor gebernuran Madinah. Di Kota Penuh Cahaya (Al-Madinatul Munawwarah) ini pula ia mengembuskan nafas terakhir pada 57 atau 58 H. (676-678 M.) dalam usia 78 tahun. Meninggalkan warisan yang sangat berharga, yakni hadis-hadis Nabi, bak butiran-butiran ratna mutu manikam, yang jumlahnya 5.374 hadis.