لمَّا بلَغَ عُمَرُ بنُ الخَطَّابِ سَرْغَ ، حُدِّثَ أنَّ بالشَّامِ وَباءً شَديدًا، فقال: إنْ أدرَكَني أجَلي، وأبو عُبَيدةَ حَيٌّ، استَخلَفتُه؛ فإنْ سَألَني اللهُ عزَّ وجلَّ: لِمَ استَخلَفتَه على أُمَّةِ محمَّدٍ؟ قُلتُ: إنِّي سمِعتُ رسولَ اللهِ صلَّى اللهُ عليه وسلَّمَ يقولُ: إنَّ لكلِّ أُمَّةٍ أمينًا، وأمينُ هذه الأُمَّةِ: أبو عُبَيدةَ بنُ الجَرَّاحِ.

قال: فأنكَرَ القَومُ ذلك، وقالوا: ما بالُ عَلياءِ قُرَيشٍ؟ يَعنونَ: بَني فِهرٍ.

ثُمَّ قال: وإنْ أدرَكَني أجَلي، وقد تُوُفِّيَ أبو عُبَيدةَ، أستخلِفُ مُعاذَ بنَ جَبلٍ، فإنْ سَألَني ربِّي قُلتُ: إنِّي سمِعتُ نَبيَّكَ يقولُ: إنَّه يُحشَرُ يومَ القيامةِ بيْنَ يَدَيِ العُلَماءِ برَتْوةٍ.