يذكر أن عمر بن عبد العزيز رضى الله عنه عندما همّ في هدم حجر أزواج الرسول عليه اطيب الصلاة والسلام وبدأ بالحجرة الأولى انهار جدار الحجرة النبوية من الشرق وظهرت القبور الثلاثة الشريفة فأمر عمر بن عبدالعزيز رضى الله عنه بإعادة بنائها وقيل إنهم عند بنائهم لها وحفرهم للأساس تكشفت قدم من إحدى القبور مما أفزع عمر خوفا من أن تكون قدم الرسول الكريم عليه اطيب الصلاة والسلام إلا أن عبد الله بن عبيد الله رضى الله عنه طمأنه حينها وأخبره بأنها قدم جده عمر بن الخطاب رضى الله عنه فأمر بتغطيتها وأتموا البناء وقد عمل ابن عبد العزيز على بناء الحجرة النبوية بحجارة سوداء يقرب لونها للون الحجارة التي بنيت بها الكعبة المشرفة على نفس المساحة التي بنى عليها الرسول عليه اطيب الصلاة والسلام بيته إلا أن عمر قام أيضا ببناء جدار حولها له خمسة أضلاع خوفا من أن تشبه الكعبة فيصلى عليها.


