محمد بن حسین بیهقی در حارث‌آباد بیهق (سبزوار امروزی) متولد شد. روزگار جوانی را در نیشابور گذراند. بعد به غرنین رفت و در 412ق با توجه به شایستگی و استعدادی که داشت به دستیاری ابونصر مشکان، صاحب دیوان رسایل سلطان محمود غزنوی برگزیده شد. او طی 19 سال همکاری با ابونصر از وی نواخت‌ها دید و نزدش چنان عزیز بود که ابونصر مشکان تا هنگام مرگ، لحظه‌ای وی را از خود جدا نساخت و حتی اسرار دیوان را با او در میان می‌گذاشت. این کار بعدها سرمایه گران‌بهایی برای بیهقی گردید، چنانکه رویدادهایی را که خود شاهد و ناظر نبوده از قول استاد خود نقل کرده است. بیهقی در دوران پادشاهی محمد بن محمود، سلطان مسعود، سلطان مودود غزنوی دبیر دیوان رسالت بود. او در دوران کوتاه خدمت دیوانی نشیب و فرازهایی را پیمود. پس از درگذشت ابونصر مشکان (431ق)، با وجود تمام شایستگی‌ها، به علت جوانی نتوانست جانشین استادش بشود. بیهقی در لشکرکشی سلطان محمود به سومنات از همراهان او بود. همچنین در جنگ هندوستان (431ق) سلطان مسعود را همراهی کرد. اما در اواخر سلطنت کوتاه‌مدت عبدالرشید بن محمود در غزنین به زندان افتاد. او در کتاب خود سرگذشت دردناک این دوره از زندگی‌ خویش نگاشت که متاسفانه این بخش جزو قسمت‌های از دست رفته کتاب اوست ولی خوشبختانه عوفی در فصل نوزدهم از باب سوم «جوامع‌الحکایات» این داستان را نقل (به معنا) کرده است. بیهقی با مرگ سلطان عبدالرشید غزنوی (444ق) و دگرگونی اوضاع، از زندان رهایی یافت ولی دیگر به پذیرفتن شغل و مقام درباری گردن ننهاد و گوشه عزلت اختیار کرد.
بیهقی شعر نیز می‌سرود و نمونه‌هایی از آن در تاریخ بیهق نقل شده است. او از سال 448ق به تألیف تاریخ خود پرداخت و در 451 آن را به انجام رساند ولی از آنجا که به گفته ابوالحسن بیهقی در «تاریخ بیهق» 19 سال پس از اتمام کتابش زنده بود، هرگاه به اطلاعات تازه‌ای در زمینه کار خود دسترسی می‌یافته آن را به متن کتاب می‌افزوده است. تاریخ بیهقی از مهمترین کتب تاریخ و ادب فارسی در شرح سلطنت آل سبکتکین در سی مجلد است که در آن از تشکیل دولت غزنوی تا اوایل سلطنت ابراهیم بن مسعود سخن گفته است؛ اما اکنون فقط قسمتی از وقایع سلطنت مسعود بن محمود غزنوی و تاریخ خوارزم از زوال دولت آل مأمون و افتادن آن به دست سلطان محمود و حکومت آلتونتاش حاجب تا غلبه سلاجقه موجود است.
اول آبان‌ماه در تقویم ملی ایران، به نام او که در صناعت دبیری بسیار ورزیده و در تعلیق یا ترسل استعداد شگرفی داشت، «روز بزرگداشت ابوالفضل بیهقی» نام‌گذاری شده است.