Родившийся в селе Ардатовка, Нижнеломовского уезда, Пензенской губернии, он был сыном священника. В период с 1858 по 1864 год он получил образование в Нижнеломовском духовном училище, затем, с 1864 по 1870 год, продолжил обучение в Пензенской духовной семинарии, а с 1870 по 1874 год изучал в Киевской духовной академии. Его первая опубликованная работа "Описание и истолкование дворянских гербов южнорусских фамилий в произведениях духовных писателей XVII в." увенчалась получением Евгениево-Румянцевской премии в 1872 году. 24 мая 1874 года он успешно защитил диссертацию "Петр Могила и Исайя Копинский: Вступление Петра Могилы на Киевскую митрополию и его отношение к Исайи Копинскому" и был утверждён в степени кандидата богословия.
В 1874 году Голубев начал преподавать на кафедре русской церковной истории Киевской духовной академии в качестве приват-доцента. В 1883 году он защитил диссертацию и получил степень магистра богословия за работу под названием "Киевский митрополит Петр Могила и его сподвижники" (К., 1883). Эта диссертация была высоко оценена, и за неё Голубев был удостоен половинной Уваровской и Макарьевской премий Священного Синода. С 1884 года он был штатным доцентом по кафедре истории и обличения русского раскола. Также с 1885 года его избрали приват-доцентом Киевского университета св. Владимира по кафедре церковной истории.
В 1887 году Голубев вступил в брак с Еленой Филипповной Терновской, дочерью профессора Ф. А. Терновского. С 1891 года он занимал должность исполняющего обязанности экстраординарного профессора в Киевском университете, а в 1899 году был назначен на эту должность официально. В 1898 году он опубликовал второй том своей работы "Киевский митрополит Петр Могила и его сподвижники", за которую был удостоен Уваровской и Макарьевской премий.
17 марта 1899 года Голубев получил степень доктора церковной истории. С того времени он преподавал как ординарный профессор в Киевской духовной академии, так и в Киевском университете, где в 1900 году был назначен заслуженным ординарным профессором.
В 1906 году он участвовал в заседаниях Предсоборного присутствия, где выступал за восстановление патриаршества. В декабре 1908 года Голубев был избран членом-корреспондентом Российской академии наук в отделении русского языка и его словесности. С того времени он также занимал должность действительного статского советника.
Голубев был членом нескольких исторических обществ, а также был почётным членом различных научных обществ. Он также был членом Киевского клуба русских националистов. За свои достижения он был награждён орденами св. Анны, св. Владимира и св. Станислава.
После Октябрьской революции он принимал участие в обсуждении и разработке планов развития богословского образования. Его жизнь завершилась 22 ноября 1920 года, и он был похоронен в Киеве, на верхнем кладбище Флоровского монастыря на Замковой горе.
