Родившийся в деревне Иванырь Городищенского уезда Пензенской губернии (сегодня Лунинский район Пензенской области), этот человек был сыном псаломщика.
После окончания Пензенского духовного училища, он продолжил образование в Пензенской духовной семинарии, а затем поступил в Казанскую духовную академию, где успешно завершил свое обучение в 1870 году.
Среди его однокурсников в академии были такие известные личности, как М.И. Богословский, Ф.А. Курганов, Н.П. Остроумов, Н.Ф. Красносельцев и А.В. Вадковский, который позднее стал митрополитом Санкт-Петербургским. Вместе с ними он был отобран ректором архимандритом Никанором (Бровковичем) для работы на доцентских должностях.
С 20 ноября 1870 года он работал доцентом на кафедре патрологии Казанской духовной академии. В апреле 1871 года ему была присуждена степень магистра богословия.
В то же время, он занимал должность преподавателя в Казанском юнкерском пехотном училище.
С 1878 по 1882 годы он принимал участие в работе комиссии Казанской духовной академии по разъяснению труднопонимаемых слов и выражений в пророческих книгах Библии, включая книги пророков Исаии, Иезекииля, Даниила, Малахии и Осии.
2 сентября 1879 года он вступил во второй брак с Верой Андреевной, дочерью протоиерея Казанской Грузинской церкви Андрея Ясницкого. Его род внесен в 3-ю часть дворянской родословной книги Казанской губернии по решению Казанского дворянского депутатского собрания от 1899.12.15 и утвержден указом Герольдии от 1900.10.23.
С мая 1885 года он занимал должность экстраординарного профессора и имел звание статского советника.
Известный как основатель казанской школы патрологии, оказавший значительное влияние на формирование научных взглядов и интересов многих ученых, включая Л.И. Писарева, П.П. Пономарёва, прот. Н.П. Виноградова, П.П. Мироносицкого, А.Н. Потехина, прот. А.И. Дружинина, прот. Н.В. Петрова и других. Также был одним из первых, кто высоко оценил талант и "выдающееся философско-богословское развитие" В.И. Несмелова, который считал себя его учеником.
В период с 1895 по 1899 годы были опубликованы "Чтения по патрологии", под редакцией Потехина, который представлял собой первый организованный курс (после трудов архиеп. Филарета (Гумилевского) "Историческое учение об отцах Церкви"), широко распространенный и используемый во всех духовных академиях.
Глубоковский отмечал, что Гусев интересовался патрологией с двух точек зрения. Во-первых, он был заинтересован в истории древней церковной литературы, рассматривая её параллельно со светской и исторической перспективой. Во-вторых, он также проявлял интерес к догматическим аспектам, изучая формирование христианской вероучительной системы через теоретическое изложение в догматике и историческое разглашение этого процесса. Гусев следил за этим у всех церковных авторов, выделяя их характерные особенности и отличия от других.
Автор изучает жизнь и творчество святых Поликарпа, Игнатия, Иустина, Тертуллиана, Феофила, Киприана, писавших об истории и богословии.
На годовщине основания Казанской Духовной Академии в 1886 году была произнесена актовая речь, в которой была представлена работа Оригена "Против Цельса", посвященная апологетике личности Иисуса Христа, его земной жизни и деятельности. Этот проект начал осуществлять инициативу перевода данной работы, подготовив предисловие и комментарии к тексту. Однако он не успел завершить свою работу, и его проект был продолжен другими учеными, включая Писарева.
19 октября 1894 года ушел из жизни в городе Казань. Его похоронили на кладбище города Арск.
