Иван Михайлович Бриллиантов родился в семье священника из Цыпинского погоста в Кирилловском уезде. Его брат, Иван Иванович Бриллиантов (1870-1934), был известным исследователем Ферапонтова монастыря.
После окончания Кирилловского духовного училища, продолжал обучение в Новгородской семинарии с 1881 по 1887 годы, а затем поступил в Санкт-Петербургскую духовную академию, где учился с 1887 по 1891 год.
В период с 1893 по 1900 год работал преподавателем истории и обличения русского раскола в Тульской духовной семинарии, а также выполнял обязанности епархиального миссионера. В 1898 году защитил магистерскую диссертацию в Санкт-Петебургской духовной академии с темой "Влияние восточного богословия на западное в произведениях Иоанна Скота Эригены" и получил степень магистра богословия. В апреле 1900 года был избран доцентом на кафедру общей церковной истории Санкт-Петербургской духовной академии. С 1904 года был экстраординарным профессором, а с 1914 года, после защиты докторской диссертации по церковной истории, стал ординарным профессором академии. Активно участвовал в работе Комиссии Священного Синода по старокатолическим и англиканским вопросам, а также в Библиотечной комиссии СПДА. Сотрудничал с Русским архелогическим институтом в Константинополе.
Участником Предсоборного присутствия при Священном синоде в 1906 году, Предсоборного совета в 1917 году, и Поместного собора Русской православной церкви в 1917-1918 годах был данное лицо.
Весной 1917 года он был предложен в качестве одного из кандидатов на должность правящего архиерея Петроградской епархии.
В 1919 году он был избран членом-корреспондентом Российской академии наук. После того как СПДА была закрыта, он преподавал в Петроградском богословском институте (Высшие богословские курсы) с 1920 по 1923 год. Он активно участвовал в научной работе Российского Палестинского Общества и Византийской комиссии АН СССР. Бриллиантов приложил огромные усилия к сохранению библиотеки СПДА; из её фондов было создано I отделение Государственной публичной библиотеки (ныне Российская национальная библиотека), где он затем стал библиотекарем I отделения с 1921 года. С 1925 года он занимал должность главного библиотекаря в Государственной публичной библиотеке. Однако, 21 февраля 1930 года он подал заявление об освобождении от работы по причине "неудовлетворительного состояния здоровья", которое не позволяло ему "продолжать работу в библиотеке". И с 1 марта он был уволен из библиотеки и перешел на пенсию.
10 июля 1930 года произошло арестован по обвинению в участии в контрреволюционной организации, которая стремилась свергнуть правительство и восстановить монархию. Также было обвинение в сокрытии архивных документов от советского правительства. В феврале 1931 года было вынесено приговор "высшей мере", который заменили на пять лет тюремного заключения с конфискацией имущества.
Сведения о времени и месте смерти А. И. Бриллиантова противоречивы. По официальной информации Правительства Вологодской области, он умер 1 июля 1933 года от дизентерии во время транспортировки в Свирлаг. Однако на сайте Российской национальной библиотеки говорится, что он скончался по месту ссылки в Тамбове. Биографический словарь востоковедов утверждает, что после досрочного освобождения он умер в ссылке в Тамбове 1 июня 1933 года. Приводятся также сведения от родственников, отмечающие, что предположительно он умер в 1934 году. Александр Иванович был реабилитирован 30 июня 1989 года.
