Родившийся (в «Некрологе» - 1829) в семье полтавского помещика, он прошел обучение в Московском дворянском институте, после чего получил диплом историко-филологического факультета Московского университета (около 1848[1]). "Еще будучи юношей, Г. Д. Филимонов начал интересоваться русскими древностями и уделял свое свободное время осмотру кремлевских соборов, ризниц, Оружейной палаты, а также частных коллекций древностей".
В 1849 году была опубликована первая археологическая работа автора, под названием "Описание памятников древности церковного и гражданского быта Русского музея П. Коробанова" (М.: Унив. тип., 1849. — [8], 28 с., 60 л. ил.). Это произведение позволило автору заслужить репутацию умелого иконописца для того времени. В 1850 году он опубликовал статью "О древней в России портретной живописи" в "Архиве Калачева" (кн. 1).
С 1849 по 1854 год он работал библиотекарем в Харьковском университете. После этого он вернулся в Москву, где в 1856 году был откомандирован к московской Оружейной палате, чтобы провести экскурсии по её коллекциям для иностранных гостей, собравшихся в Москве на коронационные празднества. В 1858 году ему было поручено управление архивом и канцелярией Палаты.
В 1859 году он опубликовал исследование "Церковь Св. Николая Чудотворца на Липне, близ Новгорода: Вопрос о первоначальной форме иконостасов в русских церквах", в котором подчеркнул связь археологии с современным искусством. Он выразил мнение, что без участия археологии современное искусство может только стремиться к восстановлению древнего стиля (например, в церковных постройках), но на деле оно будет искажать его. После этого в первом томе «Летописей» Н. С. Тихонравова он опубликовал небольшую статью "Дополнительные сведения об истории Остромирова Евангелия", в которой, опираясь на собственное открытие, разъяснил, откуда и когда этот драгоценный памятник попал в Петербург. Затем он изучил оклад Мстиславова Евангелия и связанные с ним исторические данные, уделив внимание финифтевым миниатюрам (Оклад Мстиславова евангелия: Разбор древнейших финифтей в России).
С началом работы в Румянцевском музее в Москве, он продолжил свою службу в Оружейной палате, одновременно руководя отделением древностей в этом музее. Его вклад значительно увеличил объем музея, фактически он стал основателем этого отделения и руководил им непрерывно в течение двадцати семи лет.
В 1864 году вместе с Ф. И. Буслаевым, В. Ф. Одоевским и А. Е. Викторовым он был одним из основателей общества "Общество любителей древнерусского искусства". Он активно участвовал в деятельности общества до его прекращения в конце 1870-х годов. В первом томе сборника общества, изданном под его редакцией в 1866 году, Г. Д. Филимонов опубликовал целый ряд статей по различным темам, включая архитектуру, церковное искусство, иконопись и археологию. Во втором томе сборника, выпущенном в 1873 году, он опубликовал свою крупную работу "Симон Ушаков и современная ему эпоха русской иконописи", основанную на анализе многочисленных документов. Также в 1864 году Филимонов стал одним из основателей Московского археологического общества.
В 1867 году он был отправлен в Париж на всемирную выставку в качестве комиссара русского художественного отдела. После возвращения из Парижа он стал помощником директора Оружейной палаты. Одновременно он продолжал работать в Румянцевском музее, где в 1869 году был назначен хранителем отделения древностей. Вскоре он создал три подотделения: доисторическое, древнехристианское и русское.
С 1873 по 1876 год общество любителей древнерусского искусства выпускало журнал под названием «Вестник» (вышло 12 номеров), редактированный Г. Д. Филимоновым. Он опубликовал в нем пять своих исследований: "Очерки русской христианской иконографии. София Премудрость Божия", "Древнейшие западные эмали в России, приписываемые святому Антонию Римлянину и Андрею Боголюбскому", "Конные портреты русских царей", "Древние каменные изваяния в Пятигорске", "Сванетия в археологическом отношении". Его исследования по иконописи из Новгорода (по софийскому списку конца XVI века и сводной редакции XVIII века) были изданы в отдельных книгах.
В 1863 году Филимонов участвовал в работе комиссии по восстановлению икон и обнаружению фресок в Благовещенском соборе Московского Кремля. В начале 1880-х годов он наблюдал за реставрацией живописи в Грановитой палате. В этот период он опубликовал важный документ для русской художественной археологии XVII века – “Описные книги царских палат Золотой и Грановитой, составленные Симоном Ушаковым в 1672 году”.
Также он стал участвовать в активных раскопках в средней и южной России, а также на Кавказе в 1876 и 1877 годах, где сделал важные находки, указывающие на наличие развитой бронзовой промышленности. Эти находки были представлены на Антропологической выставке в Москве в 1879 году, на организацию которой он также активно влиял.
Сразу после того, как в 1892 году был опубликован "Указатель всех знаков на серебре московской Оружейной Палаты", он был уволен с должности хранителя Оружейной палаты.
Много раз посещавший казённую квартиру Филимонова, коллекционер П. И. Щукин вспоминал, что "Филимонов жил в Кремле, у Спасских ворот, в домике рядом с гауптвахтой".
Изучая историю древнерусского искусства, этот лингвист и богослов собрал разнообразную коллекцию икон, прорисей, рисунков, портретов, произведений прикладного искусства и рукописей. Хотя он был автором описания некоторых московских собраний, но так и не удалось ему составить полный каталог своей коллекции. Сведения о ней остались крайне скудными и неполными, за исключением части, которая включала иконописные прориси. Он приобрел до пяти тысяч листов подлинных прорисей XVIII - начала XIX века на рынке у Сухаревой башни, принадлежавших московской иконописной мастерской П. и М. Сапожниковых. Это важное открытие привело к революции в изучении иконописи, так как ранее древнерусскую живопись анализировали только на основе самих икон и литературных источников. Особенно внимательно он изучал снимки с образами Божией Матери.
В 1898 году, приблизительно весной, он заболел и решил отправиться на Кавказ для лечения. Но, к несчастью, его заболевание оказалось несовместимым с жизнью и он скончался там.
Вдова Надежда Фёдоровна передала собрание своего мужа в качестве подарка музеям и научным обществам.
В 1898 году часть его коллекции, включающая 1500 археологических находок, была передана в Румянцевский музей, а 5000 прорисей и гравюр отправлены в Санкт-Петербург Обществу изучения древней письменности. Часть коллекции, хранившаяся в Сухуми, была передана В. И. Срезневскому, а затем перешла к О. Ю. Смецкой и в 1928-1929 гг. попала в Рукописный отдел Библиотеки Академии наук СССР. Филимоновская библиотека избранной литературы по истории, археологии и истории искусств была распродана, и редкие издания были приобретены библиофилом Д. В. Ульянинским.
