Родившийся в городе Елисаветграде, Херсонской губернии, он получил образование в Херсонском духовном училище, затем в Екатеринославской и Одесской духовных семинариях. В 1841 году он продолжил свое образование в Санкт-Петербургской духовной академии, которую окончил в 1845 году со степенью магистра. После окончания академии он был оставлен при ней для преподавания греческого языка.
В 1846 году было решено, что он начнет свою службу в Христорождественской церкви при российской миссии в Неаполе. Там он был посвящен в сан священника. В 1859 году он был переведен в Князь-Владимирскую церковь при российском посольстве в Берлине, где ему были поручены обязанности священнослужителя в Александро-Невской церкви в Потсдаме. В Неаполе и Берлине он также служил настоятелем, и неоднократно совершал богослужения в присутствии членов императорской семьи. Он также преподавал Закон Божий великой княжне Ольге Константиновне и великим князьям Константину и Дмитрию Константиновичу. О. Тарасия посещали многие известные деятели российской культуры, в том числе и Николай Гоголь.
В 1846 году, перед отъездом Тарасия Серединского в Неаполь, ему был вручен золотой наперсный крест. За свои заслуги он был награжден несколькими орденами, включая скуфью в 1854 году, камилавкою в 1857 году, орденом Анны 3 степени в 1860 году, и орденом святой Анны 2 степени в 1866 году. В 1861 году он был возведен в сан протоиерея, а в 1867 году, в присутствии императора Александра II, он был удостоен золотого наперсного креста. Затем, в 1870 году, он был награжден орденом святого Владимира 4 степени, в 1874 году - палицеей, и в 1877 году - орденом святого Владимира 3 степени. Кроме того, у него были иностранные ордена, включая Прусский королевский орден короны 4 и 3 степени, а также Мекленбург-Шверинский кавалерский крест ордена Вендской короны.
В 1896 году отмечалось 50-летие трудов священника Тарасия.
Проживая в городах Неаполь и Берлин, о. Тарасий занимался написанием литературных богословских трудов. Ему в этом помогало отличное знание иностранных языков: древнееврейского, греческого (старого и нового), латинского, немецкого, французского и итальянского. Он следил за литературой как католического, так и протестантского богословия. Свои труды о. Тарасий публиковал в различных духовных журналах, включая Рижские епархиальные ведомости.
С 1886 года отец Тарасий Серединский проживал в городе Риге, где посвятил себя литературно-богословской работе.
Прот. Тарасий Серединский скончался в светлую седмицу 1897 года, а 19 апреля его похороны состоялись на Покровском кладбище в Риге. Отпевание было совершено Высокопреосвященнейшим Арсением вместе с многочисленным сонмом священнослужителей г. Риги.
В семье отца Тарасия выросли пять детей: Евгения, Степан, Григорий, Анна и Михаил.
До сих пор в Риге живут потомки отца Тарасия.
