Parafia katolicka w Lipsku została powołana i uposażona w 1582 r. przez króla Zygmunta III. Pierwszy drewniany kościół nosił wezwanie Wniebowzięcia Najświętszej Maryi Panny i św. Józefa. Kolejny, również drewniany kościół pw. Znalezienia Świętego Krzyża, zbudowano w 1748 r. z funduszy skarbowych. Kościół ten spłonął w 1857 r. i od tego czasu zabiegano o budowę nowej świątyni. Zgodę uzyskano od cara w 1905 r., a pracami kierował powołany do tego dzieła proboszcz ks. Paweł Zalewski. Nowy kościół wyświęcono w 1914 r. Podczas I wojny światowej świątynia została poważnie uszkodzona oraz ograbiona. Prace przy odbudowie i naprawianiu kościoła ukończono w 1925 r., a w 1929 r. został on konsekrowany przez biskupa łomżyńskiego, Stanisława Kostkę Łukomskiego. W 1931 r. dokonano koronacji słynącego cudami obrazu Matki Bożej Bazylianki. W czasie II wojny światowej kościół został powtórnie uszkodzony, a potem odbudowany.
Neogotycki kościół w Lipsku zbudowany został z czerwonej cegły, na rzucie krzyża łacińskiego, w układzie bazylikowym. Posiada trójnawowe wnętrze i trójbocznie zamknięte prezbiterium otoczone ambitem. W fasadzie umieszczono dwie masywne wieże przeprute ostrołukowymi otworami, zdobione szczycikami i pinaklami. Wieże zwieńczone zostały smukłymi ostrosłupowymi hełmami zdobionymi czołgankami i kwiatonami. W przyziemiu fasady znajdują się trzy otwory wejściowe w portalach zakończonych trójkątnymi wimpergami, powyżej rozeta, a w zwieńczeniu - schodkowy szczyt ze sterczynami. Neogotycki charakter świątyni widoczny jest również w łukach przyporowych, schodkowych szkarpach ujmujących jej korpus oraz ostro-łukowych oknach. Projektantem kościoła lipskiego był Adam Piotrowski z Siedlec, który jest również autorem neogotyckiej świątyni w Sztabinie.
Wnętrze świątyni podzielone zostało na nawy ostrołukowymi arkadami, przykryte sklepieniami krzyżowo-żebrowym i gwiaździstym. Przy prezbiterium w ambicie umieszczono zakrystię i kaplicę Matki Bożej Bazylianki. Nad kruchtą znajduje się chór muzyczny. Wykonane w latach 20. XX w. drewniane wyposażenie świątyni (ołtarze, ambona, konfesjonały, stalle, prospekt organowy) stylowo nawiązuje do gotyku.
Szczególną czcią w kościele lipskim otoczony jest obraz Matki Bożej Bazylianki pochodzący z przełomu XVI i XVII w. Wcześniej ikona ta, uważana za cudowną, znajdowała się w cerkwi unickiej, a po jej likwidacji przeniesiona została do cerkwi prawosławnej. Po 1918 r. parafię prawosławną zlikwidowano, a obraz umieszczono w kościele, gdzie w 2001 r. ukoronowano go papieskimi koronami. Malowana na desce ikona umieszczona jest obecnie w ołtarzu bocznym przy prezbiterium. Przedstawia Matkę Bożą z Dzieciątkiem siedzącym na jej lewej ręce.
Obecnie obraz Matki Bożej pokrywa metalowa aplikacja z 1892 r., odsłaniająca jedynie twarze oraz dłonie Maryi i Jezusa.
Galeria
