Obok stuletniego neogotyckiego kościoła, stoi niewielka klasycystyczna kapliczka murowana z pierwszej połowy XIX wieku. Znajdują się w niej groby rodziny Kanigowskich, dawnych właścicieli majątku w Sulerzyżu.

Nieco dalej, na cmentarzu parafialnym, znajduje się m.in. mogiła dwunastu powstańców styczniowych, poległych 8 września 1863 roku. Warto przypomnieć, że na terenie parafii Sulerzyż, pod Rydzewem w czasie powstania styczniowego, były stoczone aż trzy bitwy. W jednej z nich, w maju 1863 roku poległ Tomasz Kolbe, jeden z przywódców powstania na północnym Mazowszu. Jego grób znajduje się na cmentarzu w parafii Unierzyż.

Na malowniczo położonym cmentarzu w Sulerzyżu, został również pochowany Krzysztof Pepławski. Zmarł w 1998 roku. Pomimo ogromu bólu i cierpienia, jakim obdarzyło go życie, rozsiewał wokół siebie atmosferę miłości i pokoju. Wraz ze swoją siostrą Stefanią ofiarował krzyż cierpienia i choroby za pontyfikat Jana Pawła II. O Krzysztofie i Stefanii Pepławskich pisaliśmy na łamach "Gościa Płockiego".