Po powrocie do kraju w 1804 r. przybył do Płocka i objął najpierw stanowisko profesora wymowy w miejscowym gimnazjum akademickim, a następnie, za czasów Księstwa Warszawskiego, w Szkole Departamentowej (dzisiejsze liceum im. Małachowskiego). Poza wymową uczył także innych przedmiotów. Podczas czteroletniego pobytu w Płocku bacznie obserwował, co działo się w szkolnictwie, zwłaszcza płockim Gimnazjum Akademickim, gdy władze pruskie usuwały ze szkoły nauczycieli polskich, wprowadzając na ich miejsce nauczycieli niemieckich.

Oprócz pracy w szkole zasłynął w mieście z mów patriotycznych, wygłaszanych przeważnie w katedrze. Był to czas wojen napoleońskich na Mazowszu, bowiem w grudniu 1806 r. oddziały francuskie wraz z polskimi wyzwoliły Płock i wówczas wielu starszych uczniów szkoły płockiej zaciągnęło się w szeregi wojska polskiego, aby walczyć w obronie niepodległości. Wkraczające wojska francuskie witał z wielkim entuzjazmem, widząc w tym wydarzeniu wielką historyczną szansę dla naszego narodu. Apelował też do żołnierzy polskich o konieczną w takich okolicznościach ofiarę krwi, o świętą powinność obrony odzyskanej co dopiero wolności.

Równie patriotyczne kazanie wygłosił w katedrze płockiej 3 maja 1807 r. z okazji rocznicy uchwalenia konstytucji majowej 1791 r. Wskazywał i przewidywał, że dla wywalczenia wolności dla narodu potrzebne będą ofiary z ludzkiego życia, także Mazowszan, złożone na ołtarzu ojczyzny. Ofiary i cierpienia nasze, jakie w walce choćby najszczęśliwszej są przecież nieuchronne, będą obfitym zasiewem przyszłej pomyślności. Im więcej teraz zasiejemy, tym więcej zbierać potem będziemy. Cierpienia nasze są przemijające, owoce ich będą nieśmiertelne. W patetycznych słowach z katedralnej ambony wołał: Polacy! Miejcie duszę Małachowskich, gorliwość Wybickich, męstwo i stałość wsławionych bohaterów.

Podczas pracy w płockim gimnazjum przygotował do druku cenne dzieło z dziedziny pedagogiki, wydane w Warszawie w 1808 r. "Uwagi nad wyższymi szkołami polskimi w porównaniu do niemieckich". Dzieło to posłużyło Szweykowskiemu do reorganizacji szkolnictwa polskiego w okresie Księstwa Warszawskiego i Królestwa Polskiego.

Gdy odszedł z Płocka, Izba Edukacyjna powierzyła mu organizację Szkoły Departamentowej w Sejnach koło Augustowa, gdzie został jej pierwszym rektorem - Rector Licei Sejnensis. W następnych latach otrzymał nowe godności i tytuły. W 1810 r. otrzymał od biskupa płockiego Tomasza Ostaszewskiego kanonię katedralną płocką. W 1811 r. powołany został na członka Towarzystwa do Ksiąg Elementarnych i mianowany profesorem literatury polskiej w Liceum Warszawskim.