Urodził się 7 (lub 9) maja w Kluczborku. Studia prawnicze ukończył w Warszawie. Aresztowany przez władze carskie, po dwuletnim zesłaniu w guberni ufijskiej na Uralu, obronił doktorat z prawa na uniwersytecie w Dorpacie w 1898 r. Po promocji wrócił do Warszawy i pracował jako adwokat, działając jednocześnie w Polskiej Macierzy Szkolnej i na Uniwersytecie Ludowym. 

W latach 1912-1914 aktywnie propagował działania Polskich Drużyn Strzeleckich. W 1917 r. Rzymowski został mianowany sędzią Sądu Okręgowego w Częstochowie. Po odzyskaniu niepodległości, promowany do stopnia oficerskiego, pracował w sądownictwie wojskowym, w Ministerstwie Sprawiedliwości oraz w Ministerstwie Spraw Wojskowych, gdzie był szefem sekcji Departamentu Wojskowo-Prawnego. 

Karierę wojskową zakończył jako pułkownik I prokurator Najwyższego Sądu Wojskowego. Od 1931 r. pracował jako notariusz w Łodzi, a w latach 1932-1939 r. pełnił funkcję prezesa Izby Karnej Sądu Najwyższego. Jednocześnie działał w Związku Legionistów i przewodził warszawskiemu kołu Zrzeszenia Sędziów i Prokuratorów RP. 

Wybuch II wojny nałożył na prezesa obowiązek ewakuacji na wschód archiwum Sądu Najwyższego. Po wkroczeniu Sowietów Jan Rzymowski został aresztowany i osadzony najprawdopodobniej w więzieniu w Łucku, gdzie zmarł w 1939 r. 

Dla spragnionych wiedzy: 

L. Hass, Wolnomularze polscy w kraju i na świecie 1821-1999. Słownik biograficzny, Warszawa 1999