Kelmė besitzt zwei historische Zeugnisse, die mit der Familie Gruževskis verbunden sind: das Gut und die evangelisch-reformierte Kirche. Das Gut ist seit dem 15. Jahrhundert bekannt und gilt als seltenes barockes Provinzgut Litauens. Authentische Gebäude, Bepflanzung und Wasserflächen bilden gemeinsam das Ensemble. Es liegt im Bezirk Šiauliai, zu dessen Orten auch Šiauliai und Joniškis gehören.
Gut Kelmė
Von 1591 an blieb das Gut im Besitz der Familie Gruževskis. 1940 wurde die letzte Eigentümerin Gabrielle Gruževskienė mit ihren Töchtern Sofia und Adolfina aus dem Gut vertrieben; später wurden die Frauen nach Sibirien deportiert.
Während der deutschen Besatzung lebte Baron von Haren im Gut. Nach dem Krieg wurde das Anwesen zunächst als Schule und danach als Zentrum einer Geflügelfarm genutzt. 1990 richtete man auf dem Gut ein öffentliches Museum ein. Dieses Museum bildete den Ausgangspunkt des heutigen Regionalmuseums Kelmė.
Auch das Jahr 1831 gehört zur Geschichte des Gutes. Julius Gruževskis, der damalige Eigentümer, war Mitglied des Bezirkskomitees der Aufständischen in Raseiniai. Zu den überlieferten Aspekten seiner Entwicklung zählen Architektur, Bauwesen, Parkgestaltung, Kunst und Landwirtschaft. Weitere Kulturziele im Bezirk liegen in Šiauliai.
Evangelisch-reformierte Kirche
Die evangelisch-reformierte Kirche ließ der samogitische Älteste Jurgis Gruževskis 1615 mit eigenen Mitteln errichten. Der einschiffige Bau hat einen Turm und eine dreiseitige gotische Apsis; Renaissanceelemente ergänzen die Architektur. Gotische Fenster und die in die Länge und Höhe gestreckten Proportionen prägen die Außenansicht. Im Inneren sind Kreuzgewölbe mit Stuckrippen und Rosetten erhalten. Zu den weiteren überlieferten Bauteilen gehören Renaissancekapitelle an den Pilastern sowie das Wappen der Gruževskis über dem Triumphbogen, der den Altarraum abtrennt.
Auch Teile der früher im Kirchturm installierten Uhr sind erhalten. Ein weiteres Reiseziel im Bezirk ist Joniškis.