Die Kirche selbst beeindruckt mit ihrer spätbarocken Dekoration, dem feinen Stuck in allerlei Form, den beachtenswerten Deckengemälden und den frühklassizistischen Altären.

Eine weitere Besonderheit ist die „Koulen-Orgel“ aus dem Jahre 1906, eine der wenigen noch erhaltenen Orgeln dieser Orgelbaufamilie, die nur über eine Generation hinweg Orgeln baute. Die Hiltenfinger Orgel wurde 2005 gründlich renoviert und erfreut seither wieder mit ihrem vollen harmonischen Klang.

Neben der Kirche steht der 1981 erbaute Pfarrhof. Das heutige Pfarrheim aus dem Jahr 1710 wurde 2009 aufwändig saniert und wird von den kirchlichen Gruppierungen gerne und viel genutzt.

Die Pfarreiengemeinschaft St. Silvester, Hiltenfingen mit St. Peter und Paul, Scherstetten wurde 1978 unter Geistl. Rat Ludwig Hihler gegründet. St. Martin in Konradshofen kam 1985 dazu. Gemeinsame Termine und Veranstaltungen wurden koordiniert, die Zusammenarbeit der Pfarrgemeinderäte und Liturgiekreise gefördert und ein gemeinsamer Pfarrbrief fünf bis sechsmal jährlich herausgegeben. Unter Pfarrer Hermann Danner wurden diese Maßnahmen weiter intensiviert. Die Pfarreien sind gut zusammengewachsen.