Dnešní strohý vnější vzhled barokního rabínského domu je však výsledkem stavební úpravy až ve druhé polovině 20. století, která setřela klasické historické členění fasád. V 70. či 80. letech 19. století byl dům zakoupen židovskou obcí. Následně zde byla zřízena židovsko-německá škola a byt rabína, který na škole vyučoval. Školu navštěvovalo počátkem 80. let 19. století, kdy byla židovská komunita v Pacově na svém vrcholu, téměř 50 žáků. Postupně počet klesal a škola byla zrušena v prvním desetiletí 20. století. Rodina posledního Pacovského rabína Natana Guttmanna obývala dům do roku 1942.

Ve druhé polovině 20. století došlo ke stavební úpravě domu na čtyři bytové jednotky, nicméně původní dispozice s klenutým přízemím zůstala zachována. V současnosti je objekt vyklizen a slouží k občasným výstavám a aktivitám spolku Tikkun Pacov, z. s., který pečuje o židovské památky v Pacově a dlouhodobě usiluje o jejich obnovu. Vedle aktuálně probíhající památkové obnovy více než půlstoletí zdevastované pacovské synagogy bude citlivá rehabilitace rabínského domu v Pacově dalším z významných počinů tohoto spolku.

Budova je tak nedílnou součástí území určujícího charakter městské památkové zóny vyhlášené v roce 1990. Pacovská synagoga prohlášená za kulturní památku v roce 2020 je od domu vzdálená přibližně 150 metrů jihovýchodním směrem. Soubor židovských památek doplňuje hřbitov na severovýchodním okraji města. Zastavěná plocha budovy má nepravidelný tvar, z východní strany na ni navazuje pozemek dvora od východu ohraničený sousedním objektem a z ulice vymezený ohrazením s branou.

„Bývalý rabínský dům má hodnoty jak urbanistické, architektonické a historické, tak symbolické. Můžeme ho chápat jako prvek doplňující soubor židovských památek připomínající dějiny židovské menšiny v Pacově a životy občanů spojených s tragédií holokaustu, ale i jako svébytný památkově hodnotný objekt“, konstatuje ředitel územního odborného pracoviště Národního památkového ústavu v Telči Libor Karásek.