Čtvercové hospodářské stavení nechal počátkem 19. století postavit majitel panství v Třemešku Franz Xaver Tersch. V objektu se nacházely kravíny, prostory pro zpracování mléka i sklady krmiva. Později Terschův syn Franz vestavěl doprostřed severního křídla statku obytný dům ve stylu klasicismu.

Přestavbu celého křídla na neorenesanční palác dokončil roku 1882 baron Karl Chiari a na počest své ženy nazval sídlo Pavlíniným dvorem. Opravy se dočkaly i ostatní budovy, vznikl tak nový kravín a mlékárna a stavení dál sloužilo jako dodavatel mléka pro obyvatele Šumperka.

Po roce 1945 a zestátnění soukromého majetku komunistickou vládou byly hospodářské části dvora využívané jako sběrna surovin i družstevní sýpka a do paláce se nastěhovaly sbírky šumperského muzea. Ty se postupem let rozšiřovaly a zařízení potřebovalo další a další prostory, proto v 60. letech začala rozsáhlá mnoho let trvající rekonstrukce, dokončená prakticky až v závěru 80. let.

Po pádu komunismu v roce 1989 přešel areál do správy města a následovaly další práce jako výměna oken v průčelí paláce, restaurování historických vstupních vrat nebo výměna krovu a položení nové krytiny. Stejnou barvu fasády, jakou měla reprezentativní budova ještě ve 30. letech minulého století, dostala v roce 2005.

Zdroj: http://www.navstivtejeseniky.cz/za-pamatkami-a-kulturou/hrady-a-zamky