Vesnice Varvažov leží v objetí hlubokých lesů Žbonínského a Vrábského polesí na severu Prácheňska 3 km jv. Od
Smetanovy Lhoty (11 km jv. od Mirovic).Definitivní podobu nabývá varvažovské panství r. 1159, kdy mu král Vladislav II. k dosavadním vsím Varvažovu, Nevězicům, Zbonínu a Smetanově Lhotě daruje ještě újezd kozárovický.
Osada Varvažov byla po několik staletí sídlem velkopřevorství Řádu sv. Jana Jeruzalémského. Na konci 16. Století varvažovské panství, jako část komendy řádu rytířů maltézských ve Strakonicích, vzrostlo přikoupením vesnic bývalého arcibiskupského panství příbramského na
Miroticku.Panství bylo rozděleno ve dvě rychty: Rychtu nevězickou tvořily vlastní vesnice varvažovské: Nevězice, Varvažov, Žbonín s Ochozem a Smetanova Lhota. K rychtě radobytecké patřily pak vesnice rozložené na Miroticku kolem Radobytec: Radobytce, Bořice, Jarotice, Malčice, Podolí a Vatkovice.
V roce 1593 byl zdejší řádový dvůr s
raněgotickým kostelíkem sv. Kateřiny v desolátním stavu a bylo třeba vše opravovat - nově byla vystavěna konírna, kolna a sýpka, kostelík rozšířen a okolo r. 1600 byl při něm zřízen nový hřbitov. Na jižní straně přiléhá ke vjezdové bráně pivovar a za ním uzavíralo nádvoří počátkem 17. století jednopatrové stavení zámečku. V něm byly tři komnaty s pomalovanými a vykládanými stropy a s novým krbem pro velkopřevora. V severozápadním rohu nádvoří stál špýchar, stoupa na dělání krup, komůrky pro hlídače a služebné, sklípek na přechovávání másla, sýra a mléka a velké dřevěné lázně. Při konírně se nalézala další malá dřevěná lázeň s ohništěm a dřevěné vězení.Varvažovské vesnice, zvláště v prvých letech třicetileté války, utrpěly mnoho v souvislosti s tažením a pobytem armád a obléháním Zvíkova a 0r1íka. Měly též velkou robotní účast při opevňování obou hradů r.1645 a 1663.
Jakožto panství duchovní zůstal Varvažov zcela ušetřen konfiskace, ale z konfiskačních záborů statků však také ale nic nezískal a panství se po bitvě bělohorské nezvětšilo.
Příležitost tu byla, protože s Varvažovem sousedící cerhonické i čime1ické panství konfiskaci propadlo. Varvažov tedy zůstal v držení Křížovníků řádu sv. Jana.
I tak zv. protireformační praxe, t.j. obracení nekatolíků zase k víře katolické, často až násilnými prostředky v době pobělohorské, měly vesnice duchovního pa
Větší část doby války třicetileté mělo strakonické panství znamenitého velkopřevora hraběte Colloreda. Ten, více voják než kněz, zúčastnil se horlivě všechvojenských akcí na straně císařově - a svou rozhodností a obětavostí zachránil mnohokráte vesnice varvažovské i radobytecké od řádění soldatesky i od nadměrných a častých ložíruňků vojáků, po nichž zůstávaly jen ožebračené a zpustošené vesnice.
Po roce 1650 připomíná se ve Varvažově pivovar a kaple sv. Kateřiny, kde byly vykonávány i křty a oddavky mirotickým farářem, který sem byl při význačných příležitostech zván.
Při kapli bylo až po r.1700 zřízeno samostatné kaplanství.
Koncem 17. Století, byl více než 20 let velkopřevorem strakonickým a tím i vrchností varvažovskou Ferdinand Ludvík hrabě z Kolovrat, který na Varvažovsku smutně proslul utužováním poddanství nejnevybíravějšími prostředky.
Z úředníků na panství varvažovském, jako prvý známý, přichází před r.1670 hejtman Jakub Forst a od tohoto roku až do r. 1694 byl varvažovským hejtmanem Daniel Po1esný, který žil v úzkých přátelských stycích s cerhonickým hejtmanem Janem Hruškou a mnohokráte si vzájemně vypomáhali čestnými službami kmotrovskými.
Dosti rozlehlé varvažovské panství mělo na Miroticku až do začátku 18. stol. pouze jediný dvůr ve Varvažově. Teprve tehdy, zásluhou některých podnikavých ·velkopřevorů, jsou
Okolo r. 1760 zde velkopřevor, hrabě Emanuel Václav Krakovský z Kolovrat vystavěl dnešní barokní
zámek pro letní pobyt členů řádu.V nepřetržité řádové držbě byl Varvažov až do roku 1847. Těsně před zánikem zřízení patrimonijního bylo celé varvažovské panství koupeno Schwarzenberky orlickými a připojeno k panství
Čimelice.