Ves a později městečko, jehož základem byla patrně tvrz založená koncem 12. století při důležité Lovětínské stezce, která se právě v těchto místech křížila se stezkou Haberskou. Počátkem 13. století dostali toto území příslušníci rodu Ranožírovců, kteří měli v erbu jelení paroh, což bude souviset s pojmenováním tvrze samotné. Jméno vsi zase odpovídá jménu Stonař, který se vyskytuje v listinách v roce 1218 a 1226 a který byl údajně bítovským komorníkem. K rozvoji samotné vsi pak přispěla vnější kolonisace zdejšího území v polovině 13. století německy hovořícími osadníky patrně z Dolních Rakous, čemuž by odpovídala stavba zdejšího karneru. První zmínka o tvrzi je podle Nekudy a Ungera v Zemských deskách brněnských z roku 1531, kdy se zapisuje tvrz zvaná Hirspiel jako pustá. Podle Pátka stávala ve Stonařově tvrz Hirschbühel, mylně uváděná Hirschspiel.
V jihlavském archivu je uložena listina s pořadovým číslem 415, která je datována 25. února 1534 a která potvrzuje, že Ctibor a Jan Roubíkové z Hlavatce prodávají purkmistru, radě a obci města Jihlavy své zboží, pustou tvrz Hirzpuhl, tvrz Stonařov s městečkem a šesti dalšími vesnicemi včetně pustých za obnos 4500 kop grošů českých. Překvapující je, že jsou zde uvedeny hned dvě tvrze. Při pohledu na katastrální mapu Stonařova z roku 1778, jejíž autorem byl J.N. Krzaupal, se nabízí jako tvrz Stonařov komplex objektů s centrální stavbou označenou číslem 29 v prostoru za kostelem sv. Václava. Jak naznačuje uspořádání objektů, byla tvrz oválného tvaru a stála na protáhlé vyvýšenině, která byla ze tří stran obklopena údolím říčky Jihlávky. Ještě v době vzniku mapy byla obehnána zdí. Chráněna byla od východu hned třemi rybníky a již zmíněná Lovětínská stezka ji prakticky těsně míjela, takže vstup byl zřízen na západní straně. Některé objekty v sousedství mohly být součástí obranného systému tvrze. Důležitost tohoto místa potvrzuje samotné umístění kostela se hřbitovem a karnerem v její bezprostřední blízkosti. V této době se zde soustřeďuje i další výstavba rozrůstající se vsi. Oválné opevnění mělo přibližné rozměry 80 x 40 metrů s centrálním objektem ve tvaru U a s celou řadou drobnějších, rozmístěných podél hradby. Druhá tvrz je na mapě zcela jasně vykreslena a měla rovněž tvar nepravidelného oválu, v jehož středu je vepsáno pojmenování - Hirsch Bügl, což je v překladu Jelení Oblouk, ve významu Jelení Tvrz na oblouku nad potokem. Historik Pátek uvedl ve svém popise název Hirschbühel, Jelení Pahorek, což je pro naši tvrz příznačnější. Sám název napovídá, že stavbu inicioval některý z příslušníků rodu Ranožírovců, pánů s jelením rohem. Tato tvrz byla opatřena dvojitou hradbou a příkopem a stála na návsí nad soutokem dvou přítoků říčky Jihlávky. Není vyloučeno, že na její ochranu byl vybudován na severovýchodní straně velký rybník Marckt Taücht neboli Hraniční, související snad s vymezením Lovětínského Újezdu. Dnes je tento rybník zrušen, ale přesto je zde půda stále podmáčená a bahnitá. Na jižní a západní straně se v minulosti rovněž rozprostíraly bahnité louky napájené vodami zmíněných potoků a tak jediný možný přístup byl při severozápadní straně a k němu také směřovala jediná komunikace táhnoucí se od jihovýchodu, snad jdoucí od Kněžic a Třebíče. Rozměry vnějšího opevnění byla asi 50 x 40 m a vnitřní plocha, kde byly umístěny potřebné objekty, měla 25 x 20 m. Vše nasvědčuje tomu, že lépe strategicky umístěná tvrz Hirsch Bügl byla postavena později, v neklidných dobách, a to přímo některým příslušníkem rodu s jelením parohem, jak z daného pojmenování vyplývá. Starší však bude tvrz nacházející se dnes ve vsi a pojmenovaná po svém zakladateli Stonařov čili Stonařův Dvůr, sloužící jako útočiště a přístřeší pro kupce a obchodníky, kteří tudy táhli ku Praze, Vídni či do nitra Moravy, tedy v době relativně klidné, na konci 12. století. Pro větší bezpečnost byl dvůr později obehnán hradbou. Tento názor podpořil znalec zdejšího kraje Lubomír Peltan, který již dříve došel k podobným závěrům.