Někdy ve 14. či 15. století si zdejší vrchost postavila, už v letech 1355 a 1368 ve vsi sídlili vladykové z Ořechova. Od roku 1407 drželi ves Ořechovští z Honbic, v roce 1493 získal zboří Hynek ze Zástřizl. Tvrz samotná je poprvé doložena až roku 1500, kdy ji získali Onšíkové z Bělkovic, ale už roku 1518 ji opět drží Zástřizlové, kteří ji renesančně přestavěli. Roku 1518 ji koupil Jan Ostratický z Ostratic a roku 1603 Jan Cedlar z Hoffu. Od roku 1652 až do konce 19. století drželi Ořechov Kounicové, kteří tvrz na přelomu 17. a 18. století přestavěli v nevelký barokní zámek, který sloužil jen jako správní budova. Dnes v jeho značně přestavěné budově sídlí základní škola.