Awal terbentuknya Desa Tegalsari dilatarbelakangi dengan adanya pengikut Kanjeng Sunan Kalijogo, yaitu Ki Ageng Badrean, Imam Wongso, Sultan Syahrir, dan Syeh Mahribi yang sedang berdiam di Desa Tegalsari tepatnya di pinggir sawah. Di tempat itu, mereka melakukan diskusi mengenai perang gerilya dalam mengantar Pangeran Diponegoro. Hingga saat ini, tempat yang digunakan untuk beristirahat para pengikut Sunan Kalijaga masih terdapat jejaknya. yaitu Punden yang terletak di pinggir Desa Tegalsari.
Nama Tegalsari berasal dari kata "Tegal" yang berarti ladang atau perkebunan serta "Sari" yang memiliki makna indah atau subur. Sehingga, arti dari Desa Tegalsari merupakan desa yang dulunya memiliki banyak perkebunan yang subur dan indah. Pada Zaman dahulu. Desa Tegalsari merupakan daerah perkebunan palawija terutama singkong. Namun seiring dengan perkembangan zaman, keadaan di Desa Tegalsari sekarang lebih dominan dalam pertanian sawah padi dan jagung. Untuk sekarang. Desa Tegalsari sedang mengembangkan sebuah inovasi berupa desa wisata yang diharapkan dapat memberikan manfaat kepada masyarakat.