В 1887 году художник Поленов по дороге в Крым увидел дивные места и влюбился в их, на реке Оке захотел он построить себе домик.

Вернувшись в Москву он часто стал посещать эти места и все больше влюблялся в природу Тульской земли.

Весной 1890 года Поленовым удалось приобрести 80 десятин земли в селе Бехове, но сам художник заприметил другое место под свою усадьбу -  на холме с видом на реку Оку.  Община не могла сразу продать землю на песчаном холме, поэтому Иван Дмитриевич  договорился с крестьянами об обмене: за одну десятину столь приглянувшегося ему холма он отдавал двойное количество пахотной земли. Все мысли в это время были  только о усадьбе, Поленов уже знал как будет выглядеть его поместье.

Владея незаурядными архитектурными способностями художник сам принялся за строительство задуманного. 16 августа 1891 года был заложен дом, а 30 сентября начали возводить стены. И уже 2 октября 1892 года семья переселилась в новый, еще не оштукатуренный, пахнущий смолой большой дом в Борке. Именно эту дату и принято считать днём создания музея.