Музей размещается в единственном сохранившемся в Томске с середины XIX века комплексе жилых и хозяйственных каменных сооружений. Это одно из лучших в Сибири зданий эпохи классицизма — особняк томского золотопромышленника И.Д. Асташева, построенный в 1838-1842 годах. При проектировании дворца губернский архитектор А.П. Деев пользовался образцовыми проектами из альбома московского архитектора В.П. Стасова. Во дворе усадьбы существовал роскошный сад.После смерти хозяина дом с усадьбой купило Томское духовное ведомство для архиерейского дома. В 1886 году одно из каменных сооружений усадьбы было перестроено в домовую архиерейскую церковь, над входом в которую выросла колокольня, по отзывам современников, «довольно красивой, но вместе и простой архитектуры». Между церковью и бывшим асташевским домом была возведена пристройка, объединившая здания в единый комплекс под одной крышей.В начале 1920 года после падения в Томске колчаковского режима и восстановления власти Советов бывшая асташевская усадьба была национализирована и передана для организации в ней музея «Старины и эволюции». Музеефикация комплекса позволила сохранить от уничтожения не только сам памятник архитектуры, но отчасти содержащиеся в нем предметы искусства. В марте 1922 года в бывшем асташевском особняке открылась первая экспозиция музея, который вскоре приобрел статус краевого (краеведческого).
Здание является оъектом культурного наследия федерального значения. Собрание томского краеведческого музея одно из самых больших в Сибири и насчитывает более 192 тысяч предметов. В нем сосредоточены ценные свидетельства истории Томска и Томского края от палеолита до наших дней. В коллекциях представлена этнография не только русских, татар, селькупов, хантов, эвенков, живущих в среднем Приобье, но также шорцев, алтайцев, якутов, тувинцев, украинцев, белорусов, чувашей и других. Среди археологических артефактов выделяется коллекция бронзовой металлопластики кулайской культуры (5 век до н.э. — 5 век н.э.). Украшением музейного собрания является «Восточная коллекция» — культовые и бытовые, декоративные изделия XIX-XX веков из Китая, Японии, Монголии, Тибета. Западная Европа представлена образцами декоративно-прикладного искусства XVII-XIX веков — мебелью, керамикой и другим. Мемориальную часть музейного собрания составляют именные коллекции многих томичей, например, личные фонды Г.Н. Потанина — знаменитого исследователя Центральной Азии и идеолога сибирского областничества; известного сибирского архитектора К.К. Лыгина; писательницы Галины Николаевой; космонавта Н.Н. Рукавишникова и других.