Название — по имени села Воробьёво, существовавшего здесь в средние века. В конце XV века княгиня Софья Витовтовна, дочь великого князя Литовского Витовта и жена великого князя Московского Василия I, купила село Воробьёво у православного священника по прозвищу Воробей. По одной из версий, именно ему Воробьёво обязано своим названием. После продажи село стало сначала великокняжеской, а затем и царской летней резиденцией. С конца XIX Воробьёвы горы — популярное дачное место. В 1924—1991 Воробьёвы горы носили название Ленинские горы в честь В. И. Ленина. Название местности «Ленинские горы» было неофициальным, его ввёл в обиход Лазарь Каганович. Оно было обиходным: официально Воробьёвы горы название не меняли.
На территории Воробьевых гор найдено городище дьяковского периода (I тысячелетие до нашей эры). Некоторые историки считают, что благодаря дьяковцам появились сказки о Бабе Яге, ведь они хоронили мертвых в т.н. «домиках смерти» в лесу.
