บริเวณที่ตั้งวังสวนผักกาดเดิมจะเป็นที่อยู่อาศัยของชาวจีน ซึ่งมีอาชีพทำสวนผักกาดขาย เมื่อเกิดสงครามโลกครั้งที่ 2 พลตรีพระเจ้าวรวงศ์เธอพระองค์เจ้าจุมภฏพงษ์บริพัตร กรมหมื่นนครสวรรค์ศักดิพินิต หรือเสด็จในกรมฯ และ ม.ร.ว.พันธุ์ทิพย์ บริพัตร พระชายา ได้เสด็จลี้ภัยสงครามมาอาศัยอยู่ที่นี่ ซึ่งในสมัยนั้นยังคงเป็นเป็นย่านชานเมืองที่มีความปลอดภัยมากกว่า เมื่อสงครามสงบก็ได้กลายเป็นที่พักอาศัยอย่างถาวร

ในปี พ.ศ.2495 เสด็จในกรมฯ โปรดให้รื้อหมู่ตำหนักไทยโบราณมาปลูกที่วังสวนผักกาด ซึ่งตำหนักไทยเหล่านี้มีความเก่าแก่กว่าร้อยปีมาแล้ว เดิมสร้างอยู่ที่วัดพิชัยญาติ ต่อมาเมื่อเป็นของสมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้าบริพัตรสุขุมพันธุ์ กรมพระนครสวรรค์วรพินิต หรือทูลกระหม่อมบริพัตร พระบิดาของเสด็จในกรมฯ จึงทรงรื้อไปปลูกที่ตำบลอัมพวา จังหวัดสมุทรสงคราม ต่อมาได้รื้อไปปลูกที่ตำบลบางกระสอ จังหวัดนนทบุรี

ทูลกระหม่อมบริพัตร ทรงมีอุปนิสัยโปรดการดนตรีและรวมไปถึงงานศิลปกรรมต่างๆ เป็นผู้ประทานกำเนิดวังบางขุนพรหม ซึ่งทำให้ที่วังแห่งนั้นเป็นบ่อเกิดของวัฒนธรรมและเป็นที่รวมของศิลปะหลายอย่าง (จากหนังสือชีวิตและงานทูลกระหม่อมบริพัตร โดยนวรัตน์ เลขะกุล)

ดังนั้น เมื่อเสด็จในกรมฯ ทรงรื้อย้ายเรือนไทยหลังใหญ่มาที่วังสวนผักกาดนั้น จึงได้ทรงเริ่มตกแต่งตำหนักด้วยศิลปวัตถุและโบราณวัตถุที่ทรงได้รับสืบทอดมาจากพระบิดา รวมทั้งวัตถุโบราณล้ำค่าอื่นๆ ที่ทรงสะสมด้วยด้วยองค์เอง ทั้งวัตถุที่ค้นพบในประเทศไทย และซื้อหามาจากประเทศอื่น และเปิดให้บุคคลภายนอกได้เข้าร่วมชื่นชมในขณะที่ท่านยังคงพำนักอยู่ในวังแห่งนี้ด้วยตั้งแต่ปี พ.ศ.2495 เป็นต้นมา

ในวัยเยาว์ พลตรี พระเจ้าวรวงศ์เธอ พระองค์เจ้าจุมภฏพงษ์บริพัตร กรมหมื่นนครสวรรค์ศักดิพินิต ทรงศึกษาที่โรงเรียนมัธยมวัดเทพศิรินทร์ โรงเรียนแฮโรว์ และมหาวิทยาลัยออกซ์ฟอร์ด พระองค์เป็นผู้หนึ่งที่สนพระทัยเกี่ยวกับการศึกษา การแพทย์ โบราณวัตถุ ศิลปวัตถุ และพระพุทธศาสนา

ส่วน ม.ร.ว.พันธุ์ทิพย์ บริพัตร เป็นพระธิดาคนแรกของพระวรวงศ์เธอ พระองค์เจ้าไตรทศประพันธ์ กรมหมื่นเทววงศ์วโรทัย และหม่อมเพี้ยน เทวกุล ณ อยุธยา (บุนนาค) เมื่อคุณท่านอายุเพียง 3 ปี ได้ตามเสด็จพระบิดาซึ่งรับราชการในพระบาทสมเด็จพระเจ้าอยู่หัวรัชกาลที่ 6 เป็นราชทูตไทยประจำสหรัฐอเมริกา เยอรมนี และเดนมาร์ก กลับประเทศไทยเมื่ออายุ 14 ปี และศึกษาต่อที่โรงเรียนราชินี และโรงเรียนอัสสัมชัญคอนแวนต์ ตามลำดับ และยังเคยได้รับทุนการศึกษาจากสมเด็จพระมหิตลาธิเบศรอดุลยเดชวิกรม พระบรมราชชนก ไปศึกษาภาษาฝรั่งเศส ที่เมืองโลซานน์ ประเทศสวิตเซอร์แลนด์

หลังจากที่เสด็จในกรมฯ สิ้นพระชนม์ลงเมื่อปี พ.ศ.2502 ม.ร.ว.พันธุ์ทิพย์ บริพัตร ได้ดำเนินการทุกอย่างสืบต่อจากที่เสด็จในกรมฯ ทรงทำไว้ โดยเฉพาะอนุรักษ์โบราณวัตถุ และศิลป-วัฒนธรรม ซึ่งต่อมาในปี พ.ศ.2511 คุณท่านได้อุทิศพิพิธภัณฑ์วังสวนผักกาดนี้ให้แก่มูลนิธิ จุมภฏ-พันธุ์ทิพย์

คุณท่านและเสด็จในกรมฯ มีพระธิดาองค์เดียวคือหม่อมเจ้าหญิงมารศีสุขุมพันธุ์ บริพัตร ซึ่งสนพระทัยทางด้านศิลปะ และมีผลงานที่น่าสนใจมากมาย แต่ส่วนใหญ่ท่านจะประทับ ณ ประเทศฝรั่งเศส

ม.ร.ว.พันธุ์ทิพย์ บริพัตร ถึงแก่อนิจกรรมเมื่อ พ.ศ.2530 ต่อมามูลนิธิได้กำหนดวันที่ 8 มีนาคม ซึ่งเป็นวันครบรอบวันเกิดของคุณท่านเป็นวันมูลนิธิ จุมภฏ-พันธุ์ทิพย์