บริเวณที่ตั้งวังสวนผักกาดเดิมจะเป็นที่อยู่อาศัยของชาวจีน ซึ่งมีอาชีพทำสวนผักกาดขาย
เมื่อเกิดสงครามโลกครั้งที่ 2 พลตรีพระเจ้าวรวงศ์เธอพระองค์เจ้าจุมภฏพงษ์บริพัตร
กรมหมื่นนครสวรรค์ศักดิพินิต หรือเสด็จในกรมฯ และ ม.ร.ว.พันธุ์ทิพย์ บริพัตร
พระชายา ได้เสด็จลี้ภัยสงครามมาอาศัยอยู่ที่นี่ ซึ่งในสมัยนั้นยังคงเป็นเป็นย่านชานเมืองที่มีความปลอดภัยมากกว่า
เมื่อสงครามสงบก็ได้กลายเป็นที่พักอาศัยอย่างถาวร
ในปี พ.ศ.2495 เสด็จในกรมฯ โปรดให้รื้อหมู่ตำหนักไทยโบราณมาปลูกที่วังสวนผักกาด
ซึ่งตำหนักไทยเหล่านี้มีความเก่าแก่กว่าร้อยปีมาแล้ว เดิมสร้างอยู่ที่วัดพิชัยญาติ
ต่อมาเมื่อเป็นของสมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้าบริพัตรสุขุมพันธุ์ กรมพระนครสวรรค์วรพินิต
หรือทูลกระหม่อมบริพัตร พระบิดาของเสด็จในกรมฯ จึงทรงรื้อไปปลูกที่ตำบลอัมพวา
จังหวัดสมุทรสงคราม ต่อมาได้รื้อไปปลูกที่ตำบลบางกระสอ จังหวัดนนทบุรี
ทูลกระหม่อมบริพัตร ทรงมีอุปนิสัยโปรดการดนตรีและรวมไปถึงงานศิลปกรรมต่างๆ
เป็นผู้ประทานกำเนิดวังบางขุนพรหม ซึ่งทำให้ที่วังแห่งนั้นเป็นบ่อเกิดของวัฒนธรรมและเป็นที่รวมของศิลปะหลายอย่าง
(จากหนังสือชีวิตและงานทูลกระหม่อมบริพัตร โดยนวรัตน์ เลขะกุล)
ดังนั้น เมื่อเสด็จในกรมฯ ทรงรื้อย้ายเรือนไทยหลังใหญ่มาที่วังสวนผักกาดนั้น
จึงได้ทรงเริ่มตกแต่งตำหนักด้วยศิลปวัตถุและโบราณวัตถุที่ทรงได้รับสืบทอดมาจากพระบิดา
รวมทั้งวัตถุโบราณล้ำค่าอื่นๆ ที่ทรงสะสมด้วยด้วยองค์เอง ทั้งวัตถุที่ค้นพบในประเทศไทย
และซื้อหามาจากประเทศอื่น และเปิดให้บุคคลภายนอกได้เข้าร่วมชื่นชมในขณะที่ท่านยังคงพำนักอยู่ในวังแห่งนี้ด้วยตั้งแต่ปี
พ.ศ.2495 เป็นต้นมา
ในวัยเยาว์ พลตรี พระเจ้าวรวงศ์เธอ พระองค์เจ้าจุมภฏพงษ์บริพัตร กรมหมื่นนครสวรรค์ศักดิพินิต
ทรงศึกษาที่โรงเรียนมัธยมวัดเทพศิรินทร์ โรงเรียนแฮโรว์ และมหาวิทยาลัยออกซ์ฟอร์ด
พระองค์เป็นผู้หนึ่งที่สนพระทัยเกี่ยวกับการศึกษา การแพทย์ โบราณวัตถุ ศิลปวัตถุ
และพระพุทธศาสนา
ส่วน ม.ร.ว.พันธุ์ทิพย์ บริพัตร เป็นพระธิดาคนแรกของพระวรวงศ์เธอ พระองค์เจ้าไตรทศประพันธ์
กรมหมื่นเทววงศ์วโรทัย และหม่อมเพี้ยน เทวกุล ณ อยุธยา (บุนนาค) เมื่อคุณท่านอายุเพียง
3 ปี ได้ตามเสด็จพระบิดาซึ่งรับราชการในพระบาทสมเด็จพระเจ้าอยู่หัวรัชกาลที่
6 เป็นราชทูตไทยประจำสหรัฐอเมริกา เยอรมนี และเดนมาร์ก กลับประเทศไทยเมื่ออายุ
14 ปี และศึกษาต่อที่โรงเรียนราชินี และโรงเรียนอัสสัมชัญคอนแวนต์ ตามลำดับ
และยังเคยได้รับทุนการศึกษาจากสมเด็จพระมหิตลาธิเบศรอดุลยเดชวิกรม พระบรมราชชนก
ไปศึกษาภาษาฝรั่งเศส ที่เมืองโลซานน์ ประเทศสวิตเซอร์แลนด์
หลังจากที่เสด็จในกรมฯ สิ้นพระชนม์ลงเมื่อปี พ.ศ.2502 ม.ร.ว.พันธุ์ทิพย์
บริพัตร ได้ดำเนินการทุกอย่างสืบต่อจากที่เสด็จในกรมฯ ทรงทำไว้ โดยเฉพาะอนุรักษ์โบราณวัตถุ
และศิลป-วัฒนธรรม ซึ่งต่อมาในปี พ.ศ.2511 คุณท่านได้อุทิศพิพิธภัณฑ์วังสวนผักกาดนี้ให้แก่มูลนิธิ
จุมภฏ-พันธุ์ทิพย์
คุณท่านและเสด็จในกรมฯ มีพระธิดาองค์เดียวคือหม่อมเจ้าหญิงมารศีสุขุมพันธุ์
บริพัตร ซึ่งสนพระทัยทางด้านศิลปะ และมีผลงานที่น่าสนใจมากมาย แต่ส่วนใหญ่ท่านจะประทับ
ณ ประเทศฝรั่งเศส
ม.ร.ว.พันธุ์ทิพย์ บริพัตร ถึงแก่อนิจกรรมเมื่อ พ.ศ.2530 ต่อมามูลนิธิได้กำหนดวันที่
8 มีนาคม ซึ่งเป็นวันครบรอบวันเกิดของคุณท่านเป็นวันมูลนิธิ จุมภฏ-พันธุ์ทิพย์