บ้านมะลิวัลย์เต็มไปด้วยร่องรอยของประวัติศาสตร์ มีเหตุการณ์สำคัญอันน่าประทับใจของบ้านเมือง
เรื่องแล้วเรื่องเล่าเกิดขึ้นอย่างต่อเนื่องภายใต้ชายคาของบ้านหลังนี้
จากข้อมูลของหนังสือ "ตำนานบ้านมะลิวัลย์" ที่จัดพิมพ์เนื่องในวาระครบรอบ
50 ปี ของการก่อตั้งองค์การอาหารและเกษตรแห่งสหประชาชาติ ได้มีการบันทึกไว้ว่าอาคารหลังนี้
เดิมเป็นวังที่ประทับของพระเจ้าบรมวงศ์เธอพระองค์เจ้ากฤษฎาภินิหาร กรมพระนเรศรวรฤทธิ์
ต้นราชสกุล กฤดากร พระองค์ท่านเป็นพระเจ้าลูกเธอลำดับที่ 17 หรือพระราชโอรสลำดับที่
8 ในพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว กับเจ้าจอมมารดากลิ่น ประสูติ เมื่อวันที่
7 พฤษภาคม พ.ศ.2398
พระตำหนักเป็นอาคารแบบยุโรป ก่ออิฐถือปูน 2 ชั้น หลังคาโรงปั้นหยา ตั้งอยู่ทางทิศใต้ของพระตำหนักเดิม
ข้างเรือนทรงไทยของเจ้าจอมมารดากลิ่น มีท้องพระโรงเป็นห้องโถงสูงใหญ่ มีเฉลียงรายรอบชั้นล่าง
และมีระเบียงรายรอบชั้นบน บนเพดานห้องโถง และตามหัวเสาปั้นลายปูนเลียนแบบศิลปะขอมตามพระประสงค์อย่างวิจิตรบรรจง
ด้วยกรมพระนเรศรวรฯ ได้เสด็จทอดพระเนตรนครวัดในเขมรมาก่อน
นายเออโคล มันเฟรดี (เอกฤทธิ์ หมั่นเฟ้นดี) สถาปนิกชาวอิตาเลียน สังกัดกระทรวงโยธาธิการ
ผู้รับผิดชอบติดตั้งแผ่นทองแดงหลังคาโดมพระที่นั่งอนันตสมาคม เป็นผู้ออกแบบ
และควบคุมการก่อสร้างถวายจนแล้วเสร็จ ใน พ.ศ.2460
เมื่อตำหนักใหม่แล้วเสร็จ จึงได้ย้ายเข้าประทับอย่างมีความสุข บางวันโปรดเสด็จลงแพ
ที่ผูกไว้ริมแม่น้ำหน้าวังเพื่อพักผ่อนอิริยาบถ การตั้งเครื่องเสวยนั้นจะตั้งในห้องเสวยชั้นล่าง
และประทับราบกับพื้น ร่วมเสวยกับพระโอรส พระธิดา และเจ้าจอมมารดากลิ่น
บางครั้งบางคราตำหนักหลังนี้ได้ใช้รับเสด็จพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว
ในวันงานนักขัตฤกษ์สำคัญต่างๆ
กรมพระนเรศรวรฤทธิ์ ได้ประทับอยู่ที่พระตำหนักใหม่นี้ จนกระทั่งสิ้นพระชนม์ด้วยพระโรคพระอันตะ
(ลำไส้ใหญ่) เมื่อวันที่ 10 สิงหาคม พ.ศ.2468 ก่อนมรณกรรมของเจ้าจอมมารดากลิ่นเพียงเล็กน้อย
หลังจากนั้นที่ดินพร้อมพระตำหนักได้ตกเป็นมรดกแก่บรรดาทายาท โดยมีพระวรวงศ์เธอพระองค์เจ้าจรูญศักดิ์กฤดากร
พระโอรสองค์ใหญ่เป็นผู้จัดการมรดก ต่อมาได้ทูลเกล้าฯ ถวายขายที่ดินรวมเนื้อที่
879 ตารางวา และบ้านทั้งหมดแก่พระคลังข้างที่ใน พ.ศ.2469 วังกรมพระนเรศรวรฯ
จึงตกเป็นกรรมสิทธิ์ของกรมพระคลังข้างที่ และสำนักงานทรัพย์สินส่วนพระมหากษัตริย์ได้รับมอบมาดูแล
และจัดประโยชน์นับตั้งแต่ พ.ศ.2480 เป็นต้นมา
ในตอนต้นรัชสมัยของสมเด็จพระเจ้าอยู่หัวอานันทมหิดล บ้านมะลิวัลย์ได้ใช้เป็นที่พำนักของผู้สำเร็จราชการแทนพระองค์
เดือนมกราคม พ.ศ.2479 บ้านมะลิวัลย์ ได้กลายเป็นโรงเรียนสืบราชการลับตามที่กรมเสนาธิการทหารบกได้จัดตั้งขึ้น
ระหว่างสงครามโลกครั้งที่สอง (พ.ศ. 2484-2488) ปรีดี พนมยงค์ ผู้สำเร็จราชการฯ
ผู้เป็นหัวหน้าขบวนการเสรีไทย ได้ใช้บ้านหลังนี้เป็นศูนย์บัญชาการงานใต้ดิน
ของฝ่ายสัมพันธมิตรและขบวนการเสรีไทยกลางพระนคร
นายทหารจากหน่วยสืบราชการลับของอเมริกา (โอเอสเอส) ที่เข้ามาปฏิบัติงานใต้ดินในบ้านมะลิวัลย์นั้น
มีชื่อของ พ.ต.เจมส์ ทอมป์สัน ผู้กลับมาภายหลังสงคราม และมาทำธุรกิจ ผ้าไหมไทย
จิม ทอมป์สัน และอเล็กซานเดอร์ แมคโดแนลด์ ผู้ก่อตั้งหนังสือพิมพ์บางกอกโพสต์
รวมอยู่ด้วย ช่วงเวลานั้นเหตุการณ์สำคัญและน่าตื่นเต้นได้เกิดขึ้นในบ้านหลังนี้แทบทุกวัน
ต่อมาชาวบ้านแถวถนนพระอาทิตย์เริ่มรู้ว่าบ้านมะลิวัลย์เป็นที่ปฏิบัติงานใต้ดิน
ปรีดี พนมยงค์ จึงย้ายฝ่ายข่าวของโอเอสเอส ไปอยู่วังสวนกุหลาบ และใช้วังสวนกุหลาบเป็นฐานบัญชาการงานใต้ดิน
จนกระทั่งญี่ปุ่นประกาศยอมแพ้ยุติสงคราม ในวันที่ 15 สิงหาคม พ.ศ.2488
ภัยจากอริราชศัตรูได้หมดสิ้นลงในคราวนั้น แต่ภัยจากการเมืองภายในยังคงมีให้บ้านมะลิวัลย์หลังนี้มองเห็นอย่างต่อเนื่อง
นับตั้งแต่การบุกยึดทำเนียบท่าช้าง (เคยเป็นวังของสมเด็จ พระเจ้าบรมวงศ์เธอพระสวัสดิวัตนวิศิษฎ์
ซึ่งต่อมาได้ใช้เป็นที่พำนักของปรีดี พนมยงค์ และเป็นสำนักงานยูนิเซฟในปัจจุบัน)
ในเช้าวันรัฐประหาร 8 พฤศจิกายน พ.ศ.2490 เหตุการณ์การสู้รบระหว่างทหารเรือ
และทหารบก ทั้งในลำน้ำเจ้าพระยาและท้องถนน ระหว่างเกิดเหตุกบฏแมนฮัตตัน ในเดือนมิถุนายน
พ.ศ.2494
ในปี พ.ศ.2499 กระทรวงเกษตร และสหกรณ์ ได้ขอเช่าบ้านมะลิวัลย์ จากสำนักงานทรัพย์สินส่วนพระมหากษัตริย์
เพื่อใช้เป็นที่ทำการของเอฟเอโอ (FAO) และเดิมทีได้ใช้พระตำหนักเดิมของกรมพระนเรศรวรฤทธิ์เป็นที่ทำการ
ต่อมาได้สร้างตึกที่ทำการ 4 ชั้นขึ้นใหม่ทางด้านเหนือ และตึกงานโครงการทางด้านใต้
ส่วนพระตำหนักเดิมได้กลายเป็นอาคารห้องสมุด โดยคงลักษณะเดิมไว้ทุกประการ
อย่างไรก็ตาม บ้านมะลิวัลย์ ก็ยังต้องร่วมรับรู้เหตุการณ์การเดินขบวนประท้วงการเลือกตั้งและปฏิวัติ
โดยจอมพลสฤษดิ์ ธนะรัชต์ ในปี พ.ศ.2500 วันมหาวิปโยคในวันที่ 14 ตุลาคม พ.ศ.2516
วันสังหารหมู่ในธรรมศาสตร์ เมื่อวันที่ 6 ตุลาคม พ.ศ.2519 และเหตุการณ์พฤษภาทมิฬ
ในปี พ.ศ.2535
85 ปีที่ล่วงเลยไป หากบ้านมะลิวัลย์เป็นมนุษย์ ก็คงอยู่ในวัยที่อ่อนแรงเต็มที
และคงหวังอย่างยิ่งว่า ไม่ต้องการเห็นเรื่องร้ายใดๆ ในบ้านเมืองนี้อีก เพื่อที่จะได้มีความสุขกับความทรงจำอันแสนสงบในช่วงแรกของชีวิต