หอเขียน ซึ่งเปรียบเสมือนเป็นอนุสรณ์แห่งความรักของเสด็จในกรมฯ และพระชายาหลังนี้ อยู่ทางทิศใต้สุดของวังสวนผักกาด ด้านหน้ามีสระน้ำและสนามหญ้าอันสวยงามเขียวขจี ถือเป็นสถาปัตยกรรมชิ้นเอกแห่งหนึ่งในวังสวนผักกาด เดิมเคยเป็นตำหนักของเจ้านายปลูกอยู่ที่จังหวัดพระนครศรีอยุธยา สร้างขึ้นสมัยพระนารายณ์มหาราชราวพุทธศตวรรษที่ 22-23 ภายหลังได้ถูกรื้อไปปลูกที่วัดบ้านกลิ้ง ซึ่งตั้งอยู่บนฝั่งแม่น้ำเจ้าพระยา ระหว่างอำเภอบางปะอิน กับพระนครศรีอยุธยา

เมื่อเสด็จในกรมฯ และคุณท่านทรงทราบว่าวัดแห่งนี้เป็นวัดเล็ก เกือบจะร้างอยู่แล้ว แต่มีเรือนโบราณเก่าแก่ที่ไม่มีผู้ใดบำรุงรักษาเลย พระองค์ท่านจึงทำผาติกรรมไถ่ถอนจากวัดบ้านกลิ้ง ย้ายมาไว้ที่วังสวนผักกาด ทรงสร้างศาลาสวดมนต์ และศาลาท่าน้ำถวายวัดเป็นการทดแทน เสด็จในกรมฯ ทรงประทานหอเขียนเป็นของขวัญแก่คุณท่านเมื่อคุณท่านมีอายุครบ 50 ปี ในวันที่ 8 มีนาคม 2502 และได้เชิญชาวบ้านกลิ้งร่วม 100 คน เพื่อมาร่วมชมหอเขียนที่ปลูกสร้างใหม่

หอเขียนนี้มีภาพแกะสลักชั้นนอกที่ชำรุดลบเลือนเพราะถูกแดด ลม ฝน เป็นเวลานาน ส่วนชั้นในนั้นลวดลายและช่องหน้าต่างเป็นแบบยุโรป ภาพลายรดน้ำส่วนบนเป็นเรื่องพุทธประวัติ ส่วนล่างเป็นเรื่องรามเกียรติ์ ภาพที่เขียนเต็มไปด้วยธรรมชาติที่เคลื่อนไหว เต็มไปด้วยชีวิตชีวา ช่างเขียนได้บันทึกความสวยงามของธรรมชาติไว้ด้วยภาพภูเขาลำเนาไม้ และได้เห็นขนบธรรมเนียมของราชสำนักสมัยสมเด็จพระนารายณ์มหาราช นับว่าเป็นภาพที่มีค่ายิ่งทางสถาปัตยกรรมไทย