ในครั้งที่มีการขยายเขตพระราชวังออกไป ในสมัยรัชกาลที่ 2 พระราชวังด้านใต้มีที่ว่าง
จึงโปรดฯ ให้ทำสวนปลูกต้นกุหลาบ สำหรับเก็บดอกใช้ในราชการจึงเกิดมีสวนกุหลาบขึ้นในพระราชวัง
ตั้งแต่สมัยรัชกาลที่ 2 เป็นต้นมา และในสมัยรัชกาลที่ 3 โปรดฯ ให้แบ่งสวนกุหลาบส่วนหนึ่งสร้างคลังศุภรัตน
ทำเป็นตึกรูปเก๋งจีน แต่พื้นที่นอกจากสร้างคลังศุภรัตน ยังคงเป็นสวนกุหลาบต่อมาอย่างเดิม
เมื่อเจ้าฟ้าจุฬาลงกรณ์เจริญพระชันษา ถึงเวลาจะเสด็จออกมาประทับอยู่พระราชวังชั้นนอก
สมเด็จพระบรมชนกนาถ (รัชกาลที่ 4) มีพระประสงค์ที่จะให้เสด็จประทับอยู่ในที่ใกล้พระองค์
จึงโปรดฯ ให้จัดตำหนักพระราชทานเป็นที่ประทับของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว
ที่ในสวนกุหลาบ ตรงตึกคลังศุภรัตน ซึ่งสร้างไว้ในสมัยรัชกาลที่ 3 และได้เรียกพระตำหนักนี้
ว่า พระตำหนักสวนกุหลาบ ซึ่งยังปรากฏอยู่จนถึงทุกวันนี้
พระตำหนักสวนกุหลาบ ที่เจ้าฟ้าจุฬาลงกรณ์เสด็จประทับ นั้น มีตึกขนาดย่อมๆ
5 หลังเรียงกันจากด้านเหนือลงไปด้านใต้ คือ ศาลาห้องมหาดเล็กหลังหนึ่ง ตึกท้องพระโรงหลังหนึ่ง
ตึกที่ประทับหลังหนึ่งโดยมีหอพระ หลังหนึ่งคั่นอยู่ระหว่างกลาง ต่อนั้นไปได้สร้างตึกแบบฝรั่งเพิ่มเติมอีกหลังหนึ่ง
แต่ไม่ทันแล้วเสร็จก็สิ้นรัชกาลที่ 4 เสียก่อน
หลังจากที่พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว เสด็จเถลิงถวัลยราชสมบัติแล้ว
ก็โปรดฯ ให้กรมหลวงอดิศรอุดมเดช เสด็จไปประทับอยู่ที่พระตำหนักสวนกุหลาบแทน
จนออกจากวัง และจากนั้นมาก็ใช้เป็นคลังเก็บของเรื่อยไป
ต่อมาได้โปรดฯ ให้เลือกสรรลูกผู้ดีมาฝึกหัดจัดเป็นกรมทหารมหาดเล็กสำหรับรักษาพระองค์
และให้เป็นที่ศึกษาหา ความรู้ในราชสำนักสำหรับราชการด้วย และพระองค์เองก็ทรงดำรงตำแหน่งผู้บังคับการกรมทหารมหาดเล็ก
ครั้นเมื่อกรมทหารมหาดเล็กเจริญขึ้นทรงพระราชดำริว่า "เชื้อสายราชสกุลชั้นหม่อมเจ้า
หม่อมราชวงศ์มีอยู่มากแต่มักไม่ได้รับการอบรม บางคนประพฤติเสเพลเป็นนักเลงหัวไม้
เมื่อเกิดถ้อยความก็ขึ้นชื่อว่า เชื้อเจ้านายไปรังแกผู้อื่น" จึงโปรดให้หม่อมเจ้า
หม่อมราชวงศ์ ซึ่งมีอายุสมควรจะฝึกหัดเข้าเป็นทหารมหาดเล็ก
เมื่อพระน้องยาเธอ พระองค์เจ้าดิศวรกุมาร (กรมพระยาดำรงราชานุภาพ) ได้ดำรงตำแหน่งเป็นผู้บังคับการกรมทหารมหาดเล็ก
ในกาลต่อมา ทรงเห็นว่าฐานะของทหารมหาดเล็กได้เสื่อมไปไม่เหมือนแต่ก่อน ประกอบกับสมัยนั้นราชการกระทรวงต่างๆ
เปลี่ยนแปลงแบบแผนเป็นอย่างใหม่ เป็นที่นิยมของคนหนุ่มๆ ขึ้นมาก ไม่เหมือนสมัยก่อนซึ่งมีเพียงทหารมหาดเล็กอย่างเดียว
กรมพระยาดำรงราชานุภาพจึงคิดจะบำรุงฐานะให้สูงศักดิ์ขึ้นเหมือนดังเดิม โดยการจัดตั้งเป็นโรงเรียน
จะได้มีผู้สมัคร เข้ามามาก เมื่อพระน้องยาเธอฯ นำความเห็นขึ้นกราบบังคมทูลพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว
ทรงพระราชดำริเห็นชอบด้วย โดยได้มีพระราชดำรัสสั่งให้จัดตั้งโรงเรียนตามที่คิดนั้น
และรับที่จะทรงอุดหนุนด้วย
ครั้นจะเลือกหาที่ตั้งโรงเรียนในโรงเรียนมหาดเล็กก็ไม่มีที่พอแก่การจัด
กรมพระยาดำรงราชานุภาพ จึงกราบบังคมทูลฯ ขอพระราชทานพระบรมราชานุญาตให้จัดตั้งโรงเรียนขึ้นในพระตำหนักสวนกุหลาบ
ซึ่งตอนนั้นใช้เป็นคลังรุงรังรกอยู่ไม่เป็นประโยชน์นัก จึงได้เรียกชื่อว่า
"โรงเรียนพระตำหนักสวนกุหลาบ" ตั้งแต่เมื่อปี พ.ศ.2424 เป็นต้นมา
โรงเรียนพระตำหนักสวนกุหลาบได้จัดการฝึกหัดอย่างทหาร และเรียนแบบสามัญเหมือนโรงเรียนทั้งปวง
ต่อมากิจการงานของโรงเรียนเจริญก้าวหน้าขึ้นตามลำดับ มีหม่อมเจ้า หม่อมราชวงศ์และบุตรหลานของข้าราชการ
สมัครเรียนมากขึ้นทุกที จนเกินจำนวนตำแหน่งนายทหารมหาดเล็ก จนเกิดเป็นปัญหาว่าจะจัดตั้งเป็นโรงเรียนทหารมหาดเล็กตามความคิดเดิม
ซึ่งต้องจำกัดจำนวนนักเรียน หรือให้เป็นโรงเรียนสำหรับฝึกหัดราชการทั่วไป
ปัญหาดังกล่าว พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว พระราชทานพระบรมราชวินิจฉัยว่า
"การเล่าเรียนเป็นหลักสำคัญ ของชาติบ้านเมือง สมควรที่จะได้รับการส่งเสริมเพื่อให้คนได้เล่าเรียนเต็มที่"
และอีกตอนหนึ่งความว่า "ถ้าหากเปลี่ยนให้เป็นโรงเรียนสำหรับข้าราชการทั่วไป
จะเป็นประโยชน์แก่บ้านเมืองยิ่งกว่าเป็นโรงเรียนสำหรับนายทหารมหาดเล็กกรมเดียว"
พระองค์จึงโปรดฯ ให้ขยายการเรียนวิชาการสำหรับเป็นข้าราชการพลเรือน เพราะในสมัยนั้น
ระบบราชการงานเมืองประยุกต์เปลี่ยนแปลงไปตามอารยธรรมตะวันตกแบบใหม่ โรงเรียนพระตำหนักสวนกุหลาบ
ซึ่งตั้งความมุ่งหมายที่จะฝึกนักเรียนเพื่อเป็นทหารมหาดเล็กไว้แต่เดิม จึงต้องปรับเปลี่ยนไปตามกาลเวลา
เมื่อโรงเรียนพระตำหนักสวนกุหลาบ ได้รับนักเรียนอายุเยาว์ลงกว่าแต่ก่อน
เพื่อให้มีเวลาเล่าเรียนนานขึ้น ตึกหมู่พระตำหนักสวนกุหลาบ ซึ่งเดิมใช้เป็นสถานที่สำหรับการเรียนการสอน
ของโรงเรียนไม่เพียงพอที่จะดำเนินการได้ จึงได้โปรดฯ ให้สร้าง ตึกยาวทางพระราชวังด้านใต้
(ปัจจุบันรื้อเสียแล้ว) เพื่อใช้เป็นที่เล่าเรียนและที่อยู่นักเรียนอีกหลังหนึ่งด้วย
การตั้งโรงเรียนพระตำหนักสวนกุหลาบจึงนับว่าสำเร็จบริบูรณ์เมื่อปีระกา พ.ศ.2427
นั่นเอง
โรงเรียนพระตำหนักสวนกุหลาบมีนักเรียนเพิ่มมากขึ้น เรื่อยๆ จนกระทั่งเมื่อ
พ.ศ.2441 จึงขยายออกไปตั้งนอกพระบรมมหาราชวัง ผู้บัญชาการกระทรวงและบรรดานักเรียนเก่าของโรงเรียนพระตำหนักสวนกุหลาบ
ได้ปรารถนาที่จะรักษาเกียรติศักดิ์ของโรงเรียนให้คงไว้ แต่จะให้เรียกชื่อตามเดิมคงมิได้
เพราะมิได้ตั้งอยู่ที่พระตำหนักสวนกุหลาบดังแต่ก่อนแล้ว จึงต้องลดชื่อลงเหลือเพียง
"โรงเรียนสวนกุหลาบ"
การที่โรงเรียนสวนกุหลาบ ได้ย้ายออกไปตั้งนอกพระบรมมหาราชวังตามพระราชโองการ
ก็บังเกิดปัญหาขึ้นอีก เพราะมีนักเรียนมาก แต่สถานที่เรียนมีน้อยไม่สามารถเรียนรวมกันในแห่งเดียวได้
จึงต้องแยกสถานที่เรียนออกไปเป็นสองส่วน กล่าวคือ เป็นโรงเรียนพระตำหนักสวนกุหลาบฝ่ายไทย
และโรงเรียนพระตำหนักสวนกุหลาบฝ่ายอังกฤษ
หลังจากโรงเรียนพระตำหนักสวนกุหลาบฝ่ายไทยย้ายออกจากพระบรมมหาราชวัง โรงเรียนสวนกุหลาบก็ได้เคลื่อนย้ายไปใช้พื้นที่ของวัดมหาธาตุด้านทิศเหนือ
เรียกว่า โรงเรียนสวนกุหลาบวัดมหาธาตุด้านทิศเหนือ เพื่อรอการก่อสร้างโรงเรียนแห่งใหม่
ซึ่งในช่วงนี้มีโรงเรียนพระตำหนักสวนกุหลาบฝ่ายไทยอยู่ 2 ที่ โดยอีกแห่งหนึ่งอยู่ที่โรงเรียนมหาดเล็กหลวงในพระบรมมหา
ราชวัง เรียกว่า โรงเรียนสวนกุหลาบไทยในโรงเรียนมหาดเล็ก หลวง ซึ่งโรงเรียนนี้คาดว่าเกิดจากการเคลื่อนย้ายไปยังวัดมหาธาตุ
นั้นเคลื่อนย้ายไปไม่หมด
ต่อมากระทรวงธรรมการได้งบประมาณในการสร้างที่ว่าการกระทรวงใหม่ และกระทรวงต้องการให้โรงเรียนพระตำหนัก
สวนกุหลาบเป็นโรงเรียนสำหรับฝึกหัด ทดลองวิธีสอน และตำรา เรียน จึงยกตึกหลังแรกใน
3 หลัง ให้เป็นโรงเรียนพระตำหนักสวนกุหลาบ เรียกว่า โรงเรียนสวนกุหลาบวังหน้า
ซึ่งในความเป็นจริง กระทรวงมุ่งหมายจะให้โรงเรียนพระตำหนักสวนกุหลาบ ทั้งฝ่ายไทยและฝ่ายอังกฤษมารวมกันที่นี่
แต่สถานที่คับแคบไป จึงนำมาเฉพาะโรงเรียนพระตำหนักสวนกุหลาบฝ่ายไทยเพียงฝ่ายเดียว
ในปี พ.ศ.2452 กระทรวงธรรมการ ได้ย้ายสถานที่ทำการใหม่ โรงเรียนสวนกุหลาบจึงต้องย้ายด้วย
โดยได้ย้ายไปอาศัยอยู่ ณ บริเวณศาลาวัดมหาธาตุด้านใต้เป็นการชั่วคราว จนกระทั่งย้ายมาอยู่ที่โรงเลี้ยงเด็กริมคลองมหานาค
(โรงเรียนสวนกุหลาบโรงเลี้ยง เด็กริมคลองมหานาค) ซึ่งนับเป็นแห่งที่ 5 ของการย้ายโรงเรียนหลังจากถือกำเนิดขึ้นในพระบรมมหาราชวัง
เมื่อโรงเรียนพระตำหนักสวนกุหลาบฝ่ายไทยย้ายออกจากพระบรมหาราชวังไปแล้ว
แต่โรงเรียนพระตำหนักสวนกุหลาบฝ่ายอังกฤษยังคงอยู่ในพระบรมหาราชวัง โดยย้ายจากที่เดิมมาอยู่ที่ตึก
2 หลัง ริมพระที่นั่งสุทธัยสวรรค์ เรียกว่า "โรงเรียนพระตำหนักสวนกุหลาบริมพระที่นั่งสุทธัยสวรรค์
ต่อมาได้ย้ายไปตั้งอยู่ ณ วังพระองค์เจ้าภานุมาศ ซึ่งหมายถึง "วังหน้า" เดิมในสมัยรัชกาลที่
4 เรียกว่า โรงเรียนสวนกุหลาบวังหน้า โดยอาศัยเก๋งจีนที่เป็นฝีพระหัตถ์ของพระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัวเป็นที่สอน
หลังจากทำการเรียนการสอนในสถานที่ดังกล่าวได้ระยะหนึ่ง ก็ได้ย้ายมาตั้งอยู่ที่สตรีสวนสุนันทาลัย
(ปากคลองตลาด) เนื่องจากโรงเรียนนี้มีนักเรียนน้อยลงเรื่อยๆ จำต้องปรับปรุงและมีการพักการเรียนการสอนไว้ก่อน
โรงเรียนสวนกุหลาบซึ่งยังไม่มีสถานที่แน่นอน จึงได้ย้ายมาเปิดการสอนเป็นการชั่วคราว
เรียกว่า โรงเรียนสวนกุหลาบอังกฤษสุนันทาลัย จนกระทั่งสมเด็จพระนางเจ้าพระบรมราชินีนาถ
ได้มีหนังสือขอพระราชทานที่โรงเรียนสตรีสุนันทาลัย เพื่อปรับปรุงให้เป็น
"โรงเรียนราชินี" โรงเรียนสวนกุหลาบอังกฤษสุนันทาลัย จึงได้ย้ายมารวมอยู่กับโรงเรียนเทพศิรินทร์
เพราะว่าโรงเรียนเทพศิรินทร์ได้มีการปรับปรุงซ่อม แซมโรงเรียนครั้งใหญ่ โดยใช้งบประมาณในการสร้างโรงเรียนพระตำหนักสวนกุหลาบแห่งใหม่
โดยมีข้อตกลงในการก่อสร้าง "ตึกแม้นนฤมิตร์" ซึ่งเป็นตึกเรียนหลังใหม่ และให้ชื่อว่า
โรงเรียนสวนกุหลาบตึกแม้นนฤมิตร์ ทั้งนี้โดยพระบาทสมเด็จพระจุลจอมเกล้าฯ
มีพระบรมราชโองการให้กรมศึกษาธิการเป็นผู้ดำเนินการทำสัญญาก่อสร้าง ต่อมาได้มีการเปลี่ยนนามโรงเรียนสวนกุหลาบเป็นโรงเรียนเทพศิรินทร์แทน
โดยอ้างถึงคำสั่งของปลัดทูลฉลองของกระทรวงธรรมการ แต่ไม่ปรากฏเหตุผลในการเปลี่ยนแปลง
โรงเรียนสวนกุหลาบจึงย้ายมารวมกับโรงเรียนประถมเทพศิรินทร์เรียกว่า โรงเรียนสวนกุหลาบอังกฤษเทพศิรินทร์
การเดินทางอันยาวนานของ "สวนกุหลาบ" ในการหาแหล่ง พำนักที่ถาวรใกล้สิ้นสุดลง
เมื่อพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวทรงให้สร้างตึกยาวขึ้นในพื้นที่ของวัดราชบูรณะ
เพื่อดำเนินการสอน โดยได้ทรงมอบให้กรมโยธาธิการเป็นผู้ออกแบบและใช้งบประมาณของวัดราชบูรณะ
ซึ่งเดิมสร้างตึกให้ชาวบ้านเช่า เปลี่ยนเป็นการสร้างเพื่อให้โรงเรียนเช่า
สำหรับใช้เป็นโรงเรียนแผนใหม่ และในปี พ.ศ.2453 พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว
เสด็จมาทอดพระเนตรการก่อสร้างด้วยพระองค์เองก่อนสวรรคตในปีเดียวกันนั่นเอง
ทั้งนี้ด้วยความคิดของเจ้าพระยาพระเสด็จสุเรนทราธิบดี ศิษย์เก่าเลขประจำตัวหมายเลข
2 ของโรงเรียนพระตำหนักสวนกุหลาบวิทยาลัย ซึ่งต่อมาได้เป็นเสนาบดีกระทรวงธรรมการ
รวมกับนักเรียนสวนกุหลาบจากที่ต่างๆ อาคารตึกยาวจึงได้เกิดขึ้น และการเดินทางอันยาวนานก่อนจะลงหลักปักฐานในที่ตั้งปัจจุบันก็ได้สิ้นสุดลง
เมื่อปี พ.ศ.2454 โดยโรงเรียนพระตำหนักสวนกุหลาบก็ได้รวมกับฝ่ายไทยและได้แหล่งที่พำนักถาวร
พร้อมกับนามว่า "โรงเรียนสวนกุหลาบวิทยาลัย" สืบมา
แม้ว่า สวนกุหลาบฯ จะมีต้นกำเนิดจากการเป็นโรงเรียนพระราชทาน ในฐานะเป็นโรงเรียนทดลองต้นแบบสำหรับการปฏิรูประบบการศึกษาไทยสมัยใหม่
ตามพระราชปณิธานของรัชกาลที่ 5 ซึ่งหลายฝ่ายภาคภูมิใจ แต่จากประวัติศาสตร์การก่อตั้งโรงเรียนในช่วง
30 ปีแรก กลับชี้ให้เห็นถึงแง่มุมบางประการของการจัดการศึกษาไทยในสมัยนั้น
ซึ่งส่วนหนึ่งได้สืบเนื่องเป็นมรดกของความไม่สามารถในการจัดการของรัฐไทยในสมัยปัจจุบันด้วย
ความพยายามที่จะยึดโยงคำว่า สวนกุหลาบฯ จากรากเหง้าเดิมที่คลี่คลายไปในช่วง
30 ปีแรกของการก่อตั้ง กลายเป็น ฐานของสมการ ในการจัดรูปแบบและแก้ไขปัญหาการศึกษาไทยในยุคสมัยต่อมา
การเกิดขึ้นของโรงเรียนสวนกุหลาบฯ นนทบุรี, สวนกุหลาบฯ ปทุมธานี, สวนกุหลาบฯ
รังสิต, สวนกุหลาบฯ สมุทร ปราการ หรือแม้กระทั่งสวนกุหลาบฯ เพชรบูรณ์ และสวนกุหลาบฯ
ชลบุรี ควบ คู่กับการนำชื่อของโรงเรียนที่มีชื่อเสียงเป็นที่นิยมของนักเรียนและผู้ปกครองแห่งอื่นๆ
ไปตั้งเป็นชื่อสถานศึกษาที่ตั้งขึ้นใหม่ ดำเนินไปภายใต้ฐานความคิดว่าด้วยการกระจายโอกาสและมาตรฐานการศึกษาอย่างง่ายๆ
โดยละเลยที่จะพิจารณาให้โรงเรียนแต่ละแห่งมีอัตลักษณ์เฉพาะ และเป็นแหล่งความรู้ที่สามารถสร้างให้เกิดความภาคภูมิใจให้แก่นักเรียนได้อย่างเป็นเอกเทศ
คุณูปการของประวัติศาสตร์น่าจะอยู่ที่การเป็นบทเรียน สำหรับอนุชนรุ่นหลังในการสรรค์สร้างให้เกิดนวัตกรรมขึ้น
มากกว่าการยึดโยงอยู่กับอดีต โดยปราศจากรากดังที่เป็นอยู่ในปัจจุบัน