1-3 กรกฎาคม 2528 นักศึกษาเดินขบวนขับไล่นายปัญญา ปุยเปีย อธิการบดีคนแรก
ซึ่งการขับไล่อธิการบดีที่เคยเป็นครูของจิรศักด์ คณาสวัสดิ์ หลายเสียงบอกว่า
เป็นการยืมมือนักศึกษาเข้ามาบีบไล่นายปัญญา โดยที่เกิดข้อขัดแย้งเรื่องการว่าจ้างบุคลากรทำงาน
แหล่งข่าวกล่าวกับ "ผู้จัดการ" ว่า การจ้างบุคลากรของวิทยาลัยคณาสวัสดิ์นั้นจะใช้วิธีการว่าจ้างเป็นรายปี
โดยสิ้นสุดระยะเวลาการว่าจ้างในเดือนมีนาคม ปัญหาเกิดขึ้นเมื่อมีการให้ออก
นายปัญญาได้แจ้งกับจิรศักดิ์ว่าควรจ่ายเงินค่าชดเชยตามกฎหมายแรงงานให้กับคนเหล่านั้น
ซึ่งความคิดนี้ไม่ลงกัน
"ท่านอธิการปัญญาท่านเองไม่อยากให้ครูต้องออกเสียด้วยซ้ำ เพราะการพัฒนาการศึกษาจักต้องกระทำกันอย่างต่อเนื่อง
ขืนเล่นเปลี่ยนครูกันทุกปี บัณฑิตที่จบออกมาจะมีคุณภาพได้อย่างไร ข้อขัดแย้งนี้อัดกันรุนแรงมากจนที่สุดอธิการปัญญาต้องลาออกไป"
แต่เรื่องนี้วินิจ อุดรพิมพ์ กุนซือคนสำคัญของจิรศักดิ์กล่าวกับ "ผู้จัดการ"
ว่า "ผมเองเสนอให้ปลดอธิการปัญญาออกจากตำแหน่ง เนื่องจากคน ๆ นี้ใช้เงินของวิทยาลัยอย่างฟุ่มเฟือย
คิดดูก็แล้วกันเส้นผมแกไม่มีเท่าไร แต่ต้องไปตัดผมที่ขอนแก่นเกือบทุกอาทิตย์"
กรกฎาคม 2529 วิทยาลัยไม่สามารถหาเงินมาจ่ายให้กับบุคลากรที่ปฏิบัติหน้าที่ได้จนต้องทำหนังสือขอความช่วยเหลือไปยังรัฐบาล
ซึ่งก็ได้รับเงินช่วยเหลือมา 1.5 ล้านบาทแต่เงินจำนวนนี้ก็ไม่อาจนำมาใช้ได้เต็มเม็ดเต็มหน่วย
มกราคม 2530 การจ่ายเงินเดือนยังเป็นไปอย่างกระท่อนกระแท่น จนสร้างความไม่พอใจให้กับบุคลากรภายในเป็นอันมาก
ดังนั้นจึงได้ทำบันทึกเสนอมายังทบวงมหาวิทยาลัยให้ส่งเจ้าหน้าที่เข้าไปควบคุมและตรวจสอบการทำงานของผู้ก่อตั้ง
คณะอาจารย์ได้มีการประชุมและลงความเห็นร่วมกันว่า จะยินยอมพร้อมใจลดเงินเดือนที่ได้รับของแต่ละคนลงมา
เพียงแค่แลกกับเงื่อนไขที่ว่าผู้ก่อตั้งคือ จิรศักดิ์ คณาสวัสดิ์ กับ วินิจ
อุดรพิมพ์ จะต้องไม่เข้ามาก้าวก่ายการบริหารงานเหมือนอย่างที่เป็นมา
กุมภาพันธ์ 2530 สถานการณ์เริ่มเลวลงตามลำดับ บรรยากาศการเรียนการสอนเป็นไปอย่างตายซาก
นักศึกษาหลายคนไม่รู้อนาคตตนเอง จนถึงวันที่ 9 กุมภาพันธ์ ทบวงมหาวิทยาลัยจึงมีคำสั่งที่
19/2530 แต่งตั้งคณะกรรมการชุดหนึ่งขึ้นมาควบคุมกิจการของวิทยาลัยฯ โดยมีปลัดกระทรวงฯ
เป็นประธาน
11 กุมภาพันธ์ 2530 ทบวงกลับมีคำสั่งใหม่ที่ 20/2530 ยกเลิกคำสั่งเดิมและแต่งตั้งให้นายประยุทธ
ศิริพาณิชย์ รมช. เกษตรและสหกรณ์ ส.ส. พรรคกิจสังคม จ. มหาสารคามเป็นประธานแทน
"พอรู้ว่าปลัดทบวงฯ จะเป็นผู้เข้ามาควบคุม ทางผู้ก่อตั้งจึงได้วิ่งเต้นติดต่อขอความช่วยเหลือผ่านไปยังคุณประยุทธที่ไม่เคยรู้เรื่องมาก่อน
ที่สุดคุณประยุทธได้ขอร้อง รมว. สุบินที่อยู่พรรคเดียวกันให้ตั้งตนขึ้นมาเป็นประธานฯแทน"
"ก็ในเมื่อเหตุการณ์มันเป็นอย่างนี้ ผมยอมรับว่าผมติดต่อคุณประยุทธ
จำเป็นที่จะต้องดึงอำนาจการเมืองเข้ามาช่วย" วินิจ อุดรพิมพ์กล่าวรับกับ
"ผู้จัดการ"
23 กุมภาพันธ์ 2530 ตัวแทนอาจารย์และเจ้าหน้าที่เข้าพบ น.ต. ประสงค์ สุ่นศิริ
เลขาธิการนายกรัฐมนตรีชี้แจงถึงปัญหาที่เกิดขึ้น พร้อมกับยื่นข้อเรียกร้อง
3 ข้อคือ
1. ให้การจ่ายเงินเดือนเป็นตามกำหนดการจ่ายเงินเดือน และขอให้รัฐอนุเคราะห์จัดสรรเงินช่วยเหลือเป็นกรณีฉุกเฉิน
แต่คณะกรรมการควบคุมและทบวงฯ ไม่สามารถปฏิบัติตามได้
2. ขอให้แต่งตั้งผู้ตรวจสอบบัญชีงบดุลและการเปลี่ยนแปลงการเงินของวิทยาลัยตั้งแต่เริ่มก่อตั้งจนถึงปัจจุบัน
ซึ่งได้มีการแต่งตั้ง อาจารย์หัวหน้าภาคบัญชี จุฬาฯเป็นผู้ตรวจ
3. ขอให้คณะกรรมการควบคุมฯยุติการกระทำใด ๆ ที่จะทำให้สถานการณ์เลวร้ายมากขึ้นไปอีกซึ่งประเด็นนี้พุ่งเป้าไปที่
รมช. ประยุทธ ศิริพาณิชย์มากที่สุด
25 กุมภาพันธ์ 2530 รมช. ประยุทธ ศิริพาณิชย์ ยื่นหนังสือขอลาออกจากการเป็นประธานคณะ
กรรมการควบคุม และพูดทิ้งท้ายสั้น ๆ ไว้ว่า "เหมือนกับการพยายามช่วยคนที่จะตายแต่พอยื่นมือเข้าไปกลับโดยกัดเสียอีก"