1507년(중종 2년) 4월 13일에 이어 14일에도 대간이 합사(合司)하여   유자광을 ‘은밀히 대간을 공격하는 간교한 소인’이라고 탄핵했다. 그러나  중종은 윤허하지 않았다. (중종실록 1507년 4월 14일 2번째 기사)

이윽고 홍문관 부제학 이윤이 유자광을 탄핵하였다.

"유자광은 보잘것 없는 소인으로 성종때에 임사홍과 결탁하여 조정을 혼란케 하였기 때문에 공훈을 삭제하여 멀리 내쳤습니다. (...) 폐조(廢朝) 때, 이극균과 결탁한 자가 모두 중죄를 입었는데 유자광과 임사홍만 모면하고 도리어 작록(爵祿)을 누리었으니, 이것은 반드시 임사홍과 결탁하여 은밀히 대궐 안에 붙었던 것이 분명합니다. 영구히 먼 곳으로 내치시기 바랍니다." 
하지만 중종은 윤허하지 않았다.
(중종실록 1507년 4월 14일 3번째 기사) 

이러자 대간이 합사하여 다시 유자광을 탄핵하였다. 

"예로부터 소인으로 나라를 그르치는 자는 반드시 그 술법으로 먼저 인군을 시험하는데, 거기에 한번 빠지면 온갖 계교로 간교한 짓을 하여 죄를 뒤집어씌우는 것입니다. 그러나 공의(公議)와 정사(正士)가 있으면 엄하게 꺼리는 바 있어 크게 방자할 수가 없는 것입니다. 그러므로 정사를 배척하고 언로(言路)를 막은 뒤라야 그 간악한 술법을 펼 수 있는 것이므로 인군에게 아첨하여 끝내는 나라를 팔아버리고야 마는 것입니다. 
(...) 유자광은 연산조에서는 임사홍과 함께 은밀히 임금의 악을 조장하여 끝내는 나라를 그르치게 하였습니다. (...) 간관은 인군의 이목(耳目)이요, 공의(公議)는 국가의 원기입니다. 이목이 없으면 아래가 막히고 위는 귀먹으며, 원기가 없으면 국맥(國脈)이 끊어져서 위망(危亡)이 당장 오는 것입니다. (...) 지금 유자광의 음모와 간계가 환하게 드러났으니  전하께서는 결단하소서. 유자광은 그 간악함이 임사홍보다도 심함이 있하니 유자광을 처벌하소서"

하지만 중종은 회답하지 않았다.
(중종실록 1507년 4월 14일 4번째 기사)

4월 15일에도 대간이 합사하여 유자광을 탄핵했다. 

“(...) 유자광은  조금도 부끄러워하거나 위축되지 않고, 뻔뻔스럽게 꺼림이 없습니다. 이 마음을 미루어 본다면 그가 권세를 자기에게 돌려 다른 사람으로 하여금 그보다 더 오르지 못하게 하고, 조정을 위협하고 견제하려는 것이 분명합니다. 속히 멀리 귀양보내기를 청합니다."

그러나 중종은 여전히 허락하지 않았다.
(중종실록 1507년 4월 15일 2번째 기사)

이 날 부제학 이윤 등도 유자광을 탄핵하였다 

“유자광의 방자하고 거리낌 없는 짓이 극에 이르렀습니다. 유자광의 심술은 조정의 모든 사대부가 알 뿐만 아니라 길 가는 사람도 역시 다 알고 있습니다. 대체로 온 나라가 다 미워하는데 전하 혼자서 용납하실 수 있겠습니까? 이 사람을 제거하지 않으면 후환이 반드시 커질 것입니다. 바라건대 전하께서는 그 죄를 분명하게 바로 잡으시어 천지간에 용납하지 못하게 함으로써 천견(天譴)에 답하고, 공의에 맞게 하소서."

그러나, 중종은 회답하지 않았다. 
(중종실록 1507년 4월 15일 3번째 기사)

4월 16일에도 대간들은 유자광을 탄핵하였다.

“폐조때 유자광이 대궐에 나가 아뢰기를, ‘윤필상·이세좌가 모두 큰 죄가 있으니 중하게 다스리소서.’ 하였는데, 이것은 미리 폐주(廢主)의 뜻을 알고서 아첨한 것이며, 윤필상·이세좌의 죽음은 모두 유자광 때문에 있었던 것입니다. 그는 소인중에 소인이고, 또 나라를 그르치는 술책이 이미 나타났으니 극형에 처하시기 바랍니다."

중종은 삼공·육경(六卿)이 의논해서 아뢰라고 명하였다.

이에 삼공과 대신들이 의계(議啓)하였다. 

"유자광의 소행은 그른 것이 많습니다. 대간과 시종(侍從)이 여러 날을 두고 논계하는데, 이것은 공의(公議)가 용납하지 못하는 만큼 치죄(治罪)하지 않을 수 없습니다. 파직시켜 국정에 간여하지 말게 해소서" (중종실록 1507년 4월 16일 2번째 기사)  

이윽고 대간이 계속하여 유자광을 중법에 처하기를 청하고, 유자광의 아들 유방과 유진 및 그 사위 손동과 손자 유승건의 죄를 다스릴 것을 청했다. 대신들도 파직하라고 청했다. 이러자 중종은 중의(衆議)에 따라 유자광을 파직했다. (중종실록 1507년 4월 16일 3번째 기사) 

4월 13일 이후 매일 대간들이 끈질기게 유자광을 탄핵했다. 마지못해  중종은 유자광을 파직했다.