G,Saray, Kadıköy galibiyeti sonrası düşüşe geçti