A comienzos de 2020 regresó a Portland, donde jugó 20 encuentros y terminó dando un paso al costado en la reanudación de la temporada tras la interrupción por la pandemia de Covid-19. En aquel momento adujo «motivos personales».
Luego, con su carrera terminada, llegaría el descenso a los infiernos de las adicciones y sus problemas de salud. La genética lo condicionó: su padre había fallecido en 2013, a los 50 años, por complicaciones relacionadas con la diabetes. El hombre pesaba casi 227 kilos al momento de su muerte.
Caleb había aprovechado su gran porte para hacerse un lugar en el básquet, pero su propio cuerpo le jugó una mala pasada. Tras retirarse de la competencia, ganó 65 kilos en apenas tres años.
El problema no fue solo el peso: «Biggie» (Grandote), tal como lo apodaban, apareció a fines de 2020 en las crónicas policiales luego de que hallaran en su auto marihuana, dinero en efectivo y otros elementos relacionados al tráfico de drogas. Se declaró culpable de un cargo menor de drogas y recibió una condena de seis meses en suspenso.
Pocos meses después, unas fotos suyas en las que se lo veía con un elevado sobrepeso se volvieron virales y despertaron reacciones mixtas. Por un lado, fue criticado por el público, mientras que excompañeros salieron a defenderlo.
Finalmente, su cuerpo no resistió más. El 21 de junio de 2022 se confirmó la muerte de Swanigan por causas naturales. Tenía tan solo 25 años.