Que tipo de ruido es, puede ser saturacion o un falso en alguna conexion o cable, en este caso la latencia no creo que se al aculpable del rudio...
comprueba si estas funcionando con controladores asio ya que los controladores de directx suelen generar mucho ruido debido a su escasa calidad de procesamiento de audio
los cables estan bien puede ser saturacion pero nose, en propiedades de dispositivo en grabacion me aparece line in/mic in cuando esta esto seleccionado me hace rudio, cuando le cambio los driver de la placa de sonido y selecciono realtek HD Audio rear input se va el rudio pero cuando pongo algun efecto vuelve el ruido, pero es menor,