En primer lugar bienvenido al foro ,respecto a tu problema ,con la escasa información que nos das ,no se me ocurre otra cosa que pensar en que al accionar la bomba sále el agua por otro punto como dices ,esto indica que seguramente tienes alguna grieta o poro en alguno de los conductos y al accionar la bomba por la apertura del grifo ,la pequeña presión que supone es suficiente para que te sálga agua como dices por uno de los tubos .Comprueba con detenimiento el tubo que comentas ,seguro que tiene algún agüjerillo ,será cuestión de tapar el desperfecto o sustituir dicho tubo.
Si no puedes solucionarlo ,danos todos los detalles que puedas ,(recuerda que una imagen vale más que mil palabras).Saludos.