Tengo una finca que linda con un arroyo y quiero cerrarla para…

Tengo una finca que linda con un arroyo y quiero cerrarla para que no me entre ganado del vecino. ¿ Puedo colocar una puerta con un simple pasador ( ni cerradura ni candado ); adosada al arroyo que impida el paso de las reses pero no de los pescadores ?. A la finca accedo desde una senda que va al lado del rio. Un vecino me dice que no puedo porque está dentro de los 5 m servidumbre de paso del arroyo, pero es por donde me entra el ganado y la puerta no tendrá candado.