He adquirido una parcela rústica de 1300 metros en teoría tengo derecho…

He adquirido una parcela rústica de 1300 metros en teoría tengo derecho a construir una caseta de aperos de 30 m2, el caso es que en los terrenos colindantes tengo una edificación por la derecha y otra por la izquierda … el ayuntamiento me niega la licencia de mi caseta de aperos por que no hay 50 metros de distancia con las otras edificaciones… esto es normal? Que culpa tengo yo de los vecinos?