Hola, buenos dias: Tengo una finca cerrada y en la parte exterior,…

Hola, buenos dias:
Tengo una finca cerrada y en la parte exterior, pegado al cierre, he puesto unas plantas.
El caso es que al otro lado de la carretera están haciendo una casa y yo le llamé la atención a los albañiles ya que al descargar los camiones, pasaban al otro lado de la carretera, y como consecuencia, pisando las plantas. Me dijeron que no tenía ningún derecho a decirles nada ya que todo lo que estaba fuera de mi muro no era mío. ¿Es esto así?
Muchas gracias