根据搜索结果，特别是维基百科上的资料，于海王娶对马首领的女儿豊美女为妻后，于山国开始走向衰落的原因可能与于海王的统治策略和对马首领的外交政策有关。对马首领为了建立友好的外交关系，建议两国联姻，这可能是出于政治上的考量，以求得和平与稳定。然而，这种联姻可能并没有带来预期的政治和经济利益，反而可能导致了于山国内部的权力斗争和外部的依赖，最终影响了国家的稳定和繁荣。此外，史料中记载的新罗异斯夫征服“于山国”的内容也表明，于山国可能因为外部军事压力和内部管理问题而衰落。因此，于海王娶对马首领的女儿可能是于山国衰落的一个标志或诱因，而非直接原因。