传说，当时修建关城所用的砖，从关西20公里以外的地方烧好后，用牛车拉到关城下，再用人往上背。用这种办法，何年何月才能完工呀！有一天，一个放羊娃看到这种情况。他高兴地说：“据老人说，文殊山修庙的土坯是用羊驮上去的。你们怎么不试一试呢？”于是，他解下身上的腰带，两头各捆一块砖，搭在羊身上。然后，用手拍了下羊背，身子轻巧的山羊，驮着砖一溜小跑爬上又高又陡的城墙。人们看了惊喜异常，都说这是个好办法。

　　从此，工地上调集近处的羊群驮砖，解决了运输的困难。人们把这个故事叫做《山羊驮砖》。