在宁武县芦芽山千姿百态的峰峦间，矗立着一块巨大的紫石，酷似一位身姿婀娜的少妇翘首北望。相传，这块紫石为当地一位少妇在呼唤被抓走服劳役的丈夫时所化，故当地人称其为“望夫山”。

很久以前，芦芽山密林幽深，遮天蔽日。深山中鸟兽出没，深谷里花开花谢，渺无人烟。有一年，一对年轻的夫妇从遥远的地方逃难来到这里，在山谷中搭起个小木屋住了下来。夫妻俩开垦荒地，作务庄稼，喝的是山泉水，吃的是山果野菜，虽然辛苦，但生活的十分快乐。这里没有地主逼债，也无衙役催粮，更没有官府抓丁，真乃“世外桃源”。几年以后，他们有了一双儿女，山间土地连了片，绿油油的大豆莜麦，花漫漫的豌豆山药蛋；鸡在门前觅食，牛羊在山坡上吃草，孩子们在屋前嬉耍，夫妻俩在田间劳作，生活的美满幸福。

可是，天有不测风云，人有旦夕祸福。有一天，从山外闯进一对人马围住小草屋大声喊着：“现在 修边墙（长城），这一带的男人都得去服劳役”。这家的男人同他们争辩，回答他的是一顿皮鞭，女人上前恳求，被他们踢倒在地，一双儿女吓得哭爹喊娘。男人挣扎着、反抗着，但好汉难斗一群恶人，终被他们强行带走，扬长而去，留下女人和孩子呼天喊地。从此，女人每天登上山顶向着丈夫远去的方向眺望，只见茫茫林海，漫漫山谷，苍鹰回旋，山风呼啸，哪里还有丈夫的影子。

那时候，服役修边墙的人，不是被繁重的劳役折磨而死，就是在被迫守卫边墙时被冻饿至死，个别逃跑者被抓回去也都是被处死。她的男人当然也难逃惨死的恶运。于是，日夜思念丈夫的妻子就年年月月站在山顶上眺望、呼喊，她的眼泪洒在山上，化作涓涓清泉，汇成汾河，翻看滚滚波涛，去寻找她的丈夫，她的身躯也化作石人，年年岁岁眺望着北方，盼望着丈夫的归来，她忠贞不渝的情怀感动了上苍。当地人为纪念她，便将此山唤作“望夫山”。