传说，牛羊肉泡是在公元前11世纪古代"牛羊羹"的基础上演化而来的。西周时曾将"牛羊羹"列为国王、诸侯的"礼馔"。据《宋书》记载， 南北朝时，毛修之因向宋武帝献上牛羊羹这一绝味，武帝竞封为太官史，后又升为尚书光禄大夫。还有一段风趣的传说，大宋皇帝赵匡胤称帝前受困于长安，终日过着忍饥挨饿的生活，一日来到一家正在煮制牛羊肉的店铺前，掌柜见其可怜，遂让其把自带的干馍掰碎，然后给他浇了一勺滚热肉汤放在火上煮透。赵匡胤狼吞虎咽地吞食，感到其味是天下最好吃的美食。后来，赵匡胤，做了皇帝，一日，路过长安，仍不忘当年在这里吃过的牛羊肉煮馍，同文武大臣专门找到这家饭铺吃了牛羊肉泡馍，仍感鲜美无比，胜过山珍海味，并重赏了这家店铺的掌柜。皇上吃泡馍的故事一经传开，牛羊肉泡成了长安街上的著名小吃。北宋大文学家苏东坡曾有"陇馔有熊腊，秦烹唯羊羹"的赞美诗句。
