弱冠时因为他随着父亲在梁州立下战功，被任命为尚书郎的官职。尚书郎因为能够接近皇帝，因此是十分亲要的职务。在这时期，北魏皇帝听说了他力大无穷的传闻，有一次对他说：
“你的同僚都说你一只老虎，我要看看你是不是只是披着虎皮的羊？”羊侃听了匍匐在地上，仿佛猛虎一般，双手紧紧殿上的台阶，手指竟然深深插了进去。看来他还是一位硬气功高手。魏帝十分惊喜，赐予他一柄珠剑。
这时的北魏政权已经开始走向没落。
正光年间，秦州羌莫折念生据州反，派遣其弟莫折天生攻陷岐州，进逼雍州。朝廷急派萧宝寅出兵讨伐。萧宝寅是南齐那位著名的东昏侯的弟弟，当萧衍代齐建梁的时候他出走北方，保住了一条命。因此他对梁朝怀有刻骨仇恨，北魏为了拉拢他，将公主嫁给了他。
当时的羊侃担任的就是萧宝寅的偏将。这是羊侃有确切记载的第一次出阵。在战场上武功卓绝的他一箭射杀莫折天生，叛军失去主将立刻崩溃。由于羊侃立下首功，因此被任命为征东大将军、东道行台，领泰山太守，进爵钜平侯。
泰山是羊氏的故乡，北魏皇帝也许是想利用羊氏在泰山的巨大威望来帮助他安定山东一带。但是这恰恰给了羊侃实现他父亲梦想的机会——那就是回归南朝。
北魏建义元年(528年)七月，羊侃终于决定率众南归。只是事机不密，被其表兄羊敦探知。与羊侃不同，羊敦忠于北魏，他得知消息后立刻据州抗拒羊侃，。兄弟于是反目，羊侃率众三万攻城，只是一时间城坚难破，于是羊侃只能先筑城十余座而守，以等待南梁的援军。
梁武帝听说羊侃率众归附，也派遣军队前来接应，赏赐与以前归附南梁元法僧相同。这时魏帝也得知羊侃南归的事情。在他的脑中应该还留有羊侃骁勇的印象，无庸置疑，他对羊侃是十分看重的。于是北魏皇帝派遣使者到羊侃军营之中，说只要羊侃留在北魏，前事可以不究，还授予其骠骑大将军、司徒、泰山郡公，终生担任兖州刺史。矢志南归的羊侃斩杀使者以明决心。
于是北魏政府命令仆射于晖率众十万攻打羊侃，高欢、尔朱阳都等军也相继而至。羊侃率军依托所筑的简易城寨与之展开血战。到当年十一月间，由于南梁接应的军队畏敌不进，城中箭矢也已用尽，羊侃只能决定突围。趁着夜色，羊侃率众杀出重围，经过一日一夜的激战，终于来到南梁边境。这时起兵之时的三万人还剩下一万余人，马两千匹。
士兵们知道将要离开自己的故乡，整夜悲伤的唱着怀乡的歌曲。羊侃听着知道将士难以割舍自己的故乡，于是会集全军对他们说：你们怀念自己的故乡，我也不便挽留你们，想要回去的就回去吧。士兵们于是默默的拜谢了自己的将军后告别而去。
羊侃率着宗族终于回到了南梁，当时正是梁大通三年。羊侃被授予徐州刺史，封高昌县侯。他的哥哥羊默和三个弟弟忱、给、元都被授予刺史的官职。不久羊侃又被任命为太子左卫率。
在南梁的羊侃无疑是郁郁不得志。作为武将的他万分的渴望能够驰骋战场，统帅大军驱逐胡虏，一统河山，乃至于封狼居胥。只是昏庸的梁武帝始终没有委其以重任，他宁愿用自己那些无能的亲属。
后人评价梁武帝时这样道：梁武帝“三北伐,而三不用良将,天监不用”裴韦”,普通不用夏侯兄弟,太清不用羊侃,唯亲唯私,宁选懦弱之临川,不测之豫章,无能之渊明。
