建安十三年（208），曹操南下荆州，刘备遁逃，荆州名士追随刘备的很多。江北的名士大量涌到江南，而江南的刘巴反而到了江北去投曹操，刘备深以为恨。赤壁战后，曹操派刘巴回到江南去招降，让他们坚守城池，抗拒刘备。刘巴坦率地说：“刘备志在据荆州，江南是守不住的。”曹操固执地说：“如果刘备占领江南，我派大军做你的后盾。”刘巴明知江南守不住，但他还是听从了曹操的命令，到零陵去策反，更加引起刘备的愤恨。
刘巴到了江南，正如他所料，刘备、诸葛亮等已经站稳了脚跟，他前进不得，后退不能。当时诸葛亮在临烝（今湖南衡阳），刘巴致信诸葛亮，表示拒绝效命刘备的决心。刘巴说：“我冒尽艰险，来到了守义的乡土，我没有能力来打动这些民众投顺北方。但是，我绝不改变初衷，即使把性命交给大海，也不回顾荆州。”（本传裴注《零陵先贤传》）诸葛亮回信挽留，劝说刘巴，仍然没有效果。刘巴北还不成，就一直往南到了交州，改为张姓，从那里辗转到了益州。益州牧刘璋与刘巴父亲有旧交，刘璋见了刘巴，十分高兴，就把他留下了，每有大事，必访之。