却说顾雍说动张羡，于是张羡遂据长沙而反。因张羡于零陵、桂阳有恩信。张羡又以利诱之。零陵、桂阳两郡太守亦随张羡反。
刘表闻荆南三郡叛乱，大惊失色。荆州总领七郡，自己来了之后，将南阳一分为二，新设了个章陵郡。也不过八郡罢了。如今南方三郡一叛，武陵郡危险不说，却是把豫章文聘等荆州将士的后路给断了。
于是刘表一边命蔡瑁、庞季等人出兵平叛，一边紧急传命给豫章的文聘，让他不要在豫章纠缠了，速速自江夏退回荆州。
文聘得了信，连忙来见刘繇，道：“刘公，我家主公来信，孙坚已说反荆南三郡，如今我腹背受敌，不得不退耳。还请刘公与太守早早准备，随我北返荆州。”
华歆与王朗听了，也只能相对苦笑，刘表犹豫不决，孙坚却是先下手为强了。如今攻守势易。除了撤兵豫章，还能有什么办法呢？
于是只好从文聘之言，率了家人，与文聘一道退出南昌城，径往海昏与刘磐会合去了。刘繇临行，樊能、张英等诸将拜泣道：“吾等家小皆在江东，不能随主公往荆州也。”
诸将皆是江东豪族，刘繇当年来扬州，借诸人之力，方能与袁术相抗。如今自己一败涂地，又如何能够苛责众将士。刘繇扶起诸将，叹道：“是我误诸卿也。今日一别，不知何日复能相见。诸卿还请多多珍重。”
众人洒泪而别。
樊能对张英道：“刘公，吾等之故主也，屡有恩恤于吾等。今其往荆州，吾等虽不能随，亦可以阻孙坚而报刘公之恩德也。”
张英深以为然，于是，二将率兵，来战孙坚。孙坚闻文聘走，知长沙事发，欲追之。方行，闻南昌守军出，遂返身来击。樊、张二将死战不敌，孙坚大破之，获樊能、张英二将，感其恩义，收之为将。再探文聘，其已与刘磐兵合一处，往柴桑去了。
到了柴桑，刘繇对文聘道：“吾在豫章，多赖仲业之力，方能苟活至今。本欲随仲业至襄阳面谢刘将军。然吾在扬州丧师失土，无面目见景升。今小儿年岁渐长，闻青州大儒云集。吾欲携小儿往青州，使其求学。还望仲业到了襄阳，代吾分说一二。”
刘繇一方面是对刘表不看好，觉得荆州不如刘备处兴旺发达。另一方面也说的是真心话，他长子刘基十几岁了，正是顽皮多动的时候，自己虽然饱读诗书，但教育自己的儿子总是力不从心。骂几句没有用，要动手打了，自己夫人拦着不说，自己也下不了这个狠心。还不如送到青州书院去，里面名师众多，环境气氛最适合求学不过。再说儿子不听话让老师打了，自己眼不见便也心不疼。
刘繇要去青州，自然是和华歆、王朗商量过了的。两人一致赞同。华歆早年拜在太尉陈球的门下求学，与卢植、郑玄、管宁勉强扯得上同门之情份。又与管宁、邴原交好。这些人在青州都身份显赫，自己去了能迅速融入，不会被孤立。王朗就更不用说了，他师从太尉杨赐，杨赐之子杨彪是他师弟。杨彪又是卢敏的岳父。而且，与他曾同为陶谦臣属的陈登、糜竺、糜芳等人，如今全在刘备麾下为臣。王朗与华歆一合计，自己二人与孙坚没打过交道不说，反而彼此为敌，若投了孙坚，待遇只怕好不到哪儿去。索性还不如跟着刘繇，一起投奔刘备。
刘备如今坐拥青、徐二州，丁口数百万，正是大有所为之时。自己去了，必能受其礼遇。这三人一商量好，就来征询许劭的意见。许劭心想你们都商量好了来问我，我能说不行吗？
文聘见这几人都要北归，心中颇是为难。主公素好宾客，要是眼前这几位重量级的人物前去投奔，必然又能使主公名声再度远扬一番。可是也不能强来啊。这几位一个个名重于世，要是对他们不客气了，传出去，这脸还要不要了。
由此足见文聘秉性之忠厚。换了黄祖来了，只怕就要先将这几人请上船了再说。文聘踌躇了会，应了下来，又道：“刘公，如今道路阻塞，汝等如何能至？”
刘繇笑道：“仲业毋须担忧，但给大船一艘，吾自大江顺水而下，便可自徐州而入青州也。”
文聘道：“大江为孙坚所守，刘公恐不得过也。”
刘繇捊须笑道：“此小事耳，吾自有办法。”
文聘见刘繇自信满满，只得同意。于是拨大船两艘，兵士百人给刘繇。而后双方在柴桑依依惜别。
刘磐在一旁，闷声不语，他随文聘兵出豫章，临行，刘表吩咐诸事以文聘为首。是以方才不吭声，待刘繇上船之后，才开口道：“仲业，刘繇这等人，如何能纵之？”
文聘苦笑一声道：“刘繇、华歆、王朗等诸人，禄皆二千石，许劭亦为海内名士。吾岂能私扣之。这等人，便是到了襄阳，主公亦只能待如上宾，使其来去自由。既如此，何必强留而坏了吾等名声？”
刘磐一想，确实如此，到了襄阳，除了对这些人客客气气之外，还能干什么？之前不是有个裴潜，对主公不满，从襄阳跑到长沙去投奔了张羡，不也没见主公如何吗？
遂不再言，待到下雉，黄祖遣将来迎。及还襄阳，刘表问道：“正礼贤弟何在？”
文聘便说如此。刘表闻言，沉默良久，方道：“本欲与正礼诸君一叙久别之情，谁料他等已然北上矣。”
刘繇一路放船南下，这时候，就显出了他深厚的人脉本事来了。他与庐江太守周瑜从父周尚是旧识，如今周尚亦在舒县，刘繇上岸拜访周尚，周尚留之未果后，亲自送其过江。丹阳太守韩当，于牛渚口筑关，见有二船旗号不明，顺水而来。遂率众拦之。周尚出来说之，道：“义公，此我家之客卿，欲南返徐州，还望义公放行。”
韩当见是周尚，于是遂许通行。船方过，刘繇出来向周尚道谢。韩当麾下小校眼尖，见了便道：“将军，此非周家客卿，此前扬州刺史刘繇也。”
韩当大惊，道：“周尚安敢欺我，遂率船来追。”
许劭见了，跌足道：“苦也，那黑厮追来也。”
刘繇出舱一望，见韩当乘船来追，便吩咐士卒道：“船往左岸。”
船行左岸，靠近历阳水寨，见了兵船，刘繇便高呼道：“吾乃朱君理之友也，身后有船无故追我，还请速报朱君理，为我截之！”
刚好九江太守朱治这日巡视江防，闻声出来，见是刘繇，大笑道：“正礼兄欲何往耶！”
刘繇站在船首，道：“君理，汝亦欲阻我乎？”
朱治见刘繇船后，隐隐有船来追，顿时便心知肚明，遂笑道：“兄自过，吾为汝担之。”
朱治，丹阳人氏，早年便随孙坚征战四方。刘繇在扬州时，对朱治一家老小多有照看，朱治因此承情。周尚见了，便道：“正礼兄，你我就此别过也。”于是两人话别，周尚便上了朱治的船，与朱治一道，往迎韩当去了。
刘繇一路顺风顺水，过了九江，于广陵郡江都上岸。被得了信早早于此相候的陈登一把迎住，径往广陵去了。
刘繇既走，韩当遂报之孙坚，说如此。孙坚听了，愕然失笑，道：“刘繇此行，方显其本色，无愧名士之称也。”