刘备早年丧父，家贫，和母亲贩履织席维持生计。他家的东南角上有一株大桑树，高五丈多，从远处一望，茂盛的树枝往下垂倾，有如车上的篷盖。过往行人都对这株大树感到惊奇，有人就说，此家必出贵人。
刘备幼时，和族中小儿常在树下游戏。有一天，刘备对伙伴们说：“总有一天，我定会乘坐有着真正篷盖的天子车。”他的叔父刘子敬知道后十分惊异，训斥他说：“休要乱说，这是要满门杀头的。”但从此刘备却受到族人的器重。他十五岁那年，与同宗刘德然外出求学，拜涿县名儒、前九江太守卢植为师，并且得到刘德然父亲刘元起的资助。刘元起说：“我族中出了刘备这孩子，不是一般人哪！”刘备举止也与众不同，他在学堂并不用功读书，喜欢弄狗骑马，听音乐，讲穿戴。他身长七尺五寸，双手过膝，回首能见自己耳朵，魁梧雄壮，一表人才。平时少言寡语，恭谦待人，喜怒不形于色，成竹在胸。又专好交结豪侠，与同学辽西太守之婿公孙瓒十分要好，年轻人都争相依附他。刘备的这些表现，不合儒家规范，所以没有得到卢植的品评推荐。学成归来，依旧默默无闻待在乡里。