据史书记载，刘备的确是大耳朵，看下面一段话：
《三国志.蜀书.先主传》：先主不甚乐读书，喜狗马、音乐、美衣服。身长七尺五寸，垂手下膝，顾自见其耳。
根据这段史料的描写，刘备身长七尺五寸（尺寸标准跟现在的有所不同），手垂下来，能超过自己的膝盖（参考长臂猿），眼睛能够看到自己的耳朵。
那么，眼睛能够看到自己的耳朵，肯定是耳朵比较大，而非眼睛比较大，不然就会说他眼睛很不寻常了。
曹操其实也说过大耳这个梗：
《华阳国志·刘先主志》：公从容谓先主曰：“天下英雄，惟使君与操。本初之徒，不足数也。”先主方食，失匕箸。会天震雷，先主曰：“圣人言‘迅雷风烈必变’，良有以也。一震之威，乃至於此也！”公亦悔失言。先主还解，公使觇之，见其方披葱，使廝人为之，不端正，举杖击之。公曰：“大耳翁未之觉也。”
所以刘备耳朵大，看来是准确无误的，现在许多网友也喜欢以“刘大耳”“大耳”之类的称呼，来代指刘备。
其实准确地说，“大耳贼”这个称呼，并不见于史书，吕布临时之前，说的是“大耳儿”而非“大耳贼”，看下段：
《后汉书·吕布传》：布曰：“明公之所患不过於布，今已服矣。令布将骑，明公将步，天下不足定也。”顾谓刘备曰：“玄德，卿为坐上客，我为降虏，绳缚我急，独不可一言邪？”操笑曰：“缚虎不得不急。”乃令缓布缚。刘备曰：“不可。明公不见吕布事丁建阳、董太师乎？”操颔之。布目备曰：“大耳儿最叵信！”
当然，一个字的差别都是小事，重点还是在于吕布为何如此痛恨刘备，我认为有这么几个原因：
首先吕布自我认为很宽宏大量，他趁着刘备跟袁术打仗的时候，端了刘备的后方徐州，反客为主，刘备狼狈不堪，向吕布妥协，但吕布接纳刘备屯小沛，却认为是自己很有道义，身为胜利者（偷家者），却对失败者没有赶尽杀绝，有着一种迷之心态。
其次是吕布也确实帮助过刘备解除危机，袁术派纪灵来讨伐刘备，刘备无法抵抗，是吕布出手相救，以辕门射戟的方式，当了和事佬，使得刘备免于兵难，这件事估计更让吕布自我感觉爆棚。
他心里估计想：我虽然偷袭了徐州，但最终收留了刘大耳，还帮他化解危难，我对他的恩情，可以说相当大了吧！所以吕布这个人，总是记着自己对别人的好，而忽略自己对别人的坏，这从他很多言行中都可以看出来。
在这种情况下，当吕布被曹操打败抓住时，还希望刘备能为自己说说话，但是刘备早就受够了吕布反复无常，出尔反尔，同时也不想让曹操得到这员猛将，于是开口说“老曹，你不想想丁原、董卓的事情吗？”
这话对吕布来说简直是惊天霹雳，刘备这话直接揭穿了吕布的老底，一方面是否定吕布的人品，一方面也是否定他跟吕布的恩情，因此吕布才气急败坏，骂刘备“大耳儿最叵信！”
然而，不知道他是否从刘备的立场上想过，本来刘备占据徐州，吕布是客人一般的存在，结果趁刘备不在，反客为主，刘备反倒成了客人，最后吕布还下了逐客令（主动进攻），又把刘备逼到了曹操这一方，现在还想刘备为自己说话，那不是异想天开嘛！