历史上从来没有记载过是谁发明了冰淇淋。它的起源可以追溯到公元前二世纪，当时的中国人创造性地把大米和牛奶混合放在盘中，然后放在雪中冷冻。传说，中国君主商汤雇佣了九十多名“凌人”，他们的工作就是把面粉、樟脑、水牛奶和冰混合在一起。另据记载，中国人还最早发明了“冰淇淋机”：在罐中装满甜浆，再用冰和盐包裹在外。
早期也有其它类似冰淇淋的甜点，比如亚历山大大帝就特别喜欢食用掺入蜂蜜的雪。据说，罗马帝国皇帝尼禄·克劳狄乌斯·凯萨曾经派人上山采集冰雪，再用果汁和水果配上味道——有点像是公元一世纪的刨冰。很明显，这些早期“冰淇淋”只是富人享用的奢侈品，毕竟不是每个人都有能力派遣仆人去爬山取雪。
现代冰淇淋最早的雏形是源于马可·波罗从中国带回意大利的一份配方。那份配方说的很像是我们现在说的冰冻果子露。那之后，据说在1533年凯瑟琳·德·美第奇嫁给亨利二世的时候把这种甜品带到法国。十七世纪时，据说英格兰国王查理一世极为喜爱“奶油冰”，甚至花钱要求厨师要保密配方不能对外公开，因为在他看来这是专属于皇室的享受。然而这两则故事是在十九世纪时才首次出现，距故事发生年代已相隔多年，所以不好说是真是假。
在欧洲最早面向公众供应冰淇淋的地方是法国的普罗卡布咖啡馆，时间是十七世纪末。那时的冰淇淋是用牛奶、奶油、黄油和鸡蛋混合制作的。即便如此，那主要还是上层阶级的享受，并没有在各阶层中流行开。
在美国，有关冰淇淋的记载最早见于1744年，当时的一位苏格兰移民在造访马里兰州州长托马斯·布雷登之后，记录了他在那里用餐中有可口的草莓冰淇淋。美国最早的冰淇淋广告出现在1777年的《纽约公报》，上面刊登菲利普·兰兹说自己店中“每日供应”冰淇淋。
一直到十九世纪，冰淇淋还主要是用于特殊场合，因为没有隔热冰箱难以长时间储存。人们在冬天从湖中取出冰块，储存在地下或者砖垒冰房，用稻草隔热。那时候用一种叫做“锅冷冻”的方法制作冰淇淋，是把一碗奶油放置在一个放了冰和盐的桶中。1843年，这种方法被南希·约翰逊发明的手摇搅乳器替代。用搅乳器制作的冰淇淋比锅冷冻方法做出来的更柔滑，而且速度也更快。
冰淇淋以前不是大生意，直到1851年雅各布·福塞尔在宾夕法尼亚建立起一间冰淇淋工厂。他的生意非常成功，后来又建起了多间工厂。因为大规模生产极大地降低了冰淇淋成本，使其变得更加流行，底层民众也能享用了。
十九世纪七十年代，德国人卡尔·冯·林德发明了工业制冷，极大推动了冰淇淋的发展。与此同时其它科技，例如蒸汽动力、机动车辆和电力的应用使得冰淇淋更便于生产、运输以及贮藏。下次你举着冰淇淋甜筒的时候，一定要感谢工业革命给你带来的福荫哦！
与大众普遍看法不同的是，广受欢迎的冰淇淋甜筒并不是在1904年万国博览会上发明的。例如，在1888年《马歇尔夫人的菜谱》中就有提到冰淇淋甜筒，那想必冰淇淋装在锥形筒中的做法在这之前就已存在。只是这种做法到了1904年才流行起来而已。至于具体是谁在万国博览会上做的甜品促成了普及，这就无人知晓了。
有个故事是这样讲述的：在圣路易斯万国博览会上的一个冰淇淋摊贩，用光了装冰淇淋用的硬纸板杯子。他旁边的摊位是卖华夫饼的，但由于天气炎热没能卖出多少。于是他把华夫饼卖给前者卷成蛋筒状，结果大受欢迎。不过这可能又只是一个传说，因为并没有记录具体信息——比如商贩的姓名——来验证这个故事，同时也有多位参加那届万国博览会的冰淇淋摊贩宣称自己第一个做出的甜筒。无论是哪种情况，就是那届万国博览会推广了甜筒，肯定有某位或者某几位冰淇淋摊贩在背后做出了贡献，至于是否如同像故事中所讲的那样是意外惊喜，还是他们早已筹备，这都已经淹没在历史长河之中了。
二十世纪三十年代，冰淇淋首次在食品杂货店中销售。二战时期把冰淇淋作为提升作战士气的优待，某种程度上也成为了那时美国的象征（以至于意大利的墨索里尼为避免引发联想而下令禁止冰淇淋），这又更深远得普及了这种甜品。战争期间消耗大量冰淇淋，导致1943年美国最大的冰淇淋制造商居然是美国军队。
现今，据估计每年仅在美国就会生产出超过16亿加仑的冰淇淋和相关冷冻乳制品。以此同时，美国民众平均每人每年会食用多达4加仑的冰淇淋。