开源社区中小型、快远超过大型模型,它们的最佳版本已经与 ChatGPT 等大型模型基本没有区别。因此,对大型模型的关注使谷歌等公司处于不利地位。 数据缩放定律:大型模型通常严重依赖数据的数量,而不是质量。然而,许多开源项目现在都在小型、精心策划的数据集上进行训练,这可能会挑战机器学习中关于数据缩放定律的传统观点。
受限的可访问性:大型模型通常需要大量计算资源,这限 奥地利电报放映 制了更广泛的开发人员和研究人员对其的可访问性。这一因素阻碍了人工智能的民主化,而民主化正是开源社区的一个关键优势。 换句话说,较小的模型可以实现更快的迭代,从而加快开发速度。在这种情况下,我们可以自信地说“少即是多”。开源社区对这些模型进行的实验令人难以置信,正如我们在第四点中提到的,它基本上质疑了我们迄今为止对机器学习所做的许多假设。
我以电子游戏类比作为开篇,也以一个类比作为结尾。在接受《最终幻想 VI》的导演北濑佳范采访时,这位日本开发者被问及 90 年代游戏开发的氛围和文化。不出所料,北濑佳范承认这很痛苦。 以今天的标准来看,要在 8 兆字节的存储空间中容纳一个史诗故事、图像、对话、音乐甚至场景剪辑似乎是不可能的。但北濑实际上对这次体验评价颇高。在他看来,时间的限制迫使团队创造性地思考,不断塑造他们的愿景,直到他们设法将其压缩到 8 兆字节以下。