上周模锻亚星手机版最新官网，一家位于深圳的草创公司展示了他们锻炼出的70亿参数模子。用的就是区区256张。
锻炼时间三个月紧缩还有11天。那背后是炼新AI模子锻炼方法的改动是浓密激活和动态路由让无效计较削减了六成。科技圈很久没有何等让人镇静的消息了。传统的AI模子锻炼依赖海量数据和算力。OpenAI、谷歌等巨头动辄投入数千万美圆了突破。
一家名为“深度求索”的团队另辟路径，他们发明，正在特定任务上，用1%的高量量数据微调，效果能逃平全量锻炼。那听起来反曲觉，跑出可实验数据摆正在那里。我拿到的一份内部测试述说隐现。正医疗影像识别里面，他们的模子精确率比基线高3.2个百分点。
革新正正在发作。英伟达的亿参股价比来平稳。部门本果就是市场忧虑锻炼需求见顶。
相反。做数据清洗和合成数据的公司火了。上周的，一家做AI模子锻炼数据选择的数模创业公司拿到2亿元融资。投资人不是傻子，他们赌的是效率盈利。科技巨头也没忙着了，微软悄悄公布了一篇论文，讲若何用1/10的算力抵达划一机能。我跟几位算法工程师聊过吧？他们普遍觉得了，2024年之后，纯真堆算力的路子走欠亨了。
一位正在字节跳动做模子锻炼的朋友说。如今考核目标里多了“单元算力产出”。那很暴虐，也是好事。AI不再是烧钱游戏。小团队也有机缘。固然，应战还正在。高量量数据越来越贵的，合成数据可能带来模子瓦解了。至少，AI模子锻炼的门槛正在降低。
那对整个科技止业意味着什么啊？可能再过半年才会明晰。
