Thinking Machines首款产品Tinker来袭,助开发者轻松搞定大模型后训练难题
OpenAI前首席技术官米拉·穆拉蒂(Mira Murati)创立的初创公司Thinking Machines,近日正式推出首款AI工具Tinker。这款专为语言模型开发者设计的API,旨在简化模型微调流程,让研究人员能更专注于算法与数据优化,而无需处理底层基础设施的复杂管理。
该工具支持包括Qwen-235B-A22B在内的前沿模型,并采用LoRA(低秩适应)技术实现计算资源共享。此前发布的博客中,Thinking Machines详细阐述了LoRA在多任务训练中的成本优化效果——通过复用同一计算池,显著降低跨任务训练的硬件开销。
为降低技术门槛,团队同步开源了Tinker Cookbook库。这个代码库收录了伊利诺伊大学香槟分校团队开发的Search-R1工具,该工具通过"边推理边搜索"机制提升模型决策能力。开发者可基于库中提供的现代实现模板,快速构建自定义训练流程。
实际应用案例显示,Tinker已获得学术界广泛认可。普林斯顿大学Goedel团队利用其训练数学定理证明器,仅用20%数据量即达到全参数微调模型的性能,在MiniF2F基准测试中取得90.4%的准确率;斯坦福大学Rotskoff化学小组通过强化学习,将LLaMA 70B模型的化学公式转换准确率从15%提升至50%;加州大学伯克利分校SkyRL团队则借助其异步训练框架,实现了多智能体协作的强化学习实验。
参与测试的Anyscale公司CEO罗伯特·西西哈拉(Robert Nishihara)指出,Tinker在抽象化分布式训练细节的同时,仍保持了对数据和算法的完全控制权。伯克利博士生泰勒·格里格斯(Tyler Griggs)则强调其灵活性:"传统RL微调服务限制训练逻辑修改,而Tinker让研究者只需关注环境建模和算法设计。"
目前该工具处于内部测试阶段,已开放等待名单申请。Thinking Machines承诺初期提供免费服务,后续将推出基于使用量的定价模式。穆拉蒂表示,此举旨在打破前沿AI研究的封闭趋势:"当学术界与产业界的差距持续扩大时,我们需要让更多创新者获得调整尖端模型的能力。"
相关阅读
- 传英特尔800芯片组规格曝光 PCIe 3.0的时代结束
- MediaTek携手生态伙伴联合发布《生成式AI手机产业白皮书》,共同定义生成式AI手机
- 高德地图全面转向空间智能 北斗应用日定位量破9000亿次 赋能全球出行
- HPE的GreenLake增强了跨云和内部部署服务器的数据存储
- AI新势力崛起:330万“闪应用”开启全民开发新纪元
- “双节”假期楼市总体降温,一线城市新房热度不减
- OpenAI强化音频AI能力 布局无屏设备 欲打造“伴随式助手”新生态
- 群联自主研发AI应用 导入远东金士顿与华泰AOI系统
- 2024年SSD价格将大幅上涨 三星、SK海力士等公司试图恢复盈利
- 英国考文垂市盛邀中国电动汽车供应链企业投资