Thinking Machines首款产品Tinker来袭,助开发者轻松搞定大模型后训练难题
OpenAI前首席技术官米拉·穆拉蒂(Mira Murati)创立的初创公司Thinking Machines,近日正式推出首款AI工具Tinker。这款专为语言模型开发者设计的API,旨在简化模型微调流程,让研究人员能更专注于算法与数据优化,而无需处理底层基础设施的复杂管理。
该工具支持包括Qwen-235B-A22B在内的前沿模型,并采用LoRA(低秩适应)技术实现计算资源共享。此前发布的博客中,Thinking Machines详细阐述了LoRA在多任务训练中的成本优化效果——通过复用同一计算池,显著降低跨任务训练的硬件开销。
为降低技术门槛,团队同步开源了Tinker Cookbook库。这个代码库收录了伊利诺伊大学香槟分校团队开发的Search-R1工具,该工具通过"边推理边搜索"机制提升模型决策能力。开发者可基于库中提供的现代实现模板,快速构建自定义训练流程。
实际应用案例显示,Tinker已获得学术界广泛认可。普林斯顿大学Goedel团队利用其训练数学定理证明器,仅用20%数据量即达到全参数微调模型的性能,在MiniF2F基准测试中取得90.4%的准确率;斯坦福大学Rotskoff化学小组通过强化学习,将LLaMA 70B模型的化学公式转换准确率从15%提升至50%;加州大学伯克利分校SkyRL团队则借助其异步训练框架,实现了多智能体协作的强化学习实验。
参与测试的Anyscale公司CEO罗伯特·西西哈拉(Robert Nishihara)指出,Tinker在抽象化分布式训练细节的同时,仍保持了对数据和算法的完全控制权。伯克利博士生泰勒·格里格斯(Tyler Griggs)则强调其灵活性:"传统RL微调服务限制训练逻辑修改,而Tinker让研究者只需关注环境建模和算法设计。"
目前该工具处于内部测试阶段,已开放等待名单申请。Thinking Machines承诺初期提供免费服务,后续将推出基于使用量的定价模式。穆拉蒂表示,此举旨在打破前沿AI研究的封闭趋势:"当学术界与产业界的差距持续扩大时,我们需要让更多创新者获得调整尖端模型的能力。"
相关阅读
- 谷歌推Google Scholar Labs:AI助力学术研究,多步骤流程深度答疑解惑
- IET与清华大学共办 ACDC 2024七月上海召开
- 红旗HS6 PHEV登场:以东方美学与硬核技术,引领新能源新征程
- 6月重点城市新房成交微降,二手房现高位回落
- Moto Buds i40 ANC TWS耳机在新加坡上市 续航时间长达40小时
- 英伟达同意以130亿收购Hugging Face 加码开放权重模型
- Veeam推出Veeam Data Cloud 在单一云平台上提供业界领先的数据保护和恢复服务
- 吉利中国星i-HEV混动乌鲁木齐节油赛收官 卓越性能实力领跑
- 热度拉满!“五一”重庆楼市到访成交双增,“好房子”备受青睐
- 滨江集团:前三季度归母净利润23.95亿元