最大CLIP!LAION发布CLIP的扩增定律 世界今日讯

来源:

2022-12-27 11:33:36


(资料图片仅供参考)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

近日,LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律(scaling law),其中最大的CLIP为ViT-H/14,基于LAION-2B数据集训练,可以在ImageNet1K数据集上到78.0%的zero-shot准确度,性能超过OpenAI目前开源的CLIP L/14,和Meta AI的FLIP Huge模型性能相当,但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集,训练框架采用开源的OpenCLIP,所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行,采用PyTorch DDP分布式训练策略,采用混合精度(但是fp16会不稳定,所以采用bf16,或者基于TF32的float32),训练的batch size在 86-88K之间。实验的总体结论是:扩增定律也明显适用CLIP,当扩增模型,训练数据和算力时,模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数:OpenCLIP的模型(基于LAION-2B数据集)在图文检索任务上有较大的扩增系数,而OpenAI CLIP模型(基于私有的WebImageText 400M数据集)在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合,这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是:Scaling behavior depends on task type and pre-training dataset。更多内容可见论文:https://arxiv.org/abs/2212.07143

关键词:

最大CLIP!LAION发布CLIP的扩增定律 世界今日讯

点蓝色字关注“机器学习算法工程师”设为星标,干货直达!近日,LAION等机构在Reproduciblescalinglawsforcontrastive[详细]
2022-12-27

自制皮蛋要密封和遮光吗?:全球快资讯

要密封不密封不能长时间保存。松花蛋是用碱性物质浸制而成,蛋壳上的膜内包含着大量的水分,若放在冰箱内贮存,水分就会逐渐结冰,从而改变松[详细]
2022-12-27

杨伟民:稳增长要把握好政策力度 用力过度可能带来风险隐患_环球时讯

全国政协常委、经济委员会副主任杨伟民表示,要防止短期政策给长远发展留下后遗症。记者辛圆全国政协常委、经济委员会副主任杨伟民周日在清华[详细]
2022-12-26

速递!银行财眼|贷款资金流入股市房市等违规 交行宁波分行被罚80万元

银行财眼|贷款资金流入股市房市等违规交行宁波分行被罚80万元[详细]
2022-12-26

鑫科材料:12月23日获融资买入15.14万元,占当日流入资金比例0.96%

同花顺数据中心显示,鑫科材料12月23日获融资买入15 14万元,占当日买入金额的0 96%,当前融资余额2696 54万元,占流通市值的0 61%,超过历史7[详细]
2022-12-26

玖富万卡贷款逾期多久会上征信啊

网贷逾期一般会上征信,有些借贷机构在用户逾期后一天后就会上报给征信机构,而有些借贷机构则是会在几天后上报给征信机构,因为有些借贷机构可[详细]
2022-12-25

焦点速看:大华股份董秘回复:公司十分重视新媒体渠道的品牌宣传及电商业务的发展

大华股份(002236)12月24日在投资者关系平台上答复了投资者关心的问题。[详细]
2022-12-24

当前要闻:台州水务(01542.HK)委任林根满及叶晓峰为非执行董事

格隆汇12月23日丨台州水务公布,由于相关议案于股东特别大会上获股东正式通过,根据相关法律及法规,林根满及叶晓峰获委任为非执行董事,自于[详细]
2022-12-23

涪陵榨菜:公司目前主要划分为涪陵生产基地、眉山生产基地及东北辽宁萝卜生产基地_全球微动态

同花顺(300033)金融研究中心12月23日讯,有投资者向涪陵榨菜(002507)提问,请问现在公司有几大生产基地。公司回答表示,您好,公司目前主[详细]
2022-12-23

海南离岛免税日均销售额重回亿元 旅游旺季推动消费回暖

本报记者 李春莲见习记者 彭衍菘 熊 悦疫情防控措施优化叠加海[详细]
2022-12-23
版权所有: 北冰洋制冷网 All Rights Reserved
沪ICP备2020036824号-3
联系邮箱:562 66 29@qq.com