86

揭秘iPhone里的Transformer:基于GPT-2架构,分词器含

a_632023-09-19 11:38:20   来源:IT之家  阅读量:5286   

苹果 Transformer 的“秘密”,让发烧友给扒出来了。

大模型浪潮下,即使保守如苹果,也每逢发布会必提“Transformer”。

比如,在今年的 WWDC 上,苹果就已宣布,船新版本的 iOS 和 macOS 将内置 Transformer 语言模型,以提供带文本预测功能的输入法。

苹果官方没有透露更多信息,但技术爱好者们可坐不住了。

一位名叫 Jack Cook 的小哥,就把 macOS Sonoma beta 翻了个底朝天,结果,还真挖出不少新鲜信息:

  • 模型架构上,Cook 小哥认为苹果的语言模型更像是基于 GPT-2 打造的。

  • 在分词器方面,表情符号在其中十分突出。

更多细节,一起来看。

基于 GPT-2 架构

先来回顾一下苹果基于 Transformer 的语言模型能在 iPhone、MacBook 等设备上实现怎样的功能。

主要体现在输入法方面。语言模型加持下的苹果自带输入法,可以实现单词预测和纠错的功能。

Jack Cook 小哥具体测试了一下,发现这个功能主要实现的是针对单个单词的预测。

图源:Jack Cook 博客文章

模型有时也会预测即将出现的多个单词,但这仅限于句子语义十分明显的情况,比较类似于 Gmail 里的自动完成功能。

图源:Jack Cook 博客文章

那么这个模型具体被装在了哪里?一通深入挖掘之后,Cook 小哥确定:

我在 /System/ Library / LinguisticData / RequiredAssets_en.bundle/ AssetData / en.lm/ unilm.bundle 中找到了预测文本模型。

原因是:

1、unilm.bundle 中的许多文件在 macOS Ventura里并不存在,仅出现在了新版本 macOS Sonoma beta(14.0)里。

2、unilm.bundle 中存在一个 sp.dat 文件,这在 Ventura 和 Sonoma beta 里都能找到,但 Sonoma beta 的版本中更新了明显像是分词器的一组 token。

3、sp.dat 中 token 的数量跟 unilm.bundle 中的两个文件 ——unilm_joint_cpu.espresso.shape 和 unilm_joint_ane.espresso.shape 能匹配得上。这两个文件描述了 Espresso / CoreML 模型中各层的形状。

进而,小哥根据 unilm_joint_cpu 中描述的网络结构,推测苹果模型是基于 GPT-2 架构打造的:

主要包含 token embeddings、位置编码、解码器块和输出层,每个解码器块中都有类似 gpt2_transformer_layer_3d 这样的字眼。

图源:Jack Cook 博客文章

根据每层大小,小哥还推测,苹果模型约有 3400 万参数,隐藏层大小是 512。也就是说,它比 GPT-2 最小的版本还要小。

小哥认为,这主要是因为苹果想要一种不太耗电,但同时能够快速、频繁运行的模型。

而苹果官方在 WWDC 上的说法是,“每点击一个键,iPhone 就会运行模型一次”。

不过,这也就意味着,这个文本预测模型并不能很好地完整续写句子或段落。

图源:Jack Cook 博客文章

模型架构之外,Cook 小哥还挖出了分词器的相关信息。

他在 unilm.bundle/ sp.dat 里发现了一组数量为 15000 的 token,值得关注的是,其中包含 100 个 emoji。

Cook 揭秘库克

尽管此 Cook 非彼库克,小哥的博客文章一发出,还是吸引了不少关注。

基于他的发现,网友们热烈地讨论起苹果在用户体验和前沿技术应用之间的平衡大法。

回到 Jack Cook 本人,他本科和硕士毕业于 MIT 的计算机专业,目前还在攻读牛津大学的互联网社会科学硕士学位。

此前,他曾在英伟达实习,专注于 BERT 等语言模型的研究。他还是《纽约时报》的自然语言处理高级研发工程师。

那么,他的这一番揭秘是否也引发了你的一些思考?欢迎在评论区分享观点~

原文链接:

声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。

推荐阅读
大北农002385.SZ1-9月累计生猪销售收入67.71
财经

大北农发布公告,公司控股及参股公司生猪销售数量当月合计为49.81万头,1-9月累计为416.05万头;销售收入当月合计为8.86亿元,1-9月累计为67.71...

2023-10-08

立华股份300761.SZ:9月肉鸡销售收入13.2亿元
财经

格隆汇10月8日丨立华股份公布,2023年9月销售肉鸡4206.19万只,销售收入13.20亿元,毛鸡销售均价15.38元/公斤,环比变动分别为2.36%、5....

2023-10-08

汇宇制药688553.SH:注射用阿扎胞苷、盐酸多柔比星注
财经

格隆汇10月8日丨汇宇制药公布,公司全资子公司SeacrossPharmaceuticalsLtd.于近日收到巴基斯坦药品管理局(简称“巴基斯坦药监局”)核准签...

2023-10-08

金价涨势暂歇!2023年10月8日各大金店黄金价格多少钱一
财经

今天是10月8日,各大金店黄金价格涨势暂歇,均价格不变,与昨日一致,还是很高。目前,金价最高的金店为周六福,不涨不跌,报价588元/克。而金价最低的金店为菜百,...

2023-10-08

安徽省直住房公积金新政:支持购买居住类绿色建筑,可贷额上浮
财经

10月7日,安徽省省直住房公积金管理分中心发布《关于进一步优化住房公积金使用政策的通知》。《通知》包括住房公积金贷款、住房公积金提取等两大方面,政策自2023年...

2023-10-08

小米推出数字贷款计划可用于买手机专为印度打造
财经

目前,小米已经成为全球前三的智能手机厂商。该公司生产入门级、中端和旗舰智能手机,迎合广泛的用户群。但是对于小米而言,他们还需要更多的用户。近日,手机中国注意到,...

2023-10-08

减持新规有望改善A股投资生态
财经

转自:经济日报 e公司讯,沪深交易所近日分别发布《关于进一步规范股份减持行为有关事项的通知》,对此前证监会发布的“减持新规”监管要求进行了细化,确定了更加...

2023-10-08

中欧班列西安累计开行达两万列
财经

近日,随着一声机车汽笛长鸣,装载165辆汽车的X8489次中欧班列从西安国际港站缓缓驶出,一路向西开往俄罗斯首都莫斯科。这标志着中欧班列(西安)自2013年开行...

2023-10-08

科创先锋皖仪科技研发引领投资价值
财经

近日,由权威财经新闻媒体《财经》杂志联合科创数据研究中心共同推出国家情怀mdash;2023科创板四周年系列评选,皖仪科技(688600)获得评委的一致认可,荣...

2023-10-08

除去牛市预期,券商板块还有什么值得关注?
财经

券商行业自2015年牛市后就一直有着牛市旗手的称号,然而回头来看,券商板块的每次异动已经逐渐不能预期指数的上涨行情。 随着指数波动下降,以及投资需求的日益增加...

2023-10-07

源达研究报告:中秋国庆假期国内出行旅游市场恢复,9月PMI
财经

炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会! 中秋国庆假期国内出行旅游市场恢复,9月PMI重返扩张区间 主要内容 国内市场...

2023-10-07

925金是什么金
财经

925金是一种合金,表示里面黄金的纯度为92.5%,由于里面掺入了其它金属,所以它的质地要比纯金硬很多,且具有良好的延展性,颜色丰富多样化,应用也比较广泛,更符...

2023-10-07

2023年第五届全球工业互联网大会将于10月12日至13日
财经

据中国工业经济联合会消息,由国家制造强国建设战略咨询委员会指导,中国工业经济联合会联合十大全国性行业联合会(协会)、国际组织、研究机构、主流媒体等共同主办的20...

2023-10-07

美国9月新增就业33.6万失业率维持在3.8%
财经

美国劳工部6日发布数据称,美国9月份非农业部门新增就业33.6万人,失业率环比持平,仍维持在3.8%。 这一数据创造了自今年2月以来的最高值。在美联储明确...

2023-10-07

沈阳国际汽车展览会闭幕产生订单12108台、意向成交额达2
财经

记者10月7日自辽宁省贸促会获悉,2023中国·沈阳国际汽车展览会(以下简称“沈阳十一国际车展”)6日落下帷幕。在为期六天的车展期间,现场人潮不断,展会共产生订...

2023-10-07

阳光人寿宁波中支工会组织开展春季踏青活动

时值仲春、阳和初起,正是春游踏青的好时光。为丰富员工业余生活,营造和谐融洽、团结向上的工作氛围,3月23日,阳...

找到黑匣子之后,下一步做什么?专家解读

找到黑匣子之后,下一步做什么?邱超奕对于空难调查而言,黑匣子在找到后,才意味着具体工作的开始。那么,它被送往了...

这所城乡接合部的新学校,为招生曾挂过三块牌子

#8203;“上级对我提的要求,就是让寒门子弟接受更好的教育,让普通孩子上好学。”一所城乡接合部的新学校,为招...

东航坠机现场:救援人员获得飞机残骸定位信息

新京报讯据中国民用航空局消息,3月21日,东航一架波音737客机在执行昆明--广州航班任务时,于梧州上空失联。...

调研指今年就业形势基本稳定实体产业人才吸引力增加

专业人力资源机构中智公司21日发布的最新调研结果显示,2022年中国就业形势基本稳定,实体产业对人才吸引力增加...