上世纪 80 年代,如今的 Meta AI 首席科学家杨立昆还在读大学。
那时候,深度学习是一个 " 已被证伪 " 的技术路线,只有一小撮人在死磕,这其中就包括了一批日本科学家。
杨立昆发现,当时大部分的深度学习论文,都是日本研究人员用英文写的,这些论文给了当时杨立昆很大的启发。
有趣的是,当 2024 年有人都在发力大模型,日本却在这场浪潮中几乎销声匿迹。
直到前几天,一家要做日语专用生成式 AI 的本土独角兽才冲了出来。据《朝日新闻》上周六报道,日本生成式 AI 初创公司 SakanaAI 即将获得一笔新的重大投资,本月底之前筹集约 200 亿日元资金(约 1.27 亿美元),这将使该公司估值达到 1800 亿日元(约 11.42 亿美元)。
这是日本独角兽中增长最快的,至此它成立还不到一年。
那么,日本这家人工智能公司是什么来头?日语专用生成式 AI 的诞生对大模型的发展有什么启示?
" 黑魔法 " 模型合并,日语理解融合语言 / 数学 / 视觉
"ChatGPT 之父 " 阿尔特曼(Sam Altman)在 5 月末预测,中国会诞生有自身特色的大模型。这让我们思考更多的民族拥有文化专属大模型的必要性。
Sakana AI 注意到要让 AI 生成物的文化属性与艺术质感贴近日本文化和用户价值观。"sakana" 本身是日语音,写作さかな,读作萨嘎那,意思为鱼。而 Sakana AI 的 logo 是鱼形的,官网网站里随处可见各种生成式 AI 绘制的鱼。
3 月,Sakana AI 在 Hugging Face 和 GitHub 上开源了模仿生物进化机制、结合多个 AI 来生成高级 AI 的技术,包括视觉语言模型 EvoVLM-JP。4 月 22 日,Sakana AI 宣布推出面向教育与日语兼容的高速图像生成模型,用日语解决数学问题的EvoLLM-JP,生成并理解日语图像和文本的模型EvoSDXL-JP。至此,该公司已经推出 3 个日语专用的生成式 AI。
▲ EvoSDXL-JP 生成的图像示例。提示词:可爱的编织象、拉面和浮世绘、葛饰北斋、折纸便当、下町火箭、浮世绘等。(图源:SakanaAI 官网)
SakanaAI 在社交平台 X 的账号 @hardmaru,我还发现模型不局限于日本风格,包括可以生成多种电影风格,效果也十分不错。比如输入 " 马斯克 " 和 " 扎克伯格 " 等相关提示词,生成图片立马幻视成《搏击俱乐博》的杰克和泰勒在对垒;学友的经典表情包被扩展成 " 和猫咪共进晚餐 " 的场景,害我笑了一下。
▲在 SDXL 版本使用 " 电影效果 " 模式生成图片,马斯克和扎克伯格
▲ SDXL 对于香港电视场景扩展产生了一些有趣的结果
具体来看, Sakana AI 三个模型精通日语,他们在理解复杂的问题,还可以用日本关西方言开玩笑。视觉语言模型 EvoVLM-JP 了解日本文化的细微差别,例如知道在日本通行灯实际上是蓝色;而 EvoSDXL-JP 模型注重速度和精度,并能生成符合日本美学的作品。
Sakana AI 提出一种进化算法混合和匹配人工智能模型的方法,对生成文本和图像的 AI 基本模型进行研究,他们将现有模型相互交叉组合。(进化算法借鉴了自然进化的概念,使人工智能能够随着时间的推移而进化、适应和改进。)
有意思的是,Sakana AI 将模型合并比作为一种 " 黑魔法 ",并在技术博客里放上了中国 AI 初创公司零一万物 " 套壳 Llama" 争议的 " 黑图 "。
从 Sakana AI 的产品历程来看,今年早些,他们开始利用进化算法来开发更好的方法来训练 LLM 等基础模型。最近,他们使用 LLM 作为更好的进化算法,让 "LLM 发明更好的办法来培训 LLM"。
Sakana AI 探索了模型合并的两条主要途径,一是修改模型的数据流——可以将其视为基于个性的匹配;二是则侧重于混合其他模型的参数,例如将两个模型的最佳特征结合起来,创造出一个更加出色的模型。
进化算法与文化差异的融合是 Sakana AI 重点关注的方面,他们致力于用日本本土文化叙事提供了 AI 可能的影响和错误的基本背景解释,在文化细微差别和社会动态的情况下进行 AI 决策的研究,改善此前缺乏 AI 可解释性的状况。
日系生成式 AI 独苗,外资话语权高
在计算资源似乎非常丰富的时代,人们对扩大机器学习规模并在更大的数据集上训练越来越大的模型感到非常兴奋。
在大模型领域的激烈角逐中,日本 AI 模型的身影缺席,无论是基础大模型还是应用层模型。在 Sakana AI 之前,Open Calm、Rinna 等 " 日系 " 前沿模型在评测中的表现要远逊于 GPT-3.5。
难道人工智能的未来是就是由一个耗费大量能源进行训练、运行和维护,并且庞大、单一、无所不知的系统组成吗?日本东京大学哲学博士、谷歌知名研究者 David Ha 并不认为,他在博客中写到 " 智慧生命的出现并非源于丰富的资源,而是源于资源的匮乏……人工智能的发展将遵循集体发展路径 "。
在上述理念的指引下,David Ha 和另一位谷歌研究者 Llion Jones,以及日本二手交易平台 Mercari 执行董事的伊藤錬,三人在去年 7 月共同在日本东京港区创立 Sakana AI。
▲ Llion Jones(左)和 David Ha(右)
生成 AI 是风险投资公司等的资金集中的方向,这支技术背景强大、价值观特别的日本初创 AI 很快吸引了众多资本的目光。
1 月,Sakana AI 宣布从 Khosla Ventures 等公司、NTT 集团以及索尼集团共计筹集约 45 亿日元。2 月,Sakana AI 被日本政府列入七家获得赠款的公司和实验室之一,以获得使用配备最新图形处理单元的超级计算集群的权限。
就在上周,SakanaAI 被推动到冲刺独角兽的位置。该公司在本月底之前将筹集约 200 亿日元资金(约 1.27 亿美元,9.23 亿元人民币),由美国知名风投 New Enterprise Associates ( NEA ) 和现有投资者 Lux Capital 及 Khosla Ventures 共同主导,这将使该公司估值达到 1800 亿日元(约 11.42 亿美元,83 亿元人民币)。
虽然融资形势是鲜花着锦、烈火烹油,但看看身下是 AI 产业羸弱的日本,Sakana AI 有它不得不面临的管理结构和人才问题。
首先是日系资本话语权的问题。从投资股东看,上一轮和这一轮领投的机构都是美国风投,尽管这些美国风投持股比例尚不清楚,但可以确定的是,美国风投的话语权应该不低。
另外,Sakana AI 成立在港区,这里以聚集诸多外国大使馆、国际气氛浓厚著称。
联合创始人 Ha 表示,他们在湾区创立公司是战略错误,因为这很难有差异化。不过,美资在日本开设办事处并投资日本初创,这也许是最好的局面,部分原因是美资的信托责任致所有非日本基金支持者。
另外是本土人才有限的问题。现在日本的 AI 研究非常依赖 " 老外 "。
RIKEN(理化学研究所)是日本唯一的国家级科研机构,顶级头脑聚集地。汤川秀树等日本诺奖得主,都曾在这儿搞过研究。RIKEN 革新智慧综合研究中心负责人杉山将,曾做过一笔统计:
那些被 AI 顶会收录的 RIKEN 论文,近一半的作者都隶属于外国大学,其中约一半的人来自中国。
最新消息显示,Sakana AI 已收到近 1000 份工作申请,但只有 1/3 来自日本,2/3 来自海外。
结语:" 日本 " 会诞生有自身特色的大模型
AIGC 的主导征地根植于欧美视角,在非欧美文化的情景中的适用性有限,Sakana AI 这只日本 AI 独角兽的诞生标志着人工智能大模型向具备全球能力且适应当地文化的方向迈出一步。
日本的 AI,晚开的花,日本是世界第三大经济体,有体量、有钱、有 AI 发展空间。Khosla Ventures 合伙人 Jon Chu 表示,如果 Sakana AI 能成为日本的 OpenAI,那么它的价值虽然不如美国那个,但它仍然非常有价值。
或许可以仿写一下阿尔特曼的话," 日本 " 会诞生有自身特色的大模型。
来源:乌鸦智能说