2024-10-12
诺贝尔物理奖 神经网络 机器学习
两位机器学习先锋获得诺贝尔物理奖
瑞典皇家科学院日前宣布2024年诺贝尔物理奖得主，包括现年91岁的John Hopfield和76岁的Geoffrey Hinton，来表彰他们从1980年代开始，就以人工神经网络打下机器学习基础。瑞典皇家科学院表示，人们谈论的AI，通常指以人工神经网络为基础的机器学习，也就是受大脑结构启发，在人工神经网络中，大脑的神经元由不同值的节点来表现，节点之间通过链接来相互影响，如同大脑中的突触，并可调整链接的强弱。
其中，Hopfield是著名的理论物理学家及神经科学家，曾创建开创性的Hopfield网络，以一种特殊的方式来存储并重建模式（Pattern）。简单地说，该网络是通过物理学中，能量最小化的过程来进行自我组织与学习，成为之后许多深度学习研究的灵感来源。Hinton则以Hopfield网络为基础，利用统计物理学工具，以不同方式创建了Boltzmann机器网络，能自动学习、辨识数据中的特征，比如分类图片，此举推动了机器学习的重大发展。（详全文）
视频生成 Meta 配乐
Meta预告视频生成AI模型Movie Gen
Meta最近揭露AI视频生成模型Meta Movie Gen，可生成高品质的图片和视频、音效或配乐，性能比OpenAI Sora等先进模型要好。不过，Movie Gen还在开发中，Meta在官方博客称其为AI媒体研究的重大突破，具多模态能力，可处理图片、影像和声音，开发者输入文本提示即可产生视频和音频、编辑现有视频，或是将图片转化为视频，克服了生成视频常出现的对象扭曲／模糊、动作不自然、或罕见动作不完整等问题。
早在2022年，Meta就发布第一代多模态AI模型Make-A-Scene，能产制影音、图片和3D动画，第二代则是基于扩散模型的Llama Image基础模型，提供更高影音品质及图片编辑功能。Movie Gen属于第三代，融合所有模态，是以经授权或公开可用的数据集训练而成的300亿参数Transformer模型。该模型有4个版本，包括视频生成、个人化视频生成、精准视频编辑和声音生成版本。Meta指出，Movie Gen将成为Meta未来多项新服务的底层引擎，比如明年将用于IG，未来也会集成其他平台产品。（详全文）
苹果新模型1秒内将2D图片转为3D
苹果日前展示最新视觉模型Depth Pro，能在不使用相机影像情况下，将2D图片转化成3D图，在V100 GPU上0.3秒就完成。Depth Pro是一种零样本单眼深度估计（Monocular depth estimation）的基础模型，能在高分辨率深度图片中，加入细节锐利度，成为高品质3D图像。
使用单眼深度估计技术的好处是，可应用于任何类型图片，还能零样本训练出具可量测的深度，能准确重制对象形状、场景布局。尤其，这种模型预测方法不需要传感器数据，即可准确预测，也能用任何单一图片来合成想要的图片。
在研究方法上，团队使用2个视觉Transformer（ViT）模型，包括影像补片编码器和一个影像编码器，前者将图片切成小补片，完成特征提取、推论图片像素的深度，后者以上下文消息提升深度估计的准确性。在后处理阶段，团队以真实和合成数据集来提升量测准确性，以及对象边界追踪能力，再加上另一个影像编码器模型提供的焦距估计，来优化3D图片生成结果。最后，苹果也发布Depth Pro模型代码和加权值。（详全文）
Gemini Nano Android Google
轻量模型Gemini Nano开放测试
Google最近提供开发工具AI Edge SDK，Android开发者可用来试用Gemini Nano模型，打造各种场景的Android应用。进一步来说，Gemini Nano是Google Gemini系列模型之一，专门针对设备端任务设计，模型可在设备端完成所有运算，不需连接云端服务器。也就是说，敏感数据可留在设备，且模型无需网络连接，也能提供完整功能。
Gemini Nano适用的场景有智能回复、文本改写、校对或是文档摘要，开发者可通过AI Edge SDK集成，控制输出随机性、Top K和回应最大长度等推理参数，来满足不同应用需求。目前，Google开放给开发者测试的是Gemini Nano 2模型，而且，Google也开发一套Android系统服务AICore，可让开发者简单在设备端运行模型，不必自己发布运行环境、模型和其他组件。（详全文）
Copilot Labs 微软 浏览体验
微软发表新Copilot AI服务与功能
最近，微软发表AI服务Copilot Labs，内含各种实验性的新AI功能，首波新功能包括可理解用户所查看网页的Copilot Vision、能回答复杂问题的Think Deeper。其中，Copilot Vision是浏览器Edge的视觉AI助手，用户允许，它就能与用户正在阅读的网页交互，或是建议下一步，如摘录、翻译、寻找商品等。Think Deeper负责回答复杂问题，如用户可询问应该要搬到A城市还是B城市，或询问哪款汽车最适合用户的需求。
同时，微软也推出能与用户语音交流的Copilot Voice、可摘录新闻或天气消息的Copilot Daily，其中，Copilot Voice是一个AI语音助理，有4种不同声音，可在所有支持Copilot的平台上使用。但该功能目前仅支持英文，只在美国、加拿大、英国、澳洲及新西兰等市场推出。Copilot Daily则是Copilot Voice衍生服务之一，用户可通过Copilot Voice声音，来念出新闻与天气重点。Copilot Voice与Copilot Daily目前皆免费使用。此外，微软还更新浏览体验，用户能直接在Microsoft Edge中的网址列，输入@copilot来激活Copilot，或输入Bing generative search来体验生成式搜索。（详全文）
PyTorch 运算性能 torchao
可大幅改进AI模型运算性能！PyTorch发布torchao函数库
PyTorch最近发布全新原生函数库torchao，通过低精度数据型态、量化和稀疏性技术，减少模型的计算成本和内存使用量，让模型运行更有效率。torchao提供一套容易上手的工具组，支持多种模型推论和训练优化方法，可广泛用于PyTorch模型，LLaMA 3和Diffusion模型的性能都显著提升。
低精度数据型态是torchao加速的关键之一，该工具支持float8、int4等低精度数据型态，能有效减少计算成本和内存使用需求，像是在LLaMA 3 70B模型预训练中，torchao提供了float8训练流程，可将模型运算加速达1.5倍。在推论方面，torchao提供多种量化方式，包括权重量化和动态启动量化。用户可通过API自行选择适合的量化策略，来达到最佳推论性能。稀疏性技术也是torchao提升模型效率的重要手段，有了稀疏性，torchao可优化模型参数计算，降低不必要的运算耗能。（详全文）
多模态模型 NVLM Nvidia
Nvidia开源媲美GPT-4o的多模态模型NVLM 1.0
Nvidia在上个月发表多模态大型语言模型NVLM 1.0，号称能与封闭的GPT-4o或开源的Llama 3-V 405B、InternVL 2等模型媲美，最近则开源NVLM 1.0模型权重，接下来还会提供基于Megatron-Core框架的代码。就NVLM 1.0模型设计来说，Nvidia先是比较解码器架构模型，也采用交叉注意力机制模型，根据其优缺点提出一种全新架构，来提升训练效率和多模态推论能力。
NVLM 1.0 72B在许多基准测试上虽然不是最突出，但在视觉语言及纯文本任务上，都与Llama 3-V、GPT-4o、Claude 3.5 Sonnet和Gemini 1.5 Pro等模型相当，尤其在衡量光学字符辨识能力的OCRBench、自然图像理解能力的VQAv2基准测试表现优异。NVLM 1.0 72B的指令遵循能力也不错，且由于结合了OCR、推论、定位、常识、世界知识与代码撰写等能力，综合理解能力也更强大。（详全文）
／苹果、Meta、Nvidia
AI近期新闻
1. OpenAI发布更快的语音辨识模型Whisper large-v3-turbo
2. O1-engineer代码撰写工具在GitHub上开源，以OpenAI API驱动
：iThome整理，2024年10月
