当今关于人工智能的讨论大多集中在构建云计算能力和大规模数据中心来运行模型。苹果和高通等公司正在尝试使设备上的AI更加有用。然而，来自伦敦的14人技术团队——支持1000万美元种子轮融资的Mirai正在努力改进如何在手机和平板电脑上运行这些模型。
Mirai由Dima Shevts和Alexey Moiseenkov创立于去年，他们曾共同创立过两款受欢迎的应用：Reface（一家脸换脸应用）和Prisma（一款基于AI的滤镜应用）。在构建能够处理复杂任务的应用程序过程中，Shevts表示，他们在生成式人工智能流行之前就开始思考设备上的AI和机器学习问题。
Mirai正在开发一种框架来优化模型运行在设备上的性能。公司为苹果硅芯片开发了一个推理引擎，并提供了仅需几行代码就能集成到应用中的SDK。Shevts表示，公司希望建立一个类似于Stripe的平台，让开发者只需八行代码就能实现与Mirai平台的集成并开始处理文本或分类等各种任务。
为了能够提高模型生成速度37%，公司使用了Rust编程语言构建了这个引擎。Shevts表示，在调整模型以适应特定平台时，他们没有改变模型权重来确保输出质量不降低。目前，Mirai的栈主要关注文本和语音模态的改进，并计划在未来支持视觉。
Mirai也在与前沿的模型提供商合作，为边缘使用场景优化他们的模型，并正在与其他芯片制造商进行洽谈。公司还计划将引擎扩展至Android系统，并推出设备端基准测试以供模型制作者测试。
Shevts承认，并非所有的人工智能工作都可以在设备上完成。因此团队正在构建一个编排层，以便当某些请求无法在设备上处理时能够将其发送到云端。据称，Mirai的引擎可以为设备上的助手、转录器、翻译应用和即时通讯应用等提供动力。
Mirai的种子轮融资吸引了包括Uncork Capital管理合伙人Andy McLoughlin、Dreamer CEO David Singleton、YC合伙人François Chaubard在内的一众投资者。McLoughlin表示，鉴于云推理的成本，未来必须有所改变。他指出，随着投资者开始关注这些业务的根本经济问题并意识到需要做出改变，这类公司可能会更加受欢迎。
Mirai还计划推出设备端基准测试，以便模型制作者可以测试设备上的性能表现。
推荐意见