从人类偏好中学习：构建安全人工智能系统的关键范式转移

构建安全人工智能系统的核心路径之一，在于摆脱对人工编写目标函数的依赖。在处理复杂目标时，若使用简单的代理指标来替代，或者对复杂目标的定义出现细微偏差，都可能诱发不可预见的、甚至具有危险性的行为。通过与DeepMind安全团队的深度协作，我们研发出了一种全新的算法。该算法能够通过人类对两种预设行为优劣的判断，实现对人类真实意图的精准推断与学习。