Anthropic是一家位于美国加州旧金山的人工智能股份有限公司,成立于2021年。该公司由达里奥·阿莫迪和丹妮拉·阿莫迪兄妹创立,现任首席执行官达里奥·阿莫迪。
Anthropic是一家人工智能安全和研究公司,致力于构建可靠、可解释和可操纵的AI系统。Anthropic公司的主打产品是名为“Claude”的大语言模型家族。开发过程中,Anthropic引入了基于AI反馈的强化学习方法(RLAIF),通过训练一个称为“Constitutional AI”的评价模型来指导Claude的行为,确保它在提供有用信息的同时遵守一系列预先设定的伦理准则。这种方法试图解决传统基于人类反馈的强化学习所面临的挑战,即如何平衡AI助手的安全性和功能性。