强化学习（Reinforcement Learning）是一种人工智能策略，其大致思路是让计算机程序通过不断地尝试不同的选择，然后根据从环境中得到的反馈是奖励还是惩罚，不断优化自己的决策，以达到最优的结果。美剧《生活大爆炸》中有一集，当Penny的行为符合自己期望时，Sheldon就使用巧克力奖励Penny，以求达到规范Penny行为的目的，就和这种算法很相似。

这种算法在棋盘类游戏（如国际象棋、围棋）中的表现十分优越。而现在，生物科学家们利用这种算法开发了一款强大的新型蛋白质设计程序。在一项实验中，研究人员利用这一程序设计出的蛋白质成功在小鼠体内产生了更有效的抗体。

4月21日，相关成果以“Top-down design of protein architectures with reinforcement learning”为题发表于Science。评论者称，这一突破很快可能会导致产生更有效的疫苗，从更广泛的层面来说，这种方法很有可能会开启蛋白质设计的新时代。

图1 研究成果（图源：[1]）

该研究的资深作者、位于西雅图的华盛顿大学医学院的生物化学教授David Baker说：“我们的研究结果表明，强化学习不仅可以掌握棋类游戏，当它用于解决分子生物学中长期存在的难题时，这一程序也能够在创造有用的分子方面表现出色。”

他说：“如果这种方法用于正确的研究问题，它能够加速各种科学领域的进展。”

这项研究是利用人工智能开展蛋白质科学研究的里程碑。潜在的应用非常广泛，从开发更有效的癌症治疗方法到创造新的可生物降解材料。

为了开发蛋白质设计的强化学习程序，科学家提供了数百万个简单的起始分子。然后，该程序进行了一万次尝试，每一次都朝着预定义的目标随机改进。计算机将拉长蛋白质或以特定的方式弯曲蛋白质，直到学会如何将它们扭曲成所需的形状。

研究的共同主要作者、华盛顿大学医学蛋白质设计研究所的博士生Isaac D. Lutz说：“我们的方法是独一无二的，因为我们使用强化学习来解决创建蛋白质形状的问题，就像将拼图一块块拼起来。这根本不可能通过以前的方法做到，而且，我们能够构建的分子类型不同了。”

作为这项研究的一部分，研究人员在实验室中制造了数百种这一程序设计出来的蛋白质。通过电子显微镜和其他仪器的观察，他们发现，这一程序设计出来的蛋白质形状确实在实验室中实现了。

研究的共同主要作者、华盛顿大学医学蛋白质设计研究所的博士后Shunzhi Wang表示，这种设计蛋白质的方法不仅准确，而且高度可定制。不论是无孔、小孔还是大孔的球形结构，该软件都能成功设计，相信它也具备制造其他各种结构的潜力，只是有待充分探索。

图2 程序设计的蛋白质结构示例（图源：华盛顿大学）

该团队专注于设计由多个蛋白质分子组成的新型纳米结构。这需要设计蛋白质组件本身，以及设计允许纳米结构自组装的化学界面。

电子显微镜证实，许多该程序设计的纳米结构都能在实验中实现。研究人员观察纳米结构是否准确，发现，每个原子都处在预期的位置，即预期和实际的纳米结构之间的偏差平均小于单个原子的宽度，达到了“原子级精确设计”。

华盛顿大学干细胞和再生医学医学研究所的研究人员还使用血管细胞的原代细胞模型，证明了程序设计的蛋白支架的优越性。例如，由于帮助细胞接收和解释信号的受体能够在更紧凑的支架上密集聚集，因此它们在促进血管稳定方面更加有效。

研究人员预计，未来，这种方法能够帮助科学家们创造出从前无法制造的治疗性蛋白质、疫苗和其它类型的分子。

该研究的作者之一、华盛顿大学医学院生物化学教授Hannele Ruohola-Baker在谈到该研究对再生医学的影响时说：“技术变得越来越准确，这就越能开创出更多的应用，包括为患有糖尿病、脑损伤、中风等疾病的患者提供血管治疗。我们还可以想象更精确地传递我们用来驱动干细胞分化为各种细胞类型的因子，为我们提供调节细胞发育和衰老过程的新方法。”

参考资料：

[1]Isaac D. Lutz, S. Wang, C. Norn, et al. ,Top-down design of protein architectures with reinforcement learning.Science380, 266-273(2023).DOI:10.1126/science.adf6591

[2]https://www.ipd.uw.edu/2023/04/protein-design-reinforcement-learning/