科学家发出警告：AI可在6小时内提出40000种潜在科学论文通常是事无巨细的典

科学论文通常是事无巨细的典范。作者团队往往有责任披露一切方便他人复现他们的发现所需要的信息。
但这项研究是个例外。

文章图片

文章图片

最近一篇发表在Nature子刊NatureMachineIntelligence上的论文《人工智能驱动的药物发现的双重用途》（Dual-useofartificialIntelligence-powereddrugdiscovery）显然把它的作者吓坏了。这体现在文本的基调和没有透露关键信息上。

文章图片

文章图片

一次可能性验证
2021年，总部位于美国北卡罗来纳州罗利的CollaborationsPharmaceuticals公司受邀发表了一篇关于“药物发现技术可能被滥用“的论文。该公司利用计算机帮助客户识别看似潜在药物的分子。地点是瑞士斯皮兹实验室组织的一次会议。
这是一个由瑞士政府设立的“融合”系列会议，以确定可能对《禁止化学武器公约》和《禁止生物武器公约》产生影响的技术发展。会议每两年举行一次，汇集了一批国际科学和裁军专家小组，探讨化学和生物领域的最新技术现状及其发展轨迹，思考潜在的安全影响，并考虑如何最有效地在国际上处理这些影响。
为了准备这次演讲， collaboration公司的一些研究人员进行了一项他们称之为“思考实验”的活动，通过计算证明了制造生化武器的概念。
在这个瑞士会议上， CollaborationsPharmaceuticals公司决定探索如何使用AI来设计有毒分子。该公司之前设计了一种名为MegaSyn的药物分子生成模型，借助机器学习模型预测生物活性，寻找人类疾病靶点的新治疗抑制剂。这种生成模型通常会惩罚预测的毒性并奖励预测的目标活动。
在新的实验中，他们进行了调整，让模型同时奖励毒性和生物活性，并使用来自公共数据库的分子对模型进行训练。
他们的方法和结果简单得令人不安：通过对从公开数据库中提取的一组类药分子（定义为易于合成并容易被身体吸收的物质）的化学结构以及这些分子的已知毒性进行训练，修改后的软件不到六个小时就能发现四万个潜在的致命分子。这些分子符合研究人员预定义的参数，可能用作化学武器。
TheVerge采访了该论文的第一作者FabioUrbina ， Urbina是CollaborationsPharmaceuticals药物发现公司的高级科学家，就药物研发中的AI技术可能被滥用的问题展开了演讲。
研究团队以前从未有过这种想法，他们也模糊地意识到与病原体或有毒化学品工作的安全问题。Urbina的工作植根于为治疗和毒性靶点建立ML模型，并非是制造病毒，而是以更好地协助药物发现新分子的设计，利用ML模型对新生产药物的毒性进行预测。
这就像是，有一种奇妙的药物可以神奇的降低血压，但它的副作用却是击穿心脏通道，那么，这种药触碰了禁区，是不可能上市的，因为这太危险了。
几十年来，团队一直在借助计算机和AI来改善人类健康。换句话说，无论试图开发哪种药物，首先得需要确保它们不会有毒。
最近，该公司发布了很多用于不同领域毒性预测的计算ML模型，并且Urbina在会议演讲时，选择翻转开关，真正的走向毒性，探索如何使用AI来设计有毒分子。
这是团队前所未有的一次思想练习，最终演变成了制造生化武器的计算概念证明。
Urbina在对一些细节的描述上有点模糊不清，刻意的隐瞒了某些细节，以防止被加以利用。