你认为接触一种新兴的技术工具会改变你坚定的信念吗？或者促使你做出你本来不会做出的决定？我们大多数人认为自己太聪明了，不会被影响，但越来越多的证据表明情况并非如此。
在新一轮的生成性人工智能技术中，“说服力”的力量被认为是一种潜在的灾难性风险，与模型可能获得自主权或帮助制造核武器的担忧一样。另一方面，旨在影响行为的低风险设计已经在我们日常使用的许多产品中无处不在，促使我们无休止地在社交平台上滚动，或打开 Snapchat 或 Duolingo 以继续保持“连续记录”。
但来自中国这一新兴技术的最新进展引发了新的国家安全担忧。由 US State Department 资助并由一个澳大利亚智库发布的新研究发现，中国科技公司正处于创建和部署具有“前所未有的说服能力”的技术的边缘。
从安全的角度来看，这可能会被 Beijing 或其他行为者滥用，以影响政治意见或制造社会动荡和分裂。换句话说，这是一种在没有任何战斗的情况下制服敌人的武器，这一战术被中国哲学家 Sun Tzu 所宣扬。
上周发布的来自 Australian Strategic Policy Institute 的报告指出，中国的商业部门“已经是全球领导者”在开发和采用旨在通过利用生理或认知脆弱性来改变态度或行为的产品方面。
为了实现这一目标，这些工具在很大程度上依赖于分析它们收集的个人数据，然后与用户量身定制互动。
该报告指出了一些中国公司，称它们已经在使用这种技术——涵盖生成性人工智能、虚拟现实和新兴的神经技术领域——来支持 Beijing 的宣传和军事目标。
但这同样是一个全球性问题。中国的私营部门可能在开发说服方法方面迅速前进，但它是遵循由 US Big Tech 公司制定的手册来更好地理解其用户并保持他们的参与。解决 Beijing 风险需要我们认真剖析我们如何让技术产品影响我们的生活。但新的国家安全风险，加上人工智能和其他新创新如何迅速提升这些工具的有效性，应该在硅谷的产品设计中已经如此根深蒂固的说服力方面敲响警钟。
解决这个问题的部分困难在于，它可能是一把双刃剑。今年早些时候发表的一项 Science 研究发现，与人工智能模型聊天可以说服阴谋论者减少他们的信念，即使在那些声称这些信念对他们身份重要的人中也是如此。根据研究人员的说法，这突显了大型语言模型的积极“说服能力”及其与个性化对话的互动能力。
如何防止这些权力被 Beijing 或其他不良行为者用于恶意活动，将成为政策制定者日益棘手的挑战，这超出了切断对先进半导体的访问。
要求更高的透明度将是一个开始的方法，要求科技公司在内容以可能影响行为的方式进行定制时提供明确的披露。扩大数据保护法，或给予用户更清晰的方式选择退出信息收集，也将限制这些工具对用户的个性化目标能力。
优先考虑数字素养和教育同样至关重要，以提高对说服技术的意识，了解算法和个性化内容如何运作，如何识别策略，以及避免被这些系统潜在操控。
技术如此复杂，以至于允许 Beijing 拉动操控更改你的信念或你是谁的风险，可能仍然看起来是一个遥远的科幻担忧。但全球政策制定者的风险太高，不能在这一切被释放后才做出反应。现在是全球反思我们给予科技公司多少个人信息和影响力的时刻。
关键词
生成性人工智能 | 说服力 | 中国 | Beijing | US State Department | Australian Strategic Policy Institute | Sun Tzu | US Big Tech | 数字素养 | 科学研究 | 虚拟现实 | 神经技术 | 数据保护法
预测
未来，科技公司的行为可能会导致国家安全风险加剧，尤其是在利用新兴技术操控公众信念和行为方面。
数据摘要
中国科技公司在开发具有“前所未有的说服能力”的技术方面处于全球领先地位，可能被用于影响政治意见或制造社会动荡。
投资机会分析
可以关注那些致力于提升数字素养和透明度的科技公司，以及开发安全技术和数据保护解决方案的企业。
投资于人工智能、虚拟现实和神经技术领域的公司，尤其是那些在合规和道德框架下运营的公司，可能会在未来获得增长机会。同时，警惕可能受到中国影响的高科技公司，避免潜在的投资风险。
