专家剖析 AI 致命缺陷，不具备大规模应用前提

AI 在软件工程和网络安全领域的前景备受关注。AI技术是否能摆脱“黑箱”属性，成为人们关注的焦点。

2024 年 11 月，莱斯特德蒙福特大学网络安全教授 Eerke Boiten 在一篇题为“当前的 AI 是一条死胡同吗”的文章中发出警告。

Boiten 从软件工程的角度分析了当前 AI 技术在管理和控制方面存在的重大缺陷。

尽管 AI 在自动化、医疗、金融等领域取得重大进展，但其在规模化应用中的可控性和可靠性问题仍然没有得到有效解决。

AI 面临的复杂性管理挑战

Boiten 指出，现有的 AI 系统与传统软件开发标准存在严重不匹配。

AI 技术在可管理性、透明性和问责制等方面存在缺陷，这与软件工程的基本原则不符。

作为例证，许多基于深度学习的 AI 系统在训练和应用过程中的决策过程难以解释和追溯。

AI 系统的“黑箱”属性使其在关键任务中存在风险，尤其在人类生命健康、金融交易和网络安全等领域。

Boiten 认为，当前 AI 技术在不可管理性方面无法胜任这些领域的核心任务。

AI 可靠性的不足

此外，Boiten 还指出了 AI 系统在可靠性方面的不足。

尽管 AI 技术在性能上有亮眼表现，但其可靠性仍然存在问题，在医疗、司法、金融等领域的高风险决策时错误率仍然不可忽视。

举例来说，在图像识别中 AI 的误差率可能较低，但在医学诊断中即使微小错误也可能导致严重后果。

AI 的可靠性问题不仅体现在技术能力上，也表现在系统架构的可管理性上。

由于缺乏监管和透明设计，AI 系统常难以符合严格的工程标准，当面对现实情况的变化时决策过程可能变得不稳定和不可预测，增加了在关键领域应用的风险。

“可解释 AI”并非解决之道

针对 AI 复杂性问题，学界提出了“可解释 AI”概念，试图使 AI 的决策过程更加透明和易于理解。

尽管这种方法解决了“黑箱”问题，但 Boiten 表示这并不能根治问题，只能减少不确定性。

他强调“可解释 AI”并不能确保 AI 在所有领域高效和可靠运行。

因此，AI 技术的发展不能仅仅依赖于“可解释性”，更应注重提升 AI 系统的可控性和安全性。目前行业对于 AI 的监管和标准尚未统一和有效，这将给未来带来更大挑战。

数据责任：潜在难题

除了“可解释性”和“可靠性”，AI 技术还面临数据责任问题。

AI 系统的决策质量高度依赖于训练数据的质量，但数据的公正性、完整性和代表性难以保证。

由于数据偏差，AI 模型可能做出带有偏见的判定，在司法审判、招聘等领域尤其严重。

尽管业界提出多种解决方案减少数据偏见，但 Boiten 认为这未能根除问题。

随着 AI 技术发展和应用场景扩大，数据偏见和隐私问题将更加突出。若问题得不到解决，将面临伦理和法律风险。

未来展望：潜力与挑战

Boiten 的警示并非全盘否定 AI 技术，而是对其在关键领域风险的深度思考。

他认为 AI 在许多领域展现了潜力，尤其在自动化和数据处理方面。但对于关系到人类安全和生活质量的领域，AI 的使用应更加慎重和透明。

Boiten 最后回答了开篇的问题——AI 的未来并不是一条死路，但当前的技术瓶颈和管理难题需引起充分重视。

要让 AI 在更多领域发挥潜力，行业需要在可控性、透明度和可靠性方面取得突破。否则，上述挑战将限制 AI 在关键领域的应用，甚至导致“死胡同”。

参考资料：

• https://www.bcs.org/articles-opinion-and-research/does-current-ai-represent-a-dead-end/

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考。