第(2/3)页

    真的需要这些风马牛不相及的东西吗。

    建立在人工智能内核之上的ASA，一旦开始运行，身为管理员也只能看到若干接口送出的数据，对庞大软件架构内部的运行情况，即便动用能拿到手的最先进动态监控模块，面对规模超乎想象的状态码、存储器数据和访问日志，方然也只能徒唤奈何。

    想一想也是，倘若这系统正在做的事，居然能被人通过接口数据分析的清楚明白，那他又要这ASA何用呢，干脆自己操纵还更保险。

    开发软件，部署人工智能系统，作为AI的创造者、至少也是参与了工作的使用者，却无从掌握人工智能体系的具体运作，基于过往的积累，在与ASA打交道的过程中，方然对这类系统的黑盒子性质有了更直观、更深刻的理解，也部分理解了为什么一部分计算机、人工智能研究者，始终对AI心怀恐惧。

    人创造出来的东西，却未必能被人控制，人工智能，原则上是存在这样的可能。

    开发人工智能的直接动机，很显然，倘若不是出于莫须有的“研究意识”、甚至“百无聊赖”之类理由，显然是为了解放人的辛劳，是为了利用人工智能去解决人类难以解决、甚至无法解决的问题，那么从逻辑上讲，对复杂度越过某种门槛的AI，运作过程必定不是人能够完全解析的。

    这种不能够，并非理论上的做不到，而是解析的时间会长到脱离实际，根本就不现实。

    想到这，方然不是在杞人忧天，认为人类创造的AI会脱离控制、自作主张，而是说作为人工智能的使用者，对AI正在做什么，并没办法有很切实的把握。

    这对系统开发者来说并不成问题，但是对使用者，则潜藏着这样的风险：

    对AI的实际行为，不管开发者怎样声称、怎样保证，都没办法验证这些声称、保证究竟是真的靠谱，还是完全的欺骗。

    归而总之，还是此前想到的那一个难题：

    除非开发者主动放弃，否则，对复杂度超限的系统，没有任何百分之百可靠的手段，可以确保除开发者之外的任何人将其完全掌控。
    第(2/3)页