Magi 是什么?
Magi 是由 Peak Labs 研发的基于机器学习的信息抽取和检索系统，它能将任何领域的自然语言文本中的知识提取成结构化的数据，通过终身学习持续聚合和纠错，进而为人类用户和其他人工智能提供可解析、可检索、可溯源的知识体系。
Magi 能做什么?
如果您是从 magi.com 来到这里的话，那么恭喜您发现了 Magi 的一半！这个长得很像搜索引擎的网站就是 Magi 的公众版本，但与搜索引擎不同，Magi 不仅收录互联网上的海量文本，还会去尝试理解并学习这些文本中蕴含的知识和数据。
不妨在 magi.com（使用帮助）尝试搜索一些您关心的事物，或者直接提出问题，Magi 都将竭力为您提供高度聚合的结构化知识结果：
每条信息会用颜色表示其可信度，点击可展开看到 Magi 是从哪些具体来源习得的该知识。
值得一提的是，上述的学习过程是在无人干预的情况下 7 x 24 小时不间断运行的，实时新闻事件中的知识一般只需要 5 分钟就会被掌握。随着可交叉验证的信息源不断增加，先前学习到的知识的可信度会被重新评估，使结果中的错误被自动纠正。
Magi 的使命
目前，互联网上只有极少数知识被人类手工整理成了机器可以解析的格式，如各种百科栏目和垂直领域数据库，然而这些信息仅仅是沧海之一粟，无论是覆盖范围、更新频率、可靠程度都无法满足日益增长的自动化和智能化需求。
其根本矛盾在于：读懂自然语言对人类来说不难，但人的精力有限，无法跟上有价值信息的产生速度，也不能保证稳定和客观；机器虽然不知疲倦且速度超群，但面对纷繁复杂的自由文本却难以利用，使得不可估量的价值被埋没于字里行间。
试想一下，假如有一个不断自动更新的数据库，包含着互联网各处的文本信息提取而成的便于程序和算法处理的数据结构，那么也许：
- 各种语音助手不会再对您说：“对不起，我不清楚。”；
- 商业智能可获得广泛的背景知识来做出更好的判断；
- 金融信息服务的数据收集与验证的效率将显著提升；
- … …
作为公众版本的 magi.com 为人类用户提供了与互联网数据交互的新方式，而 Magi 系统背后的技术平台则承载着另一半重要的意义：让机器像人一样能理解并充分利用互联网中无穷无尽的知识。
Magi 的技术
在目前相关领域的尝试中，机器问答终究还是面向人类的服务，依照文本问题给出的文本回答并不能供下游任务直接利用。同时，问答模型本身无论从容量还是更新效率都无法满足规模化的需求，更致命的是模型中的知识存在于由浮点数组成的“黑箱”中，在我们看来将这些无法解读和溯源的信息直接呈现给用户并不是最负责任的做法。另外，基于文档检索的方案同样无法满足结构化的需求，在实时线上服务中效率限制会导致其难以评估全部文档来获得全局最优，而且其对用户输入的查询要求较高。
综上所述，我们认为知识提取的重要性远高于单纯地回答问题，主动发现潜在知识并持续提炼修正则显著强于被动地根据输入的问题去匹配结果。让机器去理解语言已经十分困难，而 Magi 更是选择面对其中最复杂的目标：开放领域的互联网文本，去直面规模化和准确度这一组知识工程中的核心矛盾点。
我们用了多年时间从零设计研发了整个技术堆栈：采用原创 succinct 索引结构的分布式搜索引擎、使用专门设计的 Attention 网络的神经提取系统、不依赖 Headless 浏览器的流式抓取系统、支持混合处理 170 余种语言的自然语言处理管线、… 。与此同时，我们默默耕耘并收获了独一无二的训练/预训练数据。
这个系统通过引入传统搜索中的 query-independent 质量因素，使得优质可靠的消息源会更被重视；其基于多级迁移学习的提取模型则完全摒弃了人工规则、角色标注、依存分析等限制泛化能力的环节，并且可在 zero-resource 的前提下直接应用到各种外语文本上并取得令人满意的效果；而随着数据的积累以及来源多样性的扩充，这个系统还能够持续学习与调整，自动消除学习到的噪音和错误结果；…
这些努力共同作用将 Magi 呈现于此。作为独特且具有前瞻性的项目，Magi 的部分数据与相关研究成果将定期公开于 Zenodo 和 arXiv 等平台。
Magi 的愿景
Magi 现在还远算不上成熟，但其特性决定了它无穷的可能性和成长空间。
从最棘手的互联网开放领域信息入手，Magi 证明了其作为 the One system to rule them all
的可能性。面对各种领域的文本信息，Magi 的技术方案则从逐项击破跃进到了大一统，这代表着有限到无限的区别。
随着数据量和可信度的不断增长，Magi 将作为知识的 ImageNet 来赋能各行各业。各个专业细分领域的信息提取任务，都可以通过利用少量数据对 Magi 模型进行 fine-tuning 来实现更优的方案。
也许在不远的未来，伴随着整个行业的进步，Magi 所构建的包容万事万物的结构化网络将成为通向可解释人工智能的基石。
0