⑴ 知识图谱有什么用处
“知识图谱的应用涉及到众多行业,尤其是知识密集型行业,目前关注度比较高的领域:医疗、金融、法律、电商、智能家电等。”基于信息、知识和智能形成的闭环,从信息中获取知识,基于知识开发智能应用,智能应用产生新的信息,从新的信息中再获取新的知识,不断迭代,就可以不断产生更加丰富的知识图谱,更加智能的应用。
如果说波士顿动力的翻跟头是在帮机器人锻炼筋骨,那么知识图谱的“绘制”则是在试图“创造”一个能运转的机器人大脑。
“目前,还不能做到让机器理解人的语言。”中国科学院软件所研究员、中国中文信息学会副理事长孙乐说。无论是能逗你一乐的Siri,还是会做诗的小冰,亦或是会“悬丝诊脉”的沃森,它们并不真正明白自己在做什么、为什么这么做。
让机器学会思考,要靠“谱”。这个“谱”被称为知识图谱,意在将人类世界中产生的知识,构建在机器世界中,进而形成能够支撑类脑推理的知识库。
为了在国内构建一个关于知识图谱的全新产学合作模式,知识图谱研讨会日前召开,来自高校院所的研究人员与产业团队共商打造全球化的知识图谱体系,建立世界领先的人工智能基础设施的开拓性工作。
技术原理:把文本转化成知识
“对于‘姚明是上海人’这样一个句子,存储在机器里只是一串字符。而这串字符在人脑中却是‘活’起来的。”孙乐举例说。比如说到“姚明”,人会想到他是前美职篮球员、“小巨人”、中锋等,而“上海”会让人想到东方明珠、繁华都市等含义。但对于机器来说,仅仅说“姚明是上海人”,它不能和人类一样明白其背后的含义。机器理解文本,首先就需要了解背景知识。
那如何将文本转化成知识呢?
“借助信息抽取技术,人们可以从文本中抽取知识,这也正是知识图谱构建的核心技术。”孙乐说,目前比较流行的是使用“三元组”的存储方式。三元组由两个点、一条边构成,点代表实体或者概念,边代表实体与概念之间的各种语义关系。一个点可以延伸出多个边,构成很多关系。例如姚明这个点,可以和上海构成出生地的关系,可以和美职篮构成效力关系,还可以和2.26米构成身高关系。
“如果这些关系足够完善,机器就具备了理解语言的基础。”孙乐说。那么如何让机器拥有这样的“理解力”呢?
“上世纪六十年代,人工智能先驱麻省理工学院的马文·明斯基在一个问答系统项目SIR中,使用了实体间语义关系来表示问句和答案的语义,剑桥语言研究部门的玛格丽特·玛斯特曼在1961年使用Semantic Network来建模世界知识,这些都可被看作是知识图谱的前身。”孙乐说。
随后的Wordnet、中国的知网(Hownet)也进行了人工构建知识库的工作。
“这里包括主观知识,比如社交网站上人们对某个产品的态度是喜欢还是不喜欢;场景知识,比如在某个特定场景中应该怎么做;语言知识,例如各种语言语法;常识知识,例如水、猫、狗,教人认的时候可以直接指着教,却很难让计算机明白。”孙乐解释,从这些初步的分类中就能感受到知识的海量,更别说那些高层次的科学知识了。
构建方式:从手工劳动到自动抽取
“2010年之后,维基网络开始尝试‘众包’的方式,每个人都能够贡献知识。”孙乐说,这让知识图谱的积累速度大大增加,后续网络、互动网络等也采取了类似的知识搜集方式,发动公众使得“积沙”这个环节的时间大大缩短、效率大大增加,无数的知识从四面八方赶来,迅速集聚,只待“成塔”。
面对如此大量的数据,或者说“文本”,知识图谱的构建工作自然不能再手工劳动,“让机器自动抽取结构化的知识,自动生成‘三元组’。”孙乐说,学术界和产业界开发出了不同的构架、体系,能够自动或半自动地从文本中生成机器可识别的知识。
孙乐的演示课件中,有一张生动的图画,一大摞文件纸吃进去,电脑马上转化为“知识”,但事实远没有那么简单。自动抽取结构化数据在不同行业还没有统一的方案。在“网络知识图谱”的介绍中这样写道:对提交至知识图谱的数据转换为遵循Schema的实体对象,并进行统一的数据清洗、对齐、融合、关联等知识计算,完成图谱的构建。“但是大家发现,基于维基网络,结构化半结构化数据挖掘出来的知识图谱还是不够,因此目前所有的工作都集中在研究如何从海量文本中抽取知识。”孙乐说,例如谷歌的Knowledge Vault,以及美国国家标准与技术研究院主办的TAC-KBP评测,也都在推进从文本中抽取知识的技术。
在权威的“知识库自动构建国际评测”中,从文本中抽取知识被分解为实体发现、关系抽取、事件抽取、情感抽取等4部分。在美国NIST组织的TAC-KBP中文评测中,中科院软件所—搜狗联合团队获得综合性能指标第3名,事件抽取单项指标第1名的好成绩。
“我国在这一领域可以和国际水平比肩。”孙乐介绍,中科院软件所提出了基于Co-Bootstrapping的实体获取算法,基于多源知识监督的关系抽取算法等,大幅度降低了文本知识抽取工具构建模型的成本,并提升了性能。
终极目标:将人类知识全部结构化
《圣经·旧约》记载,人类联合起来兴建希望能通往天堂的高塔——“巴别塔”,而今,创造AI的人类正在建造这样一座“巴别塔”,帮助人工智能企及人类智能。
自动的做法让知识量开始形成规模,达到了能够支持实际应用的量级。“但是这种转化,还远远未达到人类的知识水平。”孙乐说,何况人类的知识一直在增加、更新,一直在动态变化,理解也应该与时俱进地体现在机器“脑”中。
“因此知识图谱不会是一个静止的状态,而是要形成一个循环,这也是美国卡耐基梅隆大学等地方提出来的Never Ending Learning(学无止境)的概念。”孙乐说。
资料显示,目前谷歌知识图谱中记载了超过35亿事实;Freebase中记载了4000多万实体,上万个属性关系,24亿多个事实;网络记录词条数1000万个,网络搜索中应用了联想搜索功能。
“在医学领域、人物关系等特定领域,也有专门的知识图谱。”孙乐介绍,Kinships描述人物之间的亲属关系,104个实体,26种关系,10800个事实;UMLS在医学领域描述了医学概念之间的联系,135个实体,49种关系,6800个事实。
“这是一幅充满美好前景的宏伟蓝图。”孙乐说,知识图谱的最终目标是将人类的知识全部形式化、结构化,并用于构建基于知识的自然语言理解系统。
尽管令业内满意的“真正理解语言的系统”还远未出现,目前的“巴别塔”还只是在基础层面,但相关的应用已经显示出广阔的前景。例如,在网络输入“冷冻电镜”,右竖条的关联将出现“施一公”,输入“撒币”,将直接在搜索项中出现“王思聪”等相关项。其中蕴含着机器对人类意图的理解。
⑵ 百分点公司的动态知识图谱主要应用在什么场景下
动态知识图谱主要应用在信息检索,推荐系统,互联网金融行业等场景,很多应用场景和想法都可以延伸到其他的各行各业。
⑶ 学信息安全需要哪些基础
一:学网络安全需要的知识:
1、必须精通TCP/IP协议族。
2、学习和了解各种OS 平台,如:linux,UNIX,BSD 等。
3、随时关注网络安全最新安全动态。
4、熟悉有关网络安全的硬软件配置方法。尤其交换机和路由的配置。
5、多泡网络安全论坛。
6、终身学习。
二:网络安全必修课程:(后面的教材仅为参考)
1、专业基础:
1)C/C++:【C++Primer中文版 还有题解c++ primer 需要一定的C++基础,如果要比较基本的话,钱能的那本不错,清华大学出版社的。 <<c programming languge>> 全球最经典的C语言教程 中文名字<<c程序设计语言>>】
2)汇编语言 asm
3)操作系统【linux,UNIX,BSD】UBUNTU是linux操作系统 鸟哥的linux私房菜】
4)计算机网络
2、系统编程:(Windows核心及网络编程)
2.1、精通VC/C++编程,熟悉windows网络SOCKET编程开发
1)《Windows网络编程(第二版)》(附光盘),(美)Anthony Jones, Jim Ohlund着;杨合庆译;清华大学出版社,2002.1
2)《Windows 核心编程(第四版)》(附光盘),(美)Jetfrey Richter着,王建华 等译;机械工业出版社,2006.9
2.2、逆向工程:
1)《加密与解密(第二版)》(附光盘),段钢 着,电子工业出版社;2004.5
3、网络协议:
1)《计算机网络实验教程》(《COMPUTER NETWORKS: INTERNET PROTOCOLS IN ACTION》),(美)JEANNA MATTHEWS着,李毅超 曹跃 王钰 等译,人民邮电出版社,2006.1
2)《TCP/IP协议详解卷一:协议》、《TCP/IP详解卷2:实现》、《TCP/IP详解卷3:TCP 事务协议、HTTP、NNTP和UNIX域协议》,美 W.Richard Stevens 着,机械工业出版社,2004.9或《用TCP/IP进行网际互联第一卷:原理、协议与结构》、《用TCP/IP进行网际互联第二卷:设计、实现与内核》、《用TCP/IP 进行网际互联第三卷:客户-服务器编程与应用》(第四版)、(美)Douglas E.Comer林瑶 等,电子工业出版社,2001 年5月
4、网络安全专业知识结构:
1)《信息安全原理与应用(第三版)》(《Security in Computing》),(美)CharlesP Pfleeger,Shari Lawrence Pfleeger着;李毅超,蔡洪斌,谭浩 等译; 电子工业出版社,2004.7
2)《黑客大曝光--网络安全机密与解决方案》(第五版),(美)Stuart McClure,Joel Scambray, George Kurtz;王吉军 等译,清华大学出版社,2006年4月
三:英语学好,也是有用的,尤其是考一些比较有用的证。
⑷ 中腾信如何利用知识图谱技术,实现风险管理中的实时应用
中腾信的金融科技实力提升从应用效果来看,公司自主研发的知识图谱技术,可以有效识别传统类型的欺诈团伙,知识图谱实现了在中腾信风险管理中的实时应用,为欺诈风险防控、信用风险管理提供了新维度,特别是可以对传统类型欺诈团伙的有效识别,提升了风险管理能力;针对近百亿级多种维度的数据进行处理以及社区发现算法的优化,实现了贷前应用秒级响应;划分了数万个网络社区,并对好坏社区进行分类处理,能够支持客群组合管理、额度管理等方面的正面及负面应用;对存量客户实现了多度关联关系的识别;基于社区的关联关系生成了上百个关键社区变量用于风险规则设置及评分模型优化等等。
⑸ 知识图谱是什么有哪些应用价值
知识图谱 (Knowledge Graph) 是当前的研究热点。自从2012年Google推出自己第一版知识图谱以来,它在学术界和工业界掀起了一股热潮。各大互联网企业在之后的短短一年内纷纷推出了自己的知识图谱产品以作为回应。比如在国内,互联网巨头网络和搜狗分别推出”知心“和”知立方”来改进其搜索质量。那么与这些传统的互联网公司相比,对处于当今风口浪尖上的行业 - 互联网金融, 知识图谱可以有哪方面的应用呢?
目录
1. 什么是知识图谱?
2. 知识图谱的表示
3. 知识图谱的存储
4. 应用
5. 挑战
6. 结语
1. 什么是知识图谱?
知识图谱本质上是语义网络,是一种基于图的数据结构,由节点(Point)和边(Edge)组成。在知识图谱里,每个节点表示现实世界中存在的“实体”,每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲,知识图谱就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。
知识推理
推理能力是人类智能的重要特征,使得我们可以从已有的知识中发现隐含的知识, 一般的推理往往需要一些规则的支持【3】。例如“朋友”的“朋友”,可以推理出“朋友”关系,“父亲”的“父亲”可以推理出“祖父”的关系。再比如张三的朋友很多也是李四的朋友,那我们可以推测张三和李四也很有可能是朋友关系。当然,这里会涉及到概率的问题。当信息量特别多的时候,怎么把这些信息(side information)有效地与推理算法结合在一起才是最关键的。常用的推理算法包括基于逻辑(Logic) 的推理和基于分布式表示方法(Distributed Representation)的推理。随着深度学习在人工智能领域的地位变得越来越重要,基于分布式表示方法的推理也成为目前研究的热点。如果有兴趣可以参考一下这方面目前的工作进展【4,5,6,7】。
大数据、小样本、构建有效的生态闭环是关键
虽然现在能获取的数据量非常庞大,我们仍然面临着小样本问题,也就是样本数量少。假设我们需要搭建一个基于机器学习的反欺诈评分系统,我们首先需要一些欺诈样本。但实际上,我们能拿到的欺诈样本数量不多,即便有几百万个贷款申请,最后被我们标记为欺诈的样本很可能也就几万个而已。这对机器学习的建模提出了更高的挑战。每一个欺诈样本我们都是以很高昂的“代价”得到的。随着时间的推移,我们必然会收集到更多的样本,但样本的增长空间还是有局限的。这有区别于传统的机器学习系统,比如图像识别,不难拿到好几十万甚至几百万的样本。
在这种小样本条件下,构建有效的生态闭环尤其的重要。所谓的生态闭环,指的是构建有效的自反馈系统使其能够实时地反馈给我们的模型,并使得模型不断地自优化从而提升准确率。为了搭建这种自学习系统,我们不仅要完善已有的数据流系统,而且要深入到各个业务线,并对相应的流程进行优化。这也是整个反欺诈环节必要的过程,我们要知道整个过程都充满着博弈。所以我们需要不断地通过反馈信号来调整我们的策略。
6. 结语
知识图谱在学术界和工业界受到越来越多的关注。除了本文中所提到的应用,知识图谱还可以应用在权限管理,人力资源管理等不同的领域。在后续的文章中会详细地讲到这方面的应用。
参考文献
【1】De Abreu, D., Flores, A., Palma, G., Pestana, V., Pinero, J., Queipo, J., ... & Vidal, M. E. (2013). Choosing Between Graph Databases and RDF Engines for Consuming and Mining Linked Data. In COLD.
【2】User Behavior Tutorial
【3】刘知远 知识图谱——机器大脑中的知识库 第二章 知识图谱——机器大脑中的知识库
【4】Nickel, M., Murphy, K., Tresp, V., & Gabrilovich, E. A Review of Relational Machine Learning for Knowledge Graphs.
【5】Socher, R., Chen, D., Manning, C. D., & Ng, A. (2013). Reasoning with neural tensor networks for knowledge base completion. In Advances in Neural Information Processing Systems (pp. 926-934).
【6】Bordes, A., Usunier, N., Garcia-Duran, A., Weston, J., & Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data. In Advances in Neural Information Processing Systems (pp. 2787-2795).
【7】Jenatton, R., Roux, N. L., Bordes, A., & Obozinski, G. R. (2012). A latent factor model for highly multi-relational data. In Advances in Neural Information Processing Systems(pp. 3167-3175).
⑹ 图谱在物流管理系统中的应用
摘要 您好,知识图谱就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力,物流知识图谱通过整合内部外部的大量非结构化数据与公共知识、搭建以企业、人、地、物为主体的大规模语义网络,帮助物流行业企业供应链管理在供应链上下游管理。
⑺ 商业新知知识图谱是什么有什么用途
商业新知开发的知识图谱,是一张由新商业领域下的知识点构成的网络状知识目录,它即是一份知识地图、也是一张思维导图,既能够帮助管理者发现并获取新的知识,也能借由知识图谱的结构帮助管理梳理并结构化知识体系,达到体系化提升自我的目的。
⑻ 知识图谱在公安领域的应用有哪些呢
从上述表格中我们发现,“换汤不换药”,我国公安知识图谱目前正以平台或者解决方案的形式出现,而单一的工具类型已成为平台建设的某一关键环节。随着技术的创新和发展,公安知识图谱平台将更好的赋能智慧公安乃至社会公共安全建设。
公安知识图谱技术的出现,很好的打破了公安行业的数据孤岛难题,并在将数据进行连接之后,挖掘出数据背后更多有价值的信息,科技挖掘公安数据背后的故事。当下,基于知识图谱技术为基础的各类公安平台已经出现,并逐步进入了落地应用阶段。
多维数据融合、数据中台已经成为各行业的发展趋势之一,公安行业也不例外。而不管是多维数据融合还是数据中台,对数据对极高的要,公安知识图谱作为多维数据融合和数据中台最核心的技术,通过“图”的方式,可整理多源异构数据之间的关系,并且加快中台数据的响应速度。
目前公安部门将 “知识图谱技术” 纳入公安机关发展规划,已开始尝试引入 “知识图谱” 解决业务系统预测预警的问题。