A. 计算机网络发展史及关键技术
网络技术是从1990年代中期发展起来的新技术,它把互联网上分散的资源融为有机整体,实现资源的全面共享和有机协作,使人们能够透明地使用资源的整体能力并按需获取信息。资源包括高性能计算机、存储资源、数据资源、信息资源、知识资源、专家资源、大型数据库、网络、传感器等。
当前的互联网只限于信息共享,网络则被认为是互联网发展的第三阶段。网络可以构造地区性的网络、企事业内部网络、局域网网络,甚至家庭网络和个人网络。网络的根本特征并不一定是它的规模,而是资源共享,消除资源孤岛。
网络技术具有很大的应用潜力,能同时调动数百万台计算机完成某一个计算任务,能汇集数千科学家之力共同完成同一项科学试验,还可以让分布在各地的人们在虚拟环境中实现面对面交流。
网络技术的发展历程
网络研究起源于过去十年美国政府资助的高性能计算科研项目。这项研究的目标是将跨地域的多台高性能计算机、大型数据库、大型的科研设备、通信设备、可视化设备和各种传感器等整合成一个巨大的超级计算机系统,以支持科学计算和科学研究。
微软公司把开发力量集中在数据网络上,关注使用网络共享信息,而不是网络的计算能力,这反映了学术和研究领域内的分歧。事实上,很多用于学术领域的网络技术都能够成为商业应用。
Globus是美国阿贡(Argonne)国家实验室的网络技术研发项目,全美12所大学和研究机构参与了该项目。Globus对资源管理、安全、信息服务及数据管理等网络计算的关键理论进行研究,开发能在各种平台上运行的网络计算工具软件,帮助规划和组建大型的网络试验平台,开发适合大型网络系统运行的大型应用程序。目前,Globus技术已在美国航天局网络、欧洲数据网络、美国国家技术网络等8个项目中得到应用。2005年8月,美国国际商用机器公司(IBM)宣布投入数十亿美元研发网络计算,与Globus合作开发开放的网络计算标准,并宣称网络的价值不仅仅限于科学计算,商业应用也有很好的前景。网络计算和Globus从开始幕后走到前台,受到前所未有的关注。
中国非常重视发展网络技术,由863计划“高性能计算机及其核心软件”重大专项支持建设的中国国家网络项目在高性能计算机、网络软件、网络环境和应用等方面取得了创新性成果。具有18万亿次聚合计算能力、支持网络研究和网络应用的网络试验床——中国国家网络,已于2005年12月21日正式开通运行。这意味着通过网络技术,中国已能有效整合全国范围内大型计算机的计算资源,形成一个强大的计算平台,帮助科研单位和科技工作者等实现计算资源共享、数据共享和协同合作。
网络的关键技术
网络的关键技术有网络结点、宽带网络系统、资源管理和任务调度工具、应用层的可视化工具。网络结点是网络计算资源的提供者,包括高端服务器、集群系统、MPP系统大型存储设备、数据库等。宽带网络系统是在网络计算环境中,提供高性能通信的必要手段。资源管理和任务调度工具用来解决资源的描述、组织和管理等关键问题。任务调度工具根据当前系统的负载情况,对系统内的任务进行动态调度,提高系统的运行效率。网络计算主要是科学计算,它往往伴随着海量数据。如果把计算结果转换成直观的图形信息,就能帮助研究人员摆脱理解数据的困难。这需要开发能在网络计算中传输和读取,并提供友好用户界面的可视化工具。
网络技术的研究现状
网络计算通常着眼于大型应用项目,按照Globus技术,大型应用项目应由许多组织协同完成,它们形成一个“虚拟组织”,各组织拥有的计算资源在虚拟组织里共享,协同完成项目。对于共享而言,有价值的不是设备本身而是实体的接口或界面。
从技术角度看,共享是资源或实体间的互操作。Globus技术设定,网络环境下的互操作意味着需要开发一套通用协议,用于描述消息的格式和消息交换的规则。在协议之上则需要开发一系列服务,这与建立在TCP/IP(传输控制协议/网际协议)上的万维网服务原理相同。在服务中先定义应用编程接口,基于这些接口再构建软件开发工具。
Globus网络计算协议建立在网际协议之上,以网际协议中的通信、路由、名字解析等功能为基础。Globus协议分为构造层、连接层、资源层、汇集层和应用层五层。每层都有各自的服务、应用编程接口和软件开发工具、上层协议调用下层协议的服务。网络内的全局应用都需通过协议提供的服务调用操作系统。
构造层功能是向上提供网络中可供共享的资源,是物理或逻辑实体。常用的共享资源包括处理能力、存储系统、目录、网络资源、分布式文件系统、分布式计算机池、计算机集群等。连接层是网络中网络事务处理通信与授权控制的核心协议。构造层提交的各资源间的数据交换都在这一层控制下实现的。各资源间的授权验证、安全控制也在此实现。资源层的作用是对单个资源实施控制,与可用资源进行安全握手、对资源做初始化、监测资源运行状况、统计与付费有关的资源使用数据。汇集层的作用是将资源层提交的受控资源汇集在一起,供虚拟组织的应用程序共享、调用。为了对来自应用的共享进行管理和控制,汇集层提供目录服务、资源分配、日程安排、资源代理、资源监测诊断、网络启动、负荷控制、账户管理等多种功能。应用层是网络上用户的应用程序,它先通过各层的应用编程接口调用相应的服务,再通过服务调用网络上的资源来完成任务。应用程序的开发涉及大量库函数。为便于网络应用程序的开发,需要构建支持网络计算的库函数。
目前,Globus体系结构已为一些大型网络所采用。研究人员已经在天气预报、高能物理实验、航空器研究等领域开发了一些基于Globus网络计算的应用程序。虽然这些应用仍属试验性质,但它证明了网络计算可以完成不少超级计算机难以胜任的大型应用任务。可以预见,网络技术将很快掀起下一波互联网浪潮。面对即将到来的第三代互联网应用,很多发达国家都投入了大量研究资金,希望能抓住机遇,掌握未来的命运。
中国也加强了网络方面的投入。中科院计算所为自己的网络起名为“织女星网络”(Vega Grid),目标是具有大规模数据处理、高性能计算、资源共享和提高资源利用率的能力。与国内外其他网络研究项目相比,织女星网络的最大特点是“服务网络”。中国许多行业,如能源、交通、气象、水利、农林、教育、环保等对高性能计算网络即信息网络的需求非常巨大。预计在最近两三年内,就能看到更多的网络技术应用实例。
网络技术的应用领域
网络技术的应用领域很广,主要有以下几方面。
分布式超级计算 分布式超级计算将分布在不同地点的超级计算机用高速网络连接起来,并用网络中间件软件“粘合”起来,形成比单台超级计算机强大得多的计算平台。
分布式仪器系统 分布式仪器系统使用网络管理分布在各地的贵重仪器系统,提供远程访问仪器设备的手段,提高仪器的利用率,方便用户的使用。
数据密集型计算 并行计算技术往往是由一些计算密集型应用推动的,特别是一些带有巨大挑战性质的应用,大大促进了对高性能并行体系结构、编程环境、大规模可视化等领域的研究。数据密集型计算的应用比计算密集型的应用多得多,它对应的数据网络更侧重于数据的存储、传输和处理,计算网络则更侧重于计算能力的提高。在这个领域独占鳌头的项目是欧洲核子中心开展的数据网络(DataGrid)项目,其目标是处理2005年建成的大型强子对撞机源源不断产生的PB/s量级实验数据。
远程沉浸 这是一种特殊的网络化虚拟现实环境。它是对现实或历史的逼真反映,对高性能计算结果或数据库可视化。“沉浸”是指人可以完全融入其中:各地的参与者通过网络聚集在同一个虚拟空间里,既可以随意漫游,又可以相互沟通,还可以与虚拟环境交互,使之发生改变。目前,已经开发出几十个远程沉浸应用,包括虚拟历史博物馆、协同学习环境等。远程沉浸可以广泛应用于交互式科学可视化、教育、训练、艺术、娱乐、工业设计、信息可视化等许多领域。
信息集成 网络最初是以集成异构计算平台的身份出现,接着进入分布式海量数据处理领域。信息网络通过统一的信息交换架构和大量的中间件,向用户提供“信息随手可得”式的服务。网络信息集成将更多应用在商业上,分布在世界各地的应用程序和各种信息通过网络能进行无缝融合和沟通,从而形成崭新的商业机会。
信息集成如信息网络、服务网络、知识网络等,是近几年网络流行起来的应用方向。2002年,Globus联盟和IBM在全球网络论坛上发布了开放性网络服务架构及其详细规范,把Globus标准与支持商用的万维网服务标准结合起来。2004年,Globus联盟、IBM和惠普(HP)等又联合发布了新的网络标准草案,把开放性网络服务架构详细规范I转换成6个用于扩展万维网服务的规范,网络服务已与万维网服务彻底融为一体,标志着网络商用化时代的来临。
网络技术的发展,标准是关键。就像TCP/IP协议是因特网的核心一样,构建网络计算也需要对核心——标准协议和服务进行定义。目前,一些标准化团体正在积极行动。迄今为止,网络计算虽还没有正式的标准,但在核心技术上,相关机构与企业已达成一致,由美国阿贡国家实验室与南加州大学信息科学学院合作开发的Globus 计算工具软件已成为网络计算实际的标准,已有12家着名计算机和软件厂商宣布将采用Globus 计算工具软件。作为一种开放架构和开放标准基础设施,Globus 计算工具软件提供了构建网络应用所需的很多基本服务,如安全、资源发现、资源管理、数据访问等。目前所有重大的网络项目都是基于Globus 计算工具软件提供的协议与服务的。
除了标准以外,安全和可管理性、人才的缺乏也是网络计算亟待解决的一个问题,否则它将无法成为企业的商业架构。在真正实现商业应用之前,还需要解决许多问题。即便如此,构建全球网络的前景仍是无法抗拒的。
B. 20世纪70年代什么的出现是计算机网络发展的里程碑,其核心技术是什么
70年代出现了交换机,核心技术是自动分配
C. 计算机网络基础知识(一)
参考:计算机网络 谢希仁 第7版
一、现在最主要的三种网络
电信网络(电话网)
有线电视网络
计算机网络 (发展最快,信息时代的核心技术)
二、internet 和 Internet
internet 是普通名词
泛指一般的互连网(互联网)
Internet 是专有名词,标准翻译是“因特网” 世界范围的互连网(互联网)
使用 TCP/IP 协议族
前身是美国的阿帕网 ARPANET
三、计算机网络的带宽
计算机网络的带宽是指网络可通过的最高数据率,即每秒多少比特。 描述带宽也常常把“比特/秒”省略。
例如,带宽是 10 M,实际上是 10 Mb/s。注意:这里的 M 是 106。
四、对宽带传输的错误概念
在网络中有两种不同的速率:
信号(即电磁波)在传输媒体上的传播速率(米/秒,或公里/秒)
计算机向网络发送比特的速率(比特/秒),也叫传输速率。 这两种速率的意义和单位完全不同。
宽带传输:计算机向网络发送比特的速率较高。 宽带线路:每秒有更多比特从计算机注入到线路。 宽带线路和窄带线路上比特的传播速率是一样的。
早期的计算机网络采用电路交换,新型的计算机网络采用分组交换的、基于存储转发的方式。 分组交换:
在发送端把要发送的报文分隔为较短的数据块
每个块增加带有控制信息的首部构成分组(包)
依次把各分组发送到接收端
接收端剥去首部,抽出数据部分,还原成报文
IP 网络的重要特点
每一个分组独立选择路由。
发往同一个目的地的分组,后发送的有可能先收到(即可能不按顺序接收)。 当网络中的通信量过大时,路由器就来不及处理分组,于是要丢弃一些分组。 因此, IP 网络不保证分组的可靠地交付。
IP 网络提供的服务被称为:
尽最大努力服务(best effort service) 五、最重要的两个协议:IP 和 TCP
TCP 协议保证了应用程序之间的可靠通信,IP 协议控制分组在因特网的传输,但因特网不保证可靠交付.
在 TCP/IP 的应用层协议使用的是客户服务器方式。
客户(client)和服务器(server)都是指通信中所涉及的两个应用进程。
客户服务器方式所描述的是进程之间服务和被服务的关系。
当 A 进程需要 B 进程的服务时就主动呼叫 B 进程,在这种情况下,A 是客户而 B 是服务器。
可能在下一次通信中,B 需要 A 的服务,此时,B 是客户而 A 是服务器。
注意:
使用计算机的人是“用户”(user)而不是“客户”(client)。
客户和服务器都指的是进程,即计算机软件。
由于运行服务器进程的机器往往有许多特殊的要求,因此人们经常将主要运行服务器进程的
机器(硬件)不严格地称为服务器。
例如,“这台机器是服务器。” 意思是:“这台机器(硬件)主要是用来运行服务器进程(软件)。” 因此,服务器(server)一词有时指的是软件,但也有时指的是硬件。
六、总结
因特网(Internet)是世界范围的、互连起来的计算机网络,它使用 TCP/IP 协议族,并且它的前身是美 国阿帕网 ARPANET。
计算机网络的带宽是网络可通过的最高数据率。
因特网使用基于存储转发的分组交换,并使用 IP 协议传送 IP 分组。
路由器把许多网络互连起来,构成了互连网。路由器收到分组后,根据路由表查找出下一跳路由器的
地址,然后转发分组。
路由器根据与其他路由器交换的路由信息构造出自己的路由表。
IP 网络提供尽最大努力服务,不保证可靠交付。
TCP 协议保证计算机程序之间的、端到端的可靠交付。
在 TCP/IP 的应用层协议使用的是客户服务器方式。
客户和服务器都是进程(即软件)。客户是服务请求方,服务器是服务提供方。
服务器有时也指“运行服务器软件”的机器。
一、IP 网络是虚拟网络
IP 网络是虚拟的。在 IP 网络上传送的是 IP 数据报(IP 分组)。
实际上在网络链路上传送的是“帧”,使用的是帧的硬件地址(MAC 地址)。
地址解析协议 ARP 用来把 IP 地址(虚拟地址)转换为硬件地址(物理地址)。
二、IP 地址的表示方法
IP 地址的表示方法有两种:二进制和点分十进制。
IP 地址是 32 位二进制数字,为方便阅读和从键盘上输入,可把每 8 位二进制数字转换成一个十进制数字,并 用小数点隔开,这就是点分十进制。
三、因特网的域名
因特网的域名分为: 顶级域名 二级域名 三级域名
四级域名
四、域名服务器 DNS (Domain Name Server)
因特网中设有很多的域名服务器 DNS,用来把域名转换为 IP 地址。
五、电子邮件
发送邮件使用的协议——简单邮件传送协议 SMTP (Simple Mail Transfer Protocol) 接收邮件使用的协议——邮局协议版本 3 POP3 (Post Office Protocol version 3) 注:邮件的传送仍然要使用 IP 和 TCP 协议
六、统一资源定位符 URL (Uniform Resource Locator)
URL 用来标识万维网上的各种文档。
因特网上的每一个文档,在整个因特网的范围内具有惟一的标识符 URL。 URL 实际上就是文档在因特网中的地址。
七、超文本传送协议 HTTP (HyperText Transfer Protocol) 万维网客户程序与服务器程序之间的交互遵守超文本传送协议 HTTP。
八、结束语
IP 地址是 32 位二进制数字。为便于阅读和键入,也常使用点分十进制记法。 个人用户上网可向本地 ISP 租用临时的 IP 地址。
域名服务器 DNS 把计算机域名转换为计算机使用的 32 位二进制 IP 地址。 发送电子邮件使用 SMTP 协议,接收电子邮件使用 POP3 协议。
统一资源定位符 URL 惟一地确定了万维网上文档的地址。
超文本传送协议 HTTP 用于万维网浏览器程序和服务器程序的信息交互。
超文本标记语言 HTML 使万维网文档有了统一的格式。
IP 电话不使用 TCP 协议。利用 IP 电话网关使得在普通电话之间可以打 IP 电话。
一、因特网服务提供者 ISP (Internet Service Provider) 根据提供服务的覆盖面积大小以及所拥有的 IP 地址数目的不同,ISP 也分成为不同的层次。
二、两种通信方式
在网络边缘的端系统中运行的程序之间的通信方式通常可划分为两大类:C/S 方式 和 P2P 方式
(Peer-to-Peer,对等方式)。
三、因特网的核心部分
网络核心部分是因特网中最复杂的部分。
网络中的核心部分要向网络边缘中的大量主机提供连通性,使边缘部分中的任何一个主机都能够向其 他主机通信(即传送或接收各种形式的数据)。
因特网的核心部分是由许多网络和把它们互连起来的路由器组成,而主机处在因特网的边缘部分。
在因特网核心部分的路由器之间一般都用高速链路相连接,而在网络边缘的主机接入到核心部分则通 常以相对较低速率的链路相连接。
主机的用途是为用户进行信息处理的,并且可以和其他主机通过网络交换信息。路由器的用途则是用 来转发分组的,即进行分组交换的。
在网络核心部分起特殊作用的是路由器(router)。
路由器是实现分组交换(packet switching)的关键构件,其任务是转发收到的分组,这是网络核心部分
最重要的功能。
四、电路交换
电路交换必定是面向连接的。 电路交换的三个阶段:建立连接、通信、释放连接。
五、网络的分类
不同作用范围的网络
广域网 WAN (Wide Area Network)
局域网 LAN (Local Area Network)
城域网 MAN (Metropolitan Area Network)
个人区域网 PAN (Personal Area Network)
从网络的使用者进行分类
公用网 (public network)
专用网 (private network)
用来把用户接入到因特网的网络
接入网 AN (Access Network),它又称为本地接入网或居民接入网。
注:由 ISP 提供的接入网只是起到让用户能够与因特网连接的“桥梁”作用。
六、计算机网络的性能指标
速率
带宽
吞吐量
时延(delay 或 latency)
传输时延(发送时延) —— 从发送数据帧的第一个比特算起,到该帧的最后一个比特发送完 毕所需的时间。
传播时延 —— 电磁波在信道中需要传播一定的距离而花费的时间。 注:信号传输速率(即发送速率)和信号在信道上的传播速率是完全不同的概念。
处理时延 —— 交换结点为存储转发而进行一些必要的处理所花费的时间。
排队时延 —— 结点缓存队列中分组排队所经历的时延。 总时延 = 发送时延+传播时延+处理时延+处理时延
时延带宽积
利用率 —— 分为信道利用率和网络利用率。
信道利用率——某信道有百分之几的时间是被利用的(有数据通过)。 网络利用率——全网络的信道利用率的加权平均值。 注:信道利用率并非越高越好。
七、网络协议(network protocol) 简称为协议,是为进行网络中的数据交换而建立的规则、标准或约定。其组成要素有以下三点:
语法 语义 同步
数据与控制信息的结构或格式 。
需要发出何种控制信息,完成何种动作以及做出何种响应。 事件实现顺序的详细说明。
八、实体、协议、服务和服务访问点
实体(entity)——表示任何可发送或接收信息的硬件或软件进程。 协议——是控制两个对等实体进行通信的规则的集合。
在协议的控制下,两个对等实体间的通信使得本层能够向上一层提供服务。 要实现本层协议,还需要使用下层所提供的服务。
本层的服务用户只能看见服务而无法看见下面的协议。
下面的协议对上面的服务用户是透明的。
协议是“水平的”,即协议是控制对等实体之间通信的规则。
服务是“垂直的”,即服务是由下层向上层通过层间接口提供的。 同一系统相邻两层的实体进行交互的地方,称为服务访问点 SAP (Service Access Point)。
九、TCP/IP 的体系结构
路由器在转发分组时最高只用到网络层,而没有使用运输层和应用层。