go语言处理TCP拆包/粘包的具体实现
part 1
最近在学习go自带的rpc,看完了一遍想着自己实现一个codec,也就是自定义消息的序列化和反序列化。消息的序列化和反序列化涉及到两步:
1、从网络中读取数据和将数据写到网络中;
2、根据拿到的二进制数据反序列化以及把现有的对象序列化成二进制数据。而这个过程中就需要处理TCP的拆包粘包了。
TCP的拆包/粘包也算是网络编程中一个比较基础的问题了,具体的问题含义和解决方式也不再详细描述了。虽然作为实现应用层逻辑的程序员可能根本不需要关心这个,作为中间件的开发,同时也出于学习go语言的目的,还是稍微进行一下练习。
part 2
TCP拆包粘包的解决思路:在读取数据时,将读取到的二进制数据在正确的位置进行分割即可。这里直接使用head+body的方式,也就是在发送数据时先将整个数据的大小附加在数据前,就像这样:
+++++++++++++++++++++++++++++++++++++
size (2 bytes) | body (size bytes)
+++++++++++++++++++++++++++++++++++++
这里将数据包的size作为head
注:这里举的例子里,size占2个byte;size具体占用的byte数可以根据实际情况决定
part 3
server具体实现:
func doConn(conn net.Conn) { var ( buffer = bytes.NewBuffer(make([]byte, 0, BUF_SIZE)) //buffer用来缓存读取到的数据 readBytes = make([]byte, BUF_SIZE) //readBytes用来接收每次读取的数据,每次读取完成之后将readBytes添加到buffer中 isHead = true //用来标识当前的状态:正在处理size部分还是body部分 bodyLen = 0 //表示body的长度 ) for { //首先读取数据 readByteNum, err := conn.Read(readBytes) if err != nil { log.Fatal(err) return } buffer.Write(readBytes[0:readByteNum])//将读取到的数据放到buffer中 // 然后处理数据 for { if isHead { if buffer.Len() >= HEAD_SIZE { isHead = false head := make([]byte, HEAD_SIZE) _, err = buffer.Read(head) if err != nil { log.Fatal(err) return } bodyLen = int(binary.BigEndian.Uint16(head)) } else { break; } } if !isHead { if buffer.Len() >= bodyLen { body := make([]byte, bodyLen) _, err = buffer.Read(body[:bodyLen]) if err != nil { log.Fatal(err) return } fmt.Println("received body: " + string(body[:bodyLen])) isHead = true } else { break; } } } } func HandleTcp() { listener, err := net.Listen("tcp", ":1234") if err != nil { log.Fatal(err) return } log.Println("start listening on 1234") for { conn, err := listener.Accept() if err != nil { log.Fatal(err) return } go doConn(conn) } }
client具体实现:
func SendStringwithTcp(arg string) error { conn, err := net.Dial("tcp", ":1234") if err != nil { log.Fatal(err) return err } head := make([]byte, server.HEAD_SIZE) content := []byte(arg) headSize := len(content) binary.BigEndian.PutUint16(head, uint16(headSize)) //先写入head部分,再写入body部分 _, err = conn.Write(head) if err != nil { log.Fatal(err) return err } _, err = conn.Write(content) if err != nil { log.Fatal(err) return err } return nil }
到此这篇关于go语言处理TCP拆包/粘包的文章就介绍到这了,更多相关go语言 TCP拆包/粘包内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞!
原文出处:https://juejin.cn/post/6844903778219458567
相关文章
- 这篇文章主要介绍了Go语言压缩和解压缩tar.gz文件的方法,实例分析了使用Go语言压缩文件与解压文件的技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-05-03
- 这篇文章主要介绍了Springboot+TCP监听服务器搭建过程,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2020-10-28
- 本篇文章主要介绍了C# Socket的TCP通讯,socket通讯方式有两种:同步和异步,详细的介绍了这两种方法,有兴趣的可以了解一下。...2020-06-25
- 这篇文章主要介绍了C#基于TCP协议的服务器端和客户端通信编程的基础教程,文中讲解了C#中TCP编程主要相关的TcpListener类与TcpClient类用法,需要的朋友可以参考下...2020-06-25
- 这篇文章主要介绍了go语言使用RC4加密的方法,实例分析了RC4加密的技巧与实现方法,具有一定参考借鉴价值,需要的朋友可以参考下...2020-05-07
- 这篇文章主要介绍了Go语言图片处理和生成缩略图的方法,涉及Go语言针对图片操作的技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-05-03
- 这篇文章主要介绍了创建第一个Go语言程序Hello,Go!本文详细的给出项目创建、代码编写的过程,同时讲解了GOPATH、Go install等内容,需要的朋友可以参考下...2020-05-01
- 这篇文章主要介绍了Go语言创建、初始化数组的常见方式,实例汇总了Go语言操作数组的常见技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-05-01
- 这篇文章主要介绍了go语言实现文件分割的方法,实例分析了Go语言操作文件的技巧,需要的朋友可以参考下...2020-05-05
- 这篇文章主要介绍了Go语言通过http抓取网页的方法,实例分析了Go语言通过http操作页面的技巧,需要的朋友可以参考下...2020-05-05
- 这篇文章主要介绍了go语言简单的处理http请求的函数,实例分析了Go语言处理http请求的技巧,需要的朋友可以参考下...2020-05-07
- 这篇文章主要介绍了Go语言实现socket的方法,实例分析了socket客户端与服务器端的实现技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-05-03
- 这篇文章主要介绍了Go语言里的new函数用法,实例分析了new函数的功能及使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-05-03
- 这篇文章主要介绍了使用C#实现基于TCP和UDP协议的网络通信程序的示例,文中分别编写了基本的服务器端和客户端,代码十分简单,需要的朋友可以参考下...2020-06-25
- 这篇文章主要介绍了Go语言实现简单留言板的方法,涉及数据库、模板页面元素等留言板相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-05-03
- 这篇文章主要为大家介绍了Go语言的网络编程,其中包含了Socket编程,Http编程以及RPC编程,本篇文章是Go语言七篇入门系列文章,有需要的朋友可以借鉴下...2021-11-10
- 这篇文章主要介绍了Go语言扫描目录并获取相关信息的方法,实例分析了Go语言操作目录及文件的技巧,需要的朋友可以参考下...2020-05-05
- 这篇文章主要介绍了Go语言操作mysql数据库简单例子,本文包含插入数据和查询代码实例,需要的朋友可以参考下...2020-05-01
- 这篇文章主要介绍了Go语言计算指定年月天数的方法,实例分析了Go语言操作时间的技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-05-05
- windows 2003 连接限制TCP连接限制。目前我们有一台windows 2003 SP2的操作系统,提供web服务,还有一个自主开发的提供音频直播的服务...2016-01-27