Go Slice底层原理与不安全指针 | 有趣的技术实践分享

Created time

Sep 30, 2022 04:02 PM

date

status

介绍一下Go Slice底层原理

Go中的Slice是一种动态数组数据结构，它的底层原理是一个结构体，包含一个指向底层数组的指针、slice的长度和容量信息。当我们对slice进行切片操作时，实际上是修改了slice结构体中的指针、长度和容量信息，使得slice只指向底层数组的一部分。

当我们对slice进行追加操作时，如果底层数组的容量不够，就会重新分配一个更大的底层数组，并将原来的元素复制到新的数组中。这就意味着，对slice的追加操作可能会导致底层数组的重新分配和复制，因此，尽量在使用slice时预估好其长度和容量，以避免频繁的重新分配和复制操作，提高程序的性能。

需要注意的是，虽然slice和底层数组是两个不同的对象，但它们之间是共享内存的，也就是说，对slice的修改会直接反映在底层数组中。因此，在使用slice时，需要注意可能会影响到底层数组的其他部分，特别是在多个goroutine并发访问同一个slice时，需要采取合适的同步措施，以避免数据竞争问题。

Go中的Slice底层实现是一个结构体，其中包含一个指向底层数组的指针、slice的长度和容量信息。这个结构体在Go的运行时中定义为slice类型，具体定义如下：

其中，unsafe.Pointer是一个指向任意类型的指针，可以进行不安全的类型转换，因此在Slice底层实现中使用它来指向底层数组的指针。len表示Slice的当前长度，cap表示Slice的容量，底层数组的长度等于Slice的容量。

在Go中，Slice是一个引用类型，可以像普通的变量一样进行赋值和传递，但它的底层数据结构是一个结构体，这也是Slice可以高效地进行动态扩容的原因。

当我们创建一个新的slice时，底层会为该slice分配一个结构体，结构体中包含一个指向底层数组的指针、slice的长度和容量信息，如下图所示：

其中，ptr指向底层数组的起始地址，len表示slice的长度，cap表示slice的容量，即底层数组的长度。在这个结构体中，ptr、len和cap都是slice的属性，称为slice的头部（header）。

当我们对slice进行切片时，slice的头部会发生变化，如下图所示：

在这个图中，我们将原始的slice切片成了一个新的slice，ptr仍然指向底层数组的起始地址，len变为了新的slice的长度，cap仍然表示底层数组的长度。可以看出，这种切片操作只改变了slice的头部，而没有创建新的底层数组。

当我们向slice中添加元素时，如果slice的长度等于容量，就需要对底层数组进行扩容，如下图所示：

在这个图中，当我们向slice中添加一个新元素时，发现slice的长度已经等于容量，就需要对底层数组进行扩容。此时，Go会重新分配一个更大的底层数组，并将原来的元素复制到新的数组中，然后将新的数组的起始地址赋给slice的头部中的ptr属性，将新的容量赋给cap属性，将新的长度赋给len属性。需要注意的是，slice的头部是在堆上分配的，而底层数组是在栈上分配的，因此，当slice的长度超过容量时，需要将slice的头部指向一个新的底层数组，而

unsafe.Pointer

在Go中，unsafe.Pointer是一个指向任意类型的指针，可以进行不安全的类型转换，因为它不关心指向的数据类型，只是一个指针类型的占位符。

使用unsafe.Pointer可以在程序中绕过Go的类型系统，直接对内存进行操作，这也就是为什么它被称为“不安全”的原因。虽然在一些特殊的场景下，使用unsafe.Pointer可以方便地进行底层操作，但是需要非常小心，因为不当使用可能会导致严重的运行时错误。

需要注意的是，使用unsafe.Pointer进行指针操作时，必须保证指针指向的内存区域是有效的，并且不能将指针转换为与其类型不匹配的指针类型。如果不确定如何使用unsafe.Pointer，最好避免使用它，以确保程序的正确性和健壮性。

当使用不安全指针时，需要特别小心。下面是一个简单的示例代码，使用了unsafe.Pointer进行类型转换和指针运算：

在这个例子中，我们定义了一个int类型的变量i和一个float64类型的变量f。然后，我们将i的地址转换为unsafe.Pointer类型的指针，并根据float64类型的大小计算出f的地址，将其转换为*float64类型的指针。最后，我们修改了f指向的内存中的值，将其赋为3.1415926。这个操作实际上是修改了i所占用的内存中的一部分，因为i和f在内存中是连续存储的。

需要注意的是，这段代码是有风险的，因为它通过不安全的指针操作修改了内存中的数据，可能会破坏程序的正确性。因此，使用unsafe.Pointer时必须非常小心，并且只在确保安全的情况下使用。

使用slice的时候需要关注不安全指针的问题吗？

在正常情况下，使用slice时不需要直接关注不安全指针的问题。因为slice本身提供了很好的抽象和封装，隐藏了指针和内存地址等底层细节。

在Go语言中，slice底层的实现使用了指向底层数组的指针和slice的长度和容量信息。但是，由于slice对这些底层细节进行了封装和管理，因此在正常情况下，我们不需要直接操作指针或者内存地址，而只需要使用slice提供的API对数据进行操作就可以了。

然而，如果你需要对底层内存进行一些非常底层的操作，例如实现高性能的算法或者处理大规模的数据集，可能需要涉及到一些不安全指针操作。但是，在这种情况下，需要非常小心，避免出现内存泄漏或者越界访问等问题，确保程序的正确性和健壮性。因此，使用不安全指针时必须谨慎，只在确保安全的情况下使用。

unsafe.Pointer类型长什么样

unsafe.Pointer是Go语言中的一种特殊类型，它可以被用于在指针之间进行类型转换，或者执行底层的内存操作。在Go语言中，unsafe.Pointer类型实际上是一个指向任意类型的指针。

因为unsafe.Pointer是一个指针类型，所以在使用它时需要特别小心。可以将unsafe.Pointer类型的值看作一个裸指针，它不包含任何类型信息，也不会受到编译器类型检查的限制。因此，在使用unsafe.Pointer时需要非常小心，确保不会出现内存泄漏、越界访问或者类型错误等问题。

在Go语言中，unsafe.Pointer类型的值通常使用uintptr类型进行中转，因为uintptr类型可以安全地存储指针的地址信息，而不会受到类型检查的限制。因此，如果需要对unsafe.Pointer类型的值进行指针运算或者计算地址偏移量等操作，通常需要先将其转换为uintptr类型的值，然后再进行计算，最后再将其转换回unsafe.Pointer类型的指针。

在 Go 语言中，unsafe.Pointer 是一个特殊的指针类型，它可以被用于在指针之间进行类型转换，或者执行底层的内存操作。unsafe.Pointer 的定义如下：

可以看到，unsafe.Pointer 的定义是一个指向任意类型的指针类型。这意味着，我们可以使用 unsafe.Pointer 类型来存储任何类型的指针，或者将其转换为任何类型的指针。

需要注意的是，使用 unsafe.Pointer 进行指针操作是非常危险的，因为它不受到 Go 语言类型系统和内存管理机制的保护。如果使用不当，可能会引起内存泄漏、越界访问、类型错误等严重问题。因此，一般情况下，我们应该尽可能避免使用 unsafe.Pointer，除非有必要进行底层的内存操作或者进行某些特殊的类型转换。

在 Go 语言的源代码中，unsafe.Pointer 的定义如下：

可以看到，unsafe.Pointer 是一个指针类型，其底层类型是 *ArbitraryType。这个 ArbitraryType 实际上是一个空结构体，没有任何字段，定义如下：

因此，我们可以将 unsafe.Pointer 看作是一个指向任意类型的指针类型。使用 unsafe.Pointer 进行指针操作时需要非常小心，因为它可以绕过 Go 语言的类型系统和内存管理机制，可能会引起内存泄漏、越界访问、类型错误等严重问题。在使用 unsafe.Pointer 时，必须十分小心并严格遵守 Go 语言的内存管理规则。