Merge pull request #571 from devlights/add-zero-memory-copy-example

Author: devlights

examples/advanced/examples.go

@@ -10,6 +10,7 @@ import (
 	"github.com/devlights/try-golang/examples/advanced/imaging"
 	"github.com/devlights/try-golang/examples/advanced/reflection"
 	"github.com/devlights/try-golang/examples/advanced/structtag"
+	"github.com/devlights/try-golang/examples/advanced/zeromemorycopy"
 	"github.com/devlights/try-golang/mapping"
 )
 
@@ -34,4 +35,5 @@ func (r *register) Regist(m mapping.ExampleMapping) {
 	imaging.NewRegister().Regist(m)
 	reflection.NewRegister().Regist(m)
 	structtag.NewRegister().Regist(m)
+	zeromemorycopy.NewRegister().Regist(m)
 }

examples/advanced/zeromemorycopy/byteslice2string.go

@@ -0,0 +1,67 @@
+package zeromemorycopy
+
+import (
+	"bytes"
+	"fmt"
+	"io"
+	"strconv"
+	"time"
+	"unsafe"
+
+	"github.com/devlights/gomy/times"
+)
+
+// ByteSliceToString -- バイトスライスから文字列へメモリコピー無しに変換するサンプルです。
+//
+// REFERENCES
+//   - https://github.com/devlights/gomy/blob/master/zeromemcpy/b2s.go
+//   - https://cs.opensource.google/go/go/+/refs/tags/go1.18.4:src/strings/builder.go;l=47
+func ByteSliceToString() error {
+	//
+	// []byte から string へメモリコピー無しに変換するには unsafe パッケージを使う必要がある。
+	// unsafeパッケージは文字通り unsafe な操作を行うパッケージなので、通常時には利用するべきではない。
+	// パフォーマンスが極端に求められている場合で、且つ、メモリコピーの部分がボトルネックな場合にのみ利用するべき。
+	// (通常、このような部分よりも他の部分がボトルネックになっているはず)
+	//
+	// Goは、基本的にこのようなトリッキーなことをしなくても充分速い。
+	//
+
+	// -------------------------------------
+	// 大きなサイズのバッファを作る
+	// -------------------------------------
+
+	buf := new(bytes.Buffer)
+	for i := 0; i < 30_000_000; i++ {
+		buf.WriteString(strconv.Itoa(i))
+	}
+
+	b := buf.Bytes()
+	fmt.Printf("[length] %vbytes, %vmb\n", len(b), len(b)/1024/1024)
+
+	// -------------------------------------
+	// 普通に変換
+	// -------------------------------------
+	elapsed := times.Stopwatch(func(start time.Time) {
+		io.WriteString(io.Discard, string(b))
+	})
+	fmt.Printf("[normal] %v\n", elapsed)
+
+	// -------------------------------------
+	// メモリコピー無しで変換
+	// -------------------------------------
+	elapsed = times.Stopwatch(func(start time.Time) {
+		io.WriteString(io.Discard, *(*string)(unsafe.Pointer(&b)))
+
+		/* 上を細かく区切ると以下のようになる
+		var (
+			ptrByte = unsafe.Pointer(&b)
+			ptrStr  = (*string)(ptrByte)
+			str     = *ptrStr
+		)
+		io.WriteString(io.Discard, str)
+		*/
+	})
+	fmt.Printf("[zeromemcpy] %v\n", elapsed)
+
+	return nil
+}

examples/advanced/zeromemorycopy/examples.go

@@ -0,0 +1,19 @@
+package zeromemorycopy
+
+import "github.com/devlights/try-golang/mapping"
+
+type (
+	register struct{}
+)
+
+// NewRegister -- このパッケージ用のサンプルを登録する mapping.Register を生成します。
+func NewRegister() mapping.Register {
+	r := new(register)
+	return r
+}
+
+// Regist -- 登録します.
+func (r *register) Regist(m mapping.ExampleMapping) {
+	m["zeromemorycopy_string_to_byteslice"] = StringToByteSlice
+	m["zeromemorycopy_byteslice_to_string"] = ByteSliceToString
+}

examples/advanced/zeromemorycopy/string2byteslice.go

@@ -0,0 +1,70 @@
+package zeromemorycopy
+
+import (
+	"fmt"
+	"io"
+	"reflect"
+	"strconv"
+	"strings"
+	"time"
+	"unsafe"
+
+	"github.com/devlights/gomy/times"
+)
+
+// StringToByteSlice -- 文字列からバイトスライスへメモリコピー無しに変換するサンプルです。
+//
+// REFERENCES
+//   - https://stackoverflow.com/questions/59209493/how-to-use-unsafe-get-a-byte-slice-from-a-string-without-memory-copy
+//   - https://github.com/devlights/gomy/blob/master/zeromemcpy/s2b.go
+//   - https://pkg.go.dev/unsafe@go1.18.4#Slice
+func StringToByteSlice() error {
+	//
+	// string から []byte へメモリコピー無しに変換するには unsafe パッケージを使う必要がある。
+	// unsafeパッケージは文字通り unsafe な操作を行うパッケージなので、通常時には利用するべきではない。
+	// パフォーマンスが極端に求められている場合で、且つ、メモリコピーの部分がボトルネックな場合にのみ利用するべき。
+	// (通常、このような部分よりも他の部分がボトルネックになっているはず)
+	//
+	// Goは、基本的にこのようなトリッキーなことをしなくても充分速い。
+	//
+
+	// -------------------------------------
+	// 大きなサイズの文字列を作る
+	// -------------------------------------
+	var sb strings.Builder
+	for i := 0; i < 30_000_000; i++ {
+		sb.WriteString(strconv.Itoa(i))
+	}
+
+	s := sb.String()
+	fmt.Printf("[length] %vbytes, %vmb\n", len(s), len(s)/1024/1024)
+
+	// -------------------------------------
+	// 普通に変換
+	// -------------------------------------
+	elapsed := times.Stopwatch(func(start time.Time) {
+		io.Discard.Write([]byte(s))
+	})
+	fmt.Printf("[normal] %v\n", elapsed)
+
+	// -------------------------------------
+	// メモリコピー無しで変換
+	// -------------------------------------
+	elapsed = times.Stopwatch(func(start time.Time) {
+		io.Discard.Write(unsafe.Slice((*byte)(unsafe.Pointer((*reflect.StringHeader)(unsafe.Pointer(&s)).Data)), len(s)))
+
+		/* 上を細かく区切ると以下のようになる
+		var (
+			ptrStr     = unsafe.Pointer(&s)
+			strHeader  = (*reflect.StringHeader)(ptrStr)
+			ptrStrData = unsafe.Pointer(strHeader.Data)
+			ptrByte    = (*byte)(ptrStrData)
+			slice      = unsafe.Slice(ptrByte, len(s))
+		)
+		io.Discard.Write(slice)
+		*/
+	})
+	fmt.Printf("[zeromemcpy] %v\n", elapsed)
+
+	return nil
+}