/* Do not modify. This file is auto-generated from sm4-armv8.pl. */
// Copyright 2022-2025 The OpenSSL Project Authors. All Rights Reserved.
//
// Licensed under the Apache License 2.0 (the "License").  You may not use
// this file except in compliance with the License.  You can obtain a copy
// in the file LICENSE in the source distribution or at
// https://www.openssl.org/source/license.html

//
// This module implements support for SM4 hw support on aarch64
// Oct 2021
//

// $output is the last argument if it looks like a file (it has an extension)
// $flavour is the first argument if it doesn't look like a file
#include "arm_arch.h"
.arch   armv8-a+crypto
.text

.section        .rodata
.type   _sm4_v8_consts,%object
.align  6
_sm4_v8_consts:
.Lck:
.long   0x00070E15, 0x1C232A31, 0x383F464D, 0x545B6269
.long   0x70777E85, 0x8C939AA1, 0xA8AFB6BD, 0xC4CBD2D9
.long   0xE0E7EEF5, 0xFC030A11, 0x181F262D, 0x343B4249
.long   0x50575E65, 0x6C737A81, 0x888F969D, 0xA4ABB2B9
.long   0xC0C7CED5, 0xDCE3EAF1, 0xF8FF060D, 0x141B2229
.long   0x30373E45, 0x4C535A61, 0x686F767D, 0x848B9299
.long   0xA0A7AEB5, 0xBCC3CAD1, 0xD8DFE6ED, 0xF4FB0209
.long   0x10171E25, 0x2C333A41, 0x484F565D, 0x646B7279
.Lfk:
.long   0xa3b1bac6, 0x56aa3350, 0x677d9197, 0xb27022dc
.size   _sm4_v8_consts,.-_sm4_v8_consts
.previous

.globl  sm4_v8_set_encrypt_key
.type   sm4_v8_set_encrypt_key,%function
.align  5
sm4_v8_set_encrypt_key:
        AARCH64_VALID_CALL_TARGET
        ld1     {v0.4s},[x0]
        adrp    x2,.Lfk
        add     x2,x2,#:lo12:.Lfk
        ld1     {v24.4s},[x2]
        adrp    x2,.Lck
        add     x2,x2,#:lo12:.Lck
        ld1     {v16.4s,v17.4s,v18.4s,v19.4s},[x2],64
#ifndef __AARCH64EB__
        rev32   v0.16b,v0.16b
#endif
        ld1     {v20.4s,v21.4s,v22.4s,v23.4s},[x2]
        eor     v0.16b,v0.16b,v24.16b;
.inst   0xce70c800      //sm4ekey v0.4S,v0.4S,v16.4S
.inst   0xce71c801      //sm4ekey v1.4S,v0.4S,v17.4S
.inst   0xce72c822      //sm4ekey v2.4S,v1.4S,v18.4S
.inst   0xce73c843      //sm4ekey v3.4S,v2.4S,v19.4S
.inst   0xce74c864      //sm4ekey v4.4S,v3.4S,v20.4S
        st1     {v0.4s,v1.4s,v2.4s,v3.4s},[x1],64
.inst   0xce75c885      //sm4ekey v5.4S,v4.4S,v21.4S
.inst   0xce76c8a6      //sm4ekey v6.4S,v5.4S,v22.4S
.inst   0xce77c8c7      //sm4ekey v7.4S,v6.4S,v23.4S
        st1     {v4.4s,v5.4s,v6.4s,v7.4s},[x1]
        ret
.size   sm4_v8_set_encrypt_key,.-sm4_v8_set_encrypt_key
.globl  sm4_v8_set_decrypt_key
.type   sm4_v8_set_decrypt_key,%function
.align  5
sm4_v8_set_decrypt_key:
        AARCH64_VALID_CALL_TARGET
        ld1     {v7.4s},[x0]
        adrp    x2,.Lfk
        add     x2,x2,#:lo12:.Lfk
        ld1     {v24.4s},[x2]
        adrp    x2,.Lck
        add     x2,x2,#:lo12:.Lck
        ld1     {v16.4s,v17.4s,v18.4s,v19.4s},[x2],64
#ifndef __AARCH64EB__
        rev32   v7.16b,v7.16b
#endif
        ld1     {v20.4s,v21.4s,v22.4s,v23.4s},[x2]
        eor     v7.16b, v7.16b,v24.16b;
.inst   0xce70c8e7      //sm4ekey v7.4S,v7.4S,v16.4S
.inst   0xce71c8e6      //sm4ekey v6.4S,v7.4S,v17.4S
.inst   0xce72c8c5      //sm4ekey v5.4S,v6.4S,v18.4S
        rev64   v7.4s,v7.4s
        rev64   v6.4s,v6.4s
        ext     v7.16b,v7.16b,v7.16b,#8
        ext     v6.16b,v6.16b,v6.16b,#8
.inst   0xce73c8a4      //sm4ekey v4.4S,v5.4S,v19.4S
.inst   0xce74c883      //sm4ekey v3.4S,v4.4S,v20.4S
        rev64   v5.4s,v5.4s
        rev64   v4.4s,v4.4s
        ext     v5.16b,v5.16b,v5.16b,#8
        ext     v4.16b,v4.16b,v4.16b,#8
.inst   0xce75c862      //sm4ekey v2.4S,v3.4S,v21.4S
.inst   0xce76c841      //sm4ekey v1.4S,v2.4S,v22.4S
        rev64   v3.4s,v3.4s
        rev64   v2.4s,v2.4s
        ext     v3.16b,v3.16b,v3.16b,#8
        ext     v2.16b,v2.16b,v2.16b,#8
.inst   0xce77c820      //sm4ekey v0.4S,v1.4S,v23.4S
        rev64   v1.4s, v1.4s
        rev64   v0.4s, v0.4s
        ext     v1.16b,v1.16b,v1.16b,#8
        ext     v0.16b,v0.16b,v0.16b,#8
        st1     {v0.4s,v1.4s,v2.4s,v3.4s},[x1],64
        st1     {v4.4s,v5.4s,v6.4s,v7.4s},[x1]
        ret
.size   sm4_v8_set_decrypt_key,.-sm4_v8_set_decrypt_key
.globl  sm4_v8_encrypt
.type   sm4_v8_encrypt,%function
.align  5
sm4_v8_encrypt:
        AARCH64_VALID_CALL_TARGET
        ld1     {v16.4s},[x0]
        ld1     {v0.4s,v1.4s,v2.4s,v3.4s},[x2],64
        ld1     {v4.4s,v5.4s,v6.4s,v7.4s},[x2]
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
.inst   0xcec08410      //sm4e v16.4s,v0.4s
.inst   0xcec08430      //sm4e v16.4s,v1.4s
.inst   0xcec08450      //sm4e v16.4s,v2.4s
.inst   0xcec08470      //sm4e v16.4s,v3.4s
.inst   0xcec08490      //sm4e v16.4s,v4.4s
.inst   0xcec084b0      //sm4e v16.4s,v5.4s
.inst   0xcec084d0      //sm4e v16.4s,v6.4s
.inst   0xcec084f0      //sm4e v16.4s,v7.4s
        rev64   v16.4S,v16.4S
        ext     v16.16b,v16.16b,v16.16b,#8
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
        st1     {v16.4s},[x1]
        ret
.size   sm4_v8_encrypt,.-sm4_v8_encrypt
.globl  sm4_v8_decrypt
.type   sm4_v8_decrypt,%function
.align  5
sm4_v8_decrypt:
        AARCH64_VALID_CALL_TARGET
        ld1     {v16.4s},[x0]
        ld1     {v0.4s,v1.4s,v2.4s,v3.4s},[x2],64
        ld1     {v4.4s,v5.4s,v6.4s,v7.4s},[x2]
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
.inst   0xcec08410      //sm4e v16.4s,v0.4s
.inst   0xcec08430      //sm4e v16.4s,v1.4s
.inst   0xcec08450      //sm4e v16.4s,v2.4s
.inst   0xcec08470      //sm4e v16.4s,v3.4s
.inst   0xcec08490      //sm4e v16.4s,v4.4s
.inst   0xcec084b0      //sm4e v16.4s,v5.4s
.inst   0xcec084d0      //sm4e v16.4s,v6.4s
.inst   0xcec084f0      //sm4e v16.4s,v7.4s
        rev64   v16.4S,v16.4S
        ext     v16.16b,v16.16b,v16.16b,#8
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
        st1     {v16.4s},[x1]
        ret
.size   sm4_v8_decrypt,.-sm4_v8_decrypt
.globl  sm4_v8_ecb_encrypt
.type   sm4_v8_ecb_encrypt,%function
.align  5
sm4_v8_ecb_encrypt:
        AARCH64_VALID_CALL_TARGET
        ld1     {v0.4s,v1.4s,v2.4s,v3.4s},[x3],#64
        ld1     {v4.4s,v5.4s,v6.4s,v7.4s},[x3]
1:
        cmp     x2,#64
        b.lt    1f
        ld1     {v16.4s,v17.4s,v18.4s,v19.4s},[x0],#64
        cmp     x2,#128
        b.lt    2f
        ld1     {v20.4s,v21.4s,v22.4s,v23.4s},[x0],#64
        // 8 blocks
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
        rev32   v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
        rev32   v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
        rev32   v19.16b,v19.16b
#endif
#ifndef __AARCH64EB__
        rev32   v20.16b,v20.16b
#endif
#ifndef __AARCH64EB__
        rev32   v21.16b,v21.16b
#endif
#ifndef __AARCH64EB__
        rev32   v22.16b,v22.16b
#endif
#ifndef __AARCH64EB__
        rev32   v23.16b,v23.16b
#endif
.inst   0xcec08410      //sm4e v16.4s,v0.4s
.inst   0xcec08411      //sm4e v17.4s,v0.4s
.inst   0xcec08412      //sm4e v18.4s,v0.4s
.inst   0xcec08413      //sm4e v19.4s,v0.4s

.inst   0xcec08430      //sm4e v16.4s,v1.4s
.inst   0xcec08431      //sm4e v17.4s,v1.4s
.inst   0xcec08432      //sm4e v18.4s,v1.4s
.inst   0xcec08433      //sm4e v19.4s,v1.4s

.inst   0xcec08450      //sm4e v16.4s,v2.4s
.inst   0xcec08451      //sm4e v17.4s,v2.4s
.inst   0xcec08452      //sm4e v18.4s,v2.4s
.inst   0xcec08453      //sm4e v19.4s,v2.4s

.inst   0xcec08470      //sm4e v16.4s,v3.4s
.inst   0xcec08471      //sm4e v17.4s,v3.4s
.inst   0xcec08472      //sm4e v18.4s,v3.4s
.inst   0xcec08473      //sm4e v19.4s,v3.4s

.inst   0xcec08490      //sm4e v16.4s,v4.4s
.inst   0xcec08491      //sm4e v17.4s,v4.4s
.inst   0xcec08492      //sm4e v18.4s,v4.4s
.inst   0xcec08493      //sm4e v19.4s,v4.4s

.inst   0xcec084b0      //sm4e v16.4s,v5.4s
.inst   0xcec084b1      //sm4e v17.4s,v5.4s
.inst   0xcec084b2      //sm4e v18.4s,v5.4s
.inst   0xcec084b3      //sm4e v19.4s,v5.4s

.inst   0xcec084d0      //sm4e v16.4s,v6.4s
.inst   0xcec084d1      //sm4e v17.4s,v6.4s
.inst   0xcec084d2      //sm4e v18.4s,v6.4s
.inst   0xcec084d3      //sm4e v19.4s,v6.4s

.inst   0xcec084f0      //sm4e v16.4s,v7.4s
        rev64   v16.4S,v16.4S
.inst   0xcec084f1      //sm4e v17.4s,v7.4s
        ext     v16.16b,v16.16b,v16.16b,#8
        rev64   v17.4S,v17.4S
.inst   0xcec084f2      //sm4e v18.4s,v7.4s
        ext     v17.16b,v17.16b,v17.16b,#8
        rev64   v18.4S,v18.4S
.inst   0xcec084f3      //sm4e v19.4s,v7.4s
        ext     v18.16b,v18.16b,v18.16b,#8
        rev64   v19.4S,v19.4S
        ext     v19.16b,v19.16b,v19.16b,#8
.inst   0xcec08414      //sm4e v20.4s,v0.4s
.inst   0xcec08415      //sm4e v21.4s,v0.4s
.inst   0xcec08416      //sm4e v22.4s,v0.4s
.inst   0xcec08417      //sm4e v23.4s,v0.4s

.inst   0xcec08434      //sm4e v20.4s,v1.4s
.inst   0xcec08435      //sm4e v21.4s,v1.4s
.inst   0xcec08436      //sm4e v22.4s,v1.4s
.inst   0xcec08437      //sm4e v23.4s,v1.4s

.inst   0xcec08454      //sm4e v20.4s,v2.4s
.inst   0xcec08455      //sm4e v21.4s,v2.4s
.inst   0xcec08456      //sm4e v22.4s,v2.4s
.inst   0xcec08457      //sm4e v23.4s,v2.4s

.inst   0xcec08474      //sm4e v20.4s,v3.4s
.inst   0xcec08475      //sm4e v21.4s,v3.4s
.inst   0xcec08476      //sm4e v22.4s,v3.4s
.inst   0xcec08477      //sm4e v23.4s,v3.4s

.inst   0xcec08494      //sm4e v20.4s,v4.4s
.inst   0xcec08495      //sm4e v21.4s,v4.4s
.inst   0xcec08496      //sm4e v22.4s,v4.4s
.inst   0xcec08497      //sm4e v23.4s,v4.4s

.inst   0xcec084b4      //sm4e v20.4s,v5.4s
.inst   0xcec084b5      //sm4e v21.4s,v5.4s
.inst   0xcec084b6      //sm4e v22.4s,v5.4s
.inst   0xcec084b7      //sm4e v23.4s,v5.4s

.inst   0xcec084d4      //sm4e v20.4s,v6.4s
.inst   0xcec084d5      //sm4e v21.4s,v6.4s
.inst   0xcec084d6      //sm4e v22.4s,v6.4s
.inst   0xcec084d7      //sm4e v23.4s,v6.4s

.inst   0xcec084f4      //sm4e v20.4s,v7.4s
        rev64   v20.4S,v20.4S
.inst   0xcec084f5      //sm4e v21.4s,v7.4s
        ext     v20.16b,v20.16b,v20.16b,#8
        rev64   v21.4S,v21.4S
.inst   0xcec084f6      //sm4e v22.4s,v7.4s
        ext     v21.16b,v21.16b,v21.16b,#8
        rev64   v22.4S,v22.4S
.inst   0xcec084f7      //sm4e v23.4s,v7.4s
        ext     v22.16b,v22.16b,v22.16b,#8
        rev64   v23.4S,v23.4S
        ext     v23.16b,v23.16b,v23.16b,#8
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
        rev32   v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
        rev32   v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
        rev32   v19.16b,v19.16b
#endif
#ifndef __AARCH64EB__
        rev32   v20.16b,v20.16b
#endif
#ifndef __AARCH64EB__
        rev32   v21.16b,v21.16b
#endif
        st1     {v16.4s,v17.4s,v18.4s,v19.4s},[x1],#64
#ifndef __AARCH64EB__
        rev32   v22.16b,v22.16b
#endif
#ifndef __AARCH64EB__
        rev32   v23.16b,v23.16b
#endif
        st1     {v20.4s,v21.4s,v22.4s,v23.4s},[x1],#64
        subs    x2,x2,#128
        b.gt    1b
        ret
        // 4 blocks
2:
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
        rev32   v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
        rev32   v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
        rev32   v19.16b,v19.16b
#endif
.inst   0xcec08410      //sm4e v16.4s,v0.4s
.inst   0xcec08411      //sm4e v17.4s,v0.4s
.inst   0xcec08412      //sm4e v18.4s,v0.4s
.inst   0xcec08413      //sm4e v19.4s,v0.4s

.inst   0xcec08430      //sm4e v16.4s,v1.4s
.inst   0xcec08431      //sm4e v17.4s,v1.4s
.inst   0xcec08432      //sm4e v18.4s,v1.4s
.inst   0xcec08433      //sm4e v19.4s,v1.4s

.inst   0xcec08450      //sm4e v16.4s,v2.4s
.inst   0xcec08451      //sm4e v17.4s,v2.4s
.inst   0xcec08452      //sm4e v18.4s,v2.4s
.inst   0xcec08453      //sm4e v19.4s,v2.4s

.inst   0xcec08470      //sm4e v16.4s,v3.4s
.inst   0xcec08471      //sm4e v17.4s,v3.4s
.inst   0xcec08472      //sm4e v18.4s,v3.4s
.inst   0xcec08473      //sm4e v19.4s,v3.4s

.inst   0xcec08490      //sm4e v16.4s,v4.4s
.inst   0xcec08491      //sm4e v17.4s,v4.4s
.inst   0xcec08492      //sm4e v18.4s,v4.4s
.inst   0xcec08493      //sm4e v19.4s,v4.4s

.inst   0xcec084b0      //sm4e v16.4s,v5.4s
.inst   0xcec084b1      //sm4e v17.4s,v5.4s
.inst   0xcec084b2      //sm4e v18.4s,v5.4s
.inst   0xcec084b3      //sm4e v19.4s,v5.4s

.inst   0xcec084d0      //sm4e v16.4s,v6.4s
.inst   0xcec084d1      //sm4e v17.4s,v6.4s
.inst   0xcec084d2      //sm4e v18.4s,v6.4s
.inst   0xcec084d3      //sm4e v19.4s,v6.4s

.inst   0xcec084f0      //sm4e v16.4s,v7.4s
        rev64   v16.4S,v16.4S
.inst   0xcec084f1      //sm4e v17.4s,v7.4s
        ext     v16.16b,v16.16b,v16.16b,#8
        rev64   v17.4S,v17.4S
.inst   0xcec084f2      //sm4e v18.4s,v7.4s
        ext     v17.16b,v17.16b,v17.16b,#8
        rev64   v18.4S,v18.4S
.inst   0xcec084f3      //sm4e v19.4s,v7.4s
        ext     v18.16b,v18.16b,v18.16b,#8
        rev64   v19.4S,v19.4S
        ext     v19.16b,v19.16b,v19.16b,#8
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
        rev32   v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
        rev32   v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
        rev32   v19.16b,v19.16b
#endif
        st1     {v16.4s,v17.4s,v18.4s,v19.4s},[x1],#64
        subs    x2,x2,#64
        b.gt    1b
1:
        subs    x2,x2,#16
        b.lt    1f
        ld1     {v16.4s},[x0],#16
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
.inst   0xcec08410      //sm4e v16.4s,v0.4s
.inst   0xcec08430      //sm4e v16.4s,v1.4s
.inst   0xcec08450      //sm4e v16.4s,v2.4s
.inst   0xcec08470      //sm4e v16.4s,v3.4s
.inst   0xcec08490      //sm4e v16.4s,v4.4s
.inst   0xcec084b0      //sm4e v16.4s,v5.4s
.inst   0xcec084d0      //sm4e v16.4s,v6.4s
.inst   0xcec084f0      //sm4e v16.4s,v7.4s
        rev64   v16.4S,v16.4S
        ext     v16.16b,v16.16b,v16.16b,#8
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
        st1     {v16.4s},[x1],#16
        b.ne    1b
1:
        ret
.size   sm4_v8_ecb_encrypt,.-sm4_v8_ecb_encrypt
.globl  sm4_v8_cbc_encrypt
.type   sm4_v8_cbc_encrypt,%function
.align  5
sm4_v8_cbc_encrypt:
        AARCH64_VALID_CALL_TARGET
        stp     d8,d9,[sp, #-16]!

        ld1     {v0.4s,v1.4s,v2.4s,v3.4s},[x3],#64
        ld1     {v4.4s,v5.4s,v6.4s,v7.4s},[x3]
        ld1     {v8.4s},[x4]
        cmp     w5,#0
        b.eq    .Ldec
1:
        cmp     x2, #64
        b.lt    1f
        ld1     {v16.4s,v17.4s,v18.4s,v19.4s},[x0],#64
        eor     v16.16b,v16.16b,v8.16b
#ifndef __AARCH64EB__
        rev32   v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
        rev32   v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
        rev32   v19.16b,v19.16b
#endif
.inst   0xcec08410      //sm4e v16.4s,v0.4s
.inst   0xcec08430      //sm4e v16.4s,v1.4s
.inst   0xcec08450      //sm4e v16.4s,v2.4s
.inst   0xcec08470      //sm4e v16.4s,v3.4s
.inst   0xcec08490      //sm4e v16.4s,v4.4s
.inst   0xcec084b0      //sm4e v16.4s,v5.4s
.inst   0xcec084d0      //sm4e v16.4s,v6.4s
.inst   0xcec084f0      //sm4e v16.4s,v7.4s
        rev64   v16.4S,v16.4S
        ext     v16.16b,v16.16b,v16.16b,#8
        eor     v17.16b,v17.16b,v16.16b
.inst   0xcec08411      //sm4e v17.4s,v0.4s
.inst   0xcec08431      //sm4e v17.4s,v1.4s
.inst   0xcec08451      //sm4e v17.4s,v2.4s
.inst   0xcec08471      //sm4e v17.4s,v3.4s
.inst   0xcec08491      //sm4e v17.4s,v4.4s
.inst   0xcec084b1      //sm4e v17.4s,v5.4s
.inst   0xcec084d1      //sm4e v17.4s,v6.4s
.inst   0xcec084f1      //sm4e v17.4s,v7.4s
        rev64   v17.4S,v17.4S
        ext     v17.16b,v17.16b,v17.16b,#8
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
        eor     v18.16b,v18.16b,v17.16b
.inst   0xcec08412      //sm4e v18.4s,v0.4s
.inst   0xcec08432      //sm4e v18.4s,v1.4s
.inst   0xcec08452      //sm4e v18.4s,v2.4s
.inst   0xcec08472      //sm4e v18.4s,v3.4s
.inst   0xcec08492      //sm4e v18.4s,v4.4s
.inst   0xcec084b2      //sm4e v18.4s,v5.4s
.inst   0xcec084d2      //sm4e v18.4s,v6.4s
.inst   0xcec084f2      //sm4e v18.4s,v7.4s
        rev64   v18.4S,v18.4S
        ext     v18.16b,v18.16b,v18.16b,#8
#ifndef __AARCH64EB__
        rev32   v17.16b,v17.16b
#endif
        eor     v19.16b,v19.16b,v18.16b
.inst   0xcec08413      //sm4e v19.4s,v0.4s
.inst   0xcec08433      //sm4e v19.4s,v1.4s
.inst   0xcec08453      //sm4e v19.4s,v2.4s
.inst   0xcec08473      //sm4e v19.4s,v3.4s
.inst   0xcec08493      //sm4e v19.4s,v4.4s
.inst   0xcec084b3      //sm4e v19.4s,v5.4s
.inst   0xcec084d3      //sm4e v19.4s,v6.4s
.inst   0xcec084f3      //sm4e v19.4s,v7.4s
        rev64   v19.4S,v19.4S
        ext     v19.16b,v19.16b,v19.16b,#8
#ifndef __AARCH64EB__
        rev32   v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
        rev32   v19.16b,v19.16b
#endif
        mov     v8.16b,v19.16b
        st1     {v16.4s,v17.4s,v18.4s,v19.4s},[x1],#64
        subs    x2,x2,#64
        b.ne    1b
1:
        subs    x2,x2,#16
        b.lt    3f
        ld1     {v16.4s},[x0],#16
        eor     v8.16b,v8.16b,v16.16b
#ifndef __AARCH64EB__
        rev32   v8.16b,v8.16b
#endif
.inst   0xcec08408      //sm4e v8.4s,v0.4s
.inst   0xcec08428      //sm4e v8.4s,v1.4s
.inst   0xcec08448      //sm4e v8.4s,v2.4s
.inst   0xcec08468      //sm4e v8.4s,v3.4s
.inst   0xcec08488      //sm4e v8.4s,v4.4s
.inst   0xcec084a8      //sm4e v8.4s,v5.4s
.inst   0xcec084c8      //sm4e v8.4s,v6.4s
.inst   0xcec084e8      //sm4e v8.4s,v7.4s
        rev64   v8.4S,v8.4S
        ext     v8.16b,v8.16b,v8.16b,#8
#ifndef __AARCH64EB__
        rev32   v8.16b,v8.16b
#endif
        st1     {v8.4s},[x1],#16
        b.ne    1b
        b       3f
.Ldec:
1:
        cmp     x2, #64
        b.lt    1f
        ld1     {v16.4s,v17.4s,v18.4s,v19.4s},[x0]
        ld1     {v24.4s,v25.4s,v26.4s,v27.4s},[x0],#64
        cmp     x2,#128
        b.lt    2f
        // 8 blocks mode
        ld1     {v20.4s,v21.4s,v22.4s,v23.4s},[x0]
        ld1     {v28.4s,v29.4s,v30.4s,v31.4s},[x0],#64
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
        rev32   v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
        rev32   v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
        rev32   v19.16b,v19.16b
#endif
#ifndef __AARCH64EB__
        rev32   v20.16b,v20.16b
#endif
#ifndef __AARCH64EB__
        rev32   v21.16b,v21.16b
#endif
#ifndef __AARCH64EB__
        rev32   v22.16b,v22.16b
#endif
#ifndef __AARCH64EB__
        rev32   v23.16b,v23.16b
#endif
.inst   0xcec08410      //sm4e v16.4s,v0.4s
.inst   0xcec08411      //sm4e v17.4s,v0.4s
.inst   0xcec08412      //sm4e v18.4s,v0.4s
.inst   0xcec08413      //sm4e v19.4s,v0.4s

.inst   0xcec08430      //sm4e v16.4s,v1.4s
.inst   0xcec08431      //sm4e v17.4s,v1.4s
.inst   0xcec08432      //sm4e v18.4s,v1.4s
.inst   0xcec08433      //sm4e v19.4s,v1.4s

.inst   0xcec08450      //sm4e v16.4s,v2.4s
.inst   0xcec08451      //sm4e v17.4s,v2.4s
.inst   0xcec08452      //sm4e v18.4s,v2.4s
.inst   0xcec08453      //sm4e v19.4s,v2.4s

.inst   0xcec08470      //sm4e v16.4s,v3.4s
.inst   0xcec08471      //sm4e v17.4s,v3.4s
.inst   0xcec08472      //sm4e v18.4s,v3.4s
.inst   0xcec08473      //sm4e v19.4s,v3.4s

.inst   0xcec08490      //sm4e v16.4s,v4.4s
.inst   0xcec08491      //sm4e v17.4s,v4.4s
.inst   0xcec08492      //sm4e v18.4s,v4.4s
.inst   0xcec08493      //sm4e v19.4s,v4.4s

.inst   0xcec084b0      //sm4e v16.4s,v5.4s
.inst   0xcec084b1      //sm4e v17.4s,v5.4s
.inst   0xcec084b2      //sm4e v18.4s,v5.4s
.inst   0xcec084b3      //sm4e v19.4s,v5.4s

.inst   0xcec084d0      //sm4e v16.4s,v6.4s
.inst   0xcec084d1      //sm4e v17.4s,v6.4s
.inst   0xcec084d2      //sm4e v18.4s,v6.4s
.inst   0xcec084d3      //sm4e v19.4s,v6.4s

.inst   0xcec084f0      //sm4e v16.4s,v7.4s
        rev64   v16.4S,v16.4S
.inst   0xcec084f1      //sm4e v17.4s,v7.4s
        ext     v16.16b,v16.16b,v16.16b,#8
        rev64   v17.4S,v17.4S
.inst   0xcec084f2      //sm4e v18.4s,v7.4s
        ext     v17.16b,v17.16b,v17.16b,#8
        rev64   v18.4S,v18.4S
.inst   0xcec084f3      //sm4e v19.4s,v7.4s
        ext     v18.16b,v18.16b,v18.16b,#8
        rev64   v19.4S,v19.4S
        ext     v19.16b,v19.16b,v19.16b,#8
.inst   0xcec08414      //sm4e v20.4s,v0.4s
.inst   0xcec08415      //sm4e v21.4s,v0.4s
.inst   0xcec08416      //sm4e v22.4s,v0.4s
.inst   0xcec08417      //sm4e v23.4s,v0.4s

.inst   0xcec08434      //sm4e v20.4s,v1.4s
.inst   0xcec08435      //sm4e v21.4s,v1.4s
.inst   0xcec08436      //sm4e v22.4s,v1.4s
.inst   0xcec08437      //sm4e v23.4s,v1.4s

.inst   0xcec08454      //sm4e v20.4s,v2.4s
.inst   0xcec08455      //sm4e v21.4s,v2.4s
.inst   0xcec08456      //sm4e v22.4s,v2.4s
.inst   0xcec08457      //sm4e v23.4s,v2.4s

.inst   0xcec08474      //sm4e v20.4s,v3.4s
.inst   0xcec08475      //sm4e v21.4s,v3.4s
.inst   0xcec08476      //sm4e v22.4s,v3.4s
.inst   0xcec08477      //sm4e v23.4s,v3.4s

.inst   0xcec08494      //sm4e v20.4s,v4.4s
.inst   0xcec08495      //sm4e v21.4s,v4.4s
.inst   0xcec08496      //sm4e v22.4s,v4.4s
.inst   0xcec08497      //sm4e v23.4s,v4.4s

.inst   0xcec084b4      //sm4e v20.4s,v5.4s
.inst   0xcec084b5      //sm4e v21.4s,v5.4s
.inst   0xcec084b6      //sm4e v22.4s,v5.4s
.inst   0xcec084b7      //sm4e v23.4s,v5.4s

.inst   0xcec084d4      //sm4e v20.4s,v6.4s
.inst   0xcec084d5      //sm4e v21.4s,v6.4s
.inst   0xcec084d6      //sm4e v22.4s,v6.4s
.inst   0xcec084d7      //sm4e v23.4s,v6.4s

.inst   0xcec084f4      //sm4e v20.4s,v7.4s
        rev64   v20.4S,v20.4S
.inst   0xcec084f5      //sm4e v21.4s,v7.4s
        ext     v20.16b,v20.16b,v20.16b,#8
        rev64   v21.4S,v21.4S
.inst   0xcec084f6      //sm4e v22.4s,v7.4s
        ext     v21.16b,v21.16b,v21.16b,#8
        rev64   v22.4S,v22.4S
.inst   0xcec084f7      //sm4e v23.4s,v7.4s
        ext     v22.16b,v22.16b,v22.16b,#8
        rev64   v23.4S,v23.4S
        ext     v23.16b,v23.16b,v23.16b,#8
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
        rev32   v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
        rev32   v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
        rev32   v19.16b,v19.16b
#endif
#ifndef __AARCH64EB__
        rev32   v20.16b,v20.16b
#endif
#ifndef __AARCH64EB__
        rev32   v21.16b,v21.16b
#endif
#ifndef __AARCH64EB__
        rev32   v22.16b,v22.16b
#endif
#ifndef __AARCH64EB__
        rev32   v23.16b,v23.16b
#endif
        eor     v16.16b,v16.16b,v8.16b
        eor     v17.16b,v17.16b,v24.16b
        eor     v18.16b,v18.16b,v25.16b
        mov     v8.16b,v31.16b
        eor     v19.16b,v19.16b,v26.16b
        eor     v20.16b,v20.16b,v27.16b
        eor     v21.16b,v21.16b,v28.16b
        eor     v22.16b,v22.16b,v29.16b
        eor     v23.16b,v23.16b,v30.16b
        st1     {v16.4s,v17.4s,v18.4s,v19.4s},[x1],#64
        st1     {v20.4s,v21.4s,v22.4s,v23.4s},[x1],#64
        subs    x2,x2,128
        b.gt    1b
        b       3f
        // 4 blocks mode
2:
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
        rev32   v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
        rev32   v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
        rev32   v19.16b,v19.16b
#endif
.inst   0xcec08410      //sm4e v16.4s,v0.4s
.inst   0xcec08411      //sm4e v17.4s,v0.4s
.inst   0xcec08412      //sm4e v18.4s,v0.4s
.inst   0xcec08413      //sm4e v19.4s,v0.4s

.inst   0xcec08430      //sm4e v16.4s,v1.4s
.inst   0xcec08431      //sm4e v17.4s,v1.4s
.inst   0xcec08432      //sm4e v18.4s,v1.4s
.inst   0xcec08433      //sm4e v19.4s,v1.4s

.inst   0xcec08450      //sm4e v16.4s,v2.4s
.inst   0xcec08451      //sm4e v17.4s,v2.4s
.inst   0xcec08452      //sm4e v18.4s,v2.4s
.inst   0xcec08453      //sm4e v19.4s,v2.4s

.inst   0xcec08470      //sm4e v16.4s,v3.4s
.inst   0xcec08471      //sm4e v17.4s,v3.4s
.inst   0xcec08472      //sm4e v18.4s,v3.4s
.inst   0xcec08473      //sm4e v19.4s,v3.4s

.inst   0xcec08490      //sm4e v16.4s,v4.4s
.inst   0xcec08491      //sm4e v17.4s,v4.4s
.inst   0xcec08492      //sm4e v18.4s,v4.4s
.inst   0xcec08493      //sm4e v19.4s,v4.4s

.inst   0xcec084b0      //sm4e v16.4s,v5.4s
.inst   0xcec084b1      //sm4e v17.4s,v5.4s
.inst   0xcec084b2      //sm4e v18.4s,v5.4s
.inst   0xcec084b3      //sm4e v19.4s,v5.4s

.inst   0xcec084d0      //sm4e v16.4s,v6.4s
.inst   0xcec084d1      //sm4e v17.4s,v6.4s
.inst   0xcec084d2      //sm4e v18.4s,v6.4s
.inst   0xcec084d3      //sm4e v19.4s,v6.4s

.inst   0xcec084f0      //sm4e v16.4s,v7.4s
        rev64   v16.4S,v16.4S
.inst   0xcec084f1      //sm4e v17.4s,v7.4s
        ext     v16.16b,v16.16b,v16.16b,#8
        rev64   v17.4S,v17.4S
.inst   0xcec084f2      //sm4e v18.4s,v7.4s
        ext     v17.16b,v17.16b,v17.16b,#8
        rev64   v18.4S,v18.4S
.inst   0xcec084f3      //sm4e v19.4s,v7.4s
        ext     v18.16b,v18.16b,v18.16b,#8
        rev64   v19.4S,v19.4S
        ext     v19.16b,v19.16b,v19.16b,#8
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
        rev32   v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
        rev32   v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
        rev32   v19.16b,v19.16b
#endif
        eor     v16.16b,v16.16b,v8.16b
        eor     v17.16b,v17.16b,v24.16b
        mov     v8.16b,v27.16b
        eor     v18.16b,v18.16b,v25.16b
        eor     v19.16b,v19.16b,v26.16b
        st1     {v16.4s,v17.4s,v18.4s,v19.4s},[x1],#64
        subs    x2,x2,#64
        b.gt    1b
1:
        subs    x2,x2,#16
        b.lt    3f
        ld1     {v16.4s},[x0],#16
        mov     v24.16b,v16.16b
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
.inst   0xcec08410      //sm4e v16.4s,v0.4s
.inst   0xcec08430      //sm4e v16.4s,v1.4s
.inst   0xcec08450      //sm4e v16.4s,v2.4s
.inst   0xcec08470      //sm4e v16.4s,v3.4s
.inst   0xcec08490      //sm4e v16.4s,v4.4s
.inst   0xcec084b0      //sm4e v16.4s,v5.4s
.inst   0xcec084d0      //sm4e v16.4s,v6.4s
.inst   0xcec084f0      //sm4e v16.4s,v7.4s
        rev64   v16.4S,v16.4S
        ext     v16.16b,v16.16b,v16.16b,#8
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
        eor     v16.16b,v16.16b,v8.16b
        mov     v8.16b,v24.16b
        st1     {v16.4s},[x1],#16
        b.ne    1b
3:
        // save back IV
        st1     {v8.4s},[x4]
        ldp     d8,d9,[sp],#16
        ret
.size   sm4_v8_cbc_encrypt,.-sm4_v8_cbc_encrypt
.globl  sm4_v8_ctr32_encrypt_blocks
.type   sm4_v8_ctr32_encrypt_blocks,%function
.align  5
sm4_v8_ctr32_encrypt_blocks:
        AARCH64_VALID_CALL_TARGET
        stp     d8,d9,[sp, #-16]!

        ld1     {v8.4s},[x4]
        ld1     {v0.4s,v1.4s,v2.4s,v3.4s},[x3],64
        ld1     {v4.4s,v5.4s,v6.4s,v7.4s},[x3]
#ifndef __AARCH64EB__
        rev32   v8.16b,v8.16b
#endif
        mov     w5,v8.s[3]
1:
        cmp     x2,#4
        b.lt    1f
        ld1     {v24.4s,v25.4s,v26.4s,v27.4s},[x0],#64
        mov     v16.16b,v8.16b
        mov     v17.16b,v8.16b
        mov     v18.16b,v8.16b
        mov     v19.16b,v8.16b
        add     w5,w5,#1
        mov     v17.s[3],w5
        add     w5,w5,#1
        mov     v18.s[3],w5
        add     w5,w5,#1
        mov     v19.s[3],w5
        cmp     x2,#8
        b.lt    2f
        ld1     {v28.4s,v29.4s,v30.4s,v31.4s},[x0],#64
        mov     v20.16b,v8.16b
        mov     v21.16b,v8.16b
        mov     v22.16b,v8.16b
        mov     v23.16b,v8.16b
        add     w5,w5,#1
        mov     v20.s[3],w5
        add     w5,w5,#1
        mov     v21.s[3],w5
        add     w5,w5,#1
        mov     v22.s[3],w5
        add     w5,w5,#1
        mov     v23.s[3],w5
.inst   0xcec08410      //sm4e v16.4s,v0.4s
.inst   0xcec08411      //sm4e v17.4s,v0.4s
.inst   0xcec08412      //sm4e v18.4s,v0.4s
.inst   0xcec08413      //sm4e v19.4s,v0.4s

.inst   0xcec08430      //sm4e v16.4s,v1.4s
.inst   0xcec08431      //sm4e v17.4s,v1.4s
.inst   0xcec08432      //sm4e v18.4s,v1.4s
.inst   0xcec08433      //sm4e v19.4s,v1.4s

.inst   0xcec08450      //sm4e v16.4s,v2.4s
.inst   0xcec08451      //sm4e v17.4s,v2.4s
.inst   0xcec08452      //sm4e v18.4s,v2.4s
.inst   0xcec08453      //sm4e v19.4s,v2.4s

.inst   0xcec08470      //sm4e v16.4s,v3.4s
.inst   0xcec08471      //sm4e v17.4s,v3.4s
.inst   0xcec08472      //sm4e v18.4s,v3.4s
.inst   0xcec08473      //sm4e v19.4s,v3.4s

.inst   0xcec08490      //sm4e v16.4s,v4.4s
.inst   0xcec08491      //sm4e v17.4s,v4.4s
.inst   0xcec08492      //sm4e v18.4s,v4.4s
.inst   0xcec08493      //sm4e v19.4s,v4.4s

.inst   0xcec084b0      //sm4e v16.4s,v5.4s
.inst   0xcec084b1      //sm4e v17.4s,v5.4s
.inst   0xcec084b2      //sm4e v18.4s,v5.4s
.inst   0xcec084b3      //sm4e v19.4s,v5.4s

.inst   0xcec084d0      //sm4e v16.4s,v6.4s
.inst   0xcec084d1      //sm4e v17.4s,v6.4s
.inst   0xcec084d2      //sm4e v18.4s,v6.4s
.inst   0xcec084d3      //sm4e v19.4s,v6.4s

.inst   0xcec084f0      //sm4e v16.4s,v7.4s
        rev64   v16.4S,v16.4S
.inst   0xcec084f1      //sm4e v17.4s,v7.4s
        ext     v16.16b,v16.16b,v16.16b,#8
        rev64   v17.4S,v17.4S
.inst   0xcec084f2      //sm4e v18.4s,v7.4s
        ext     v17.16b,v17.16b,v17.16b,#8
        rev64   v18.4S,v18.4S
.inst   0xcec084f3      //sm4e v19.4s,v7.4s
        ext     v18.16b,v18.16b,v18.16b,#8
        rev64   v19.4S,v19.4S
        ext     v19.16b,v19.16b,v19.16b,#8
.inst   0xcec08414      //sm4e v20.4s,v0.4s
.inst   0xcec08415      //sm4e v21.4s,v0.4s
.inst   0xcec08416      //sm4e v22.4s,v0.4s
.inst   0xcec08417      //sm4e v23.4s,v0.4s

.inst   0xcec08434      //sm4e v20.4s,v1.4s
.inst   0xcec08435      //sm4e v21.4s,v1.4s
.inst   0xcec08436      //sm4e v22.4s,v1.4s
.inst   0xcec08437      //sm4e v23.4s,v1.4s

.inst   0xcec08454      //sm4e v20.4s,v2.4s
.inst   0xcec08455      //sm4e v21.4s,v2.4s
.inst   0xcec08456      //sm4e v22.4s,v2.4s
.inst   0xcec08457      //sm4e v23.4s,v2.4s

.inst   0xcec08474      //sm4e v20.4s,v3.4s
.inst   0xcec08475      //sm4e v21.4s,v3.4s
.inst   0xcec08476      //sm4e v22.4s,v3.4s
.inst   0xcec08477      //sm4e v23.4s,v3.4s

.inst   0xcec08494      //sm4e v20.4s,v4.4s
.inst   0xcec08495      //sm4e v21.4s,v4.4s
.inst   0xcec08496      //sm4e v22.4s,v4.4s
.inst   0xcec08497      //sm4e v23.4s,v4.4s

.inst   0xcec084b4      //sm4e v20.4s,v5.4s
.inst   0xcec084b5      //sm4e v21.4s,v5.4s
.inst   0xcec084b6      //sm4e v22.4s,v5.4s
.inst   0xcec084b7      //sm4e v23.4s,v5.4s

.inst   0xcec084d4      //sm4e v20.4s,v6.4s
.inst   0xcec084d5      //sm4e v21.4s,v6.4s
.inst   0xcec084d6      //sm4e v22.4s,v6.4s
.inst   0xcec084d7      //sm4e v23.4s,v6.4s

.inst   0xcec084f4      //sm4e v20.4s,v7.4s
        rev64   v20.4S,v20.4S
.inst   0xcec084f5      //sm4e v21.4s,v7.4s
        ext     v20.16b,v20.16b,v20.16b,#8
        rev64   v21.4S,v21.4S
.inst   0xcec084f6      //sm4e v22.4s,v7.4s
        ext     v21.16b,v21.16b,v21.16b,#8
        rev64   v22.4S,v22.4S
.inst   0xcec084f7      //sm4e v23.4s,v7.4s
        ext     v22.16b,v22.16b,v22.16b,#8
        rev64   v23.4S,v23.4S
        ext     v23.16b,v23.16b,v23.16b,#8
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
        rev32   v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
        rev32   v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
        rev32   v19.16b,v19.16b
#endif
#ifndef __AARCH64EB__
        rev32   v20.16b,v20.16b
#endif
#ifndef __AARCH64EB__
        rev32   v21.16b,v21.16b
#endif
#ifndef __AARCH64EB__
        rev32   v22.16b,v22.16b
#endif
#ifndef __AARCH64EB__
        rev32   v23.16b,v23.16b
#endif
        eor     v16.16b,v16.16b,v24.16b
        eor     v17.16b,v17.16b,v25.16b
        eor     v18.16b,v18.16b,v26.16b
        eor     v19.16b,v19.16b,v27.16b
        eor     v20.16b,v20.16b,v28.16b
        eor     v21.16b,v21.16b,v29.16b
        eor     v22.16b,v22.16b,v30.16b
        eor     v23.16b,v23.16b,v31.16b
        st1     {v16.4s,v17.4s,v18.4s,v19.4s},[x1],#64
        st1     {v20.4s,v21.4s,v22.4s,v23.4s},[x1],#64
        subs    x2,x2,#8
        b.eq    3f
        add     w5,w5,#1
        mov     v8.s[3],w5
        b       1b
2:
.inst   0xcec08410      //sm4e v16.4s,v0.4s
.inst   0xcec08411      //sm4e v17.4s,v0.4s
.inst   0xcec08412      //sm4e v18.4s,v0.4s
.inst   0xcec08413      //sm4e v19.4s,v0.4s

.inst   0xcec08430      //sm4e v16.4s,v1.4s
.inst   0xcec08431      //sm4e v17.4s,v1.4s
.inst   0xcec08432      //sm4e v18.4s,v1.4s
.inst   0xcec08433      //sm4e v19.4s,v1.4s

.inst   0xcec08450      //sm4e v16.4s,v2.4s
.inst   0xcec08451      //sm4e v17.4s,v2.4s
.inst   0xcec08452      //sm4e v18.4s,v2.4s
.inst   0xcec08453      //sm4e v19.4s,v2.4s

.inst   0xcec08470      //sm4e v16.4s,v3.4s
.inst   0xcec08471      //sm4e v17.4s,v3.4s
.inst   0xcec08472      //sm4e v18.4s,v3.4s
.inst   0xcec08473      //sm4e v19.4s,v3.4s

.inst   0xcec08490      //sm4e v16.4s,v4.4s
.inst   0xcec08491      //sm4e v17.4s,v4.4s
.inst   0xcec08492      //sm4e v18.4s,v4.4s
.inst   0xcec08493      //sm4e v19.4s,v4.4s

.inst   0xcec084b0      //sm4e v16.4s,v5.4s
.inst   0xcec084b1      //sm4e v17.4s,v5.4s
.inst   0xcec084b2      //sm4e v18.4s,v5.4s
.inst   0xcec084b3      //sm4e v19.4s,v5.4s

.inst   0xcec084d0      //sm4e v16.4s,v6.4s
.inst   0xcec084d1      //sm4e v17.4s,v6.4s
.inst   0xcec084d2      //sm4e v18.4s,v6.4s
.inst   0xcec084d3      //sm4e v19.4s,v6.4s

.inst   0xcec084f0      //sm4e v16.4s,v7.4s
        rev64   v16.4S,v16.4S
.inst   0xcec084f1      //sm4e v17.4s,v7.4s
        ext     v16.16b,v16.16b,v16.16b,#8
        rev64   v17.4S,v17.4S
.inst   0xcec084f2      //sm4e v18.4s,v7.4s
        ext     v17.16b,v17.16b,v17.16b,#8
        rev64   v18.4S,v18.4S
.inst   0xcec084f3      //sm4e v19.4s,v7.4s
        ext     v18.16b,v18.16b,v18.16b,#8
        rev64   v19.4S,v19.4S
        ext     v19.16b,v19.16b,v19.16b,#8
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
        rev32   v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
        rev32   v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
        rev32   v19.16b,v19.16b
#endif
        eor     v16.16b,v16.16b,v24.16b
        eor     v17.16b,v17.16b,v25.16b
        eor     v18.16b,v18.16b,v26.16b
        eor     v19.16b,v19.16b,v27.16b
        st1     {v16.4s,v17.4s,v18.4s,v19.4s},[x1],#64
        subs    x2,x2,#4
        b.eq    3f
        add     w5,w5,#1
        mov     v8.s[3],w5
        b       1b
1:
        subs    x2,x2,#1
        b.lt    3f
        mov     v16.16b,v8.16b
        ld1     {v24.4s},[x0],#16
.inst   0xcec08410      //sm4e v16.4s,v0.4s
.inst   0xcec08430      //sm4e v16.4s,v1.4s
.inst   0xcec08450      //sm4e v16.4s,v2.4s
.inst   0xcec08470      //sm4e v16.4s,v3.4s
.inst   0xcec08490      //sm4e v16.4s,v4.4s
.inst   0xcec084b0      //sm4e v16.4s,v5.4s
.inst   0xcec084d0      //sm4e v16.4s,v6.4s
.inst   0xcec084f0      //sm4e v16.4s,v7.4s
        rev64   v16.4S,v16.4S
        ext     v16.16b,v16.16b,v16.16b,#8
#ifndef __AARCH64EB__
        rev32   v16.16b,v16.16b
#endif
        eor     v16.16b,v16.16b,v24.16b
        st1     {v16.4s},[x1],#16
        b.eq    3f
        add     w5,w5,#1
        mov     v8.s[3],w5
        b       1b
3:
        ldp     d8,d9,[sp],#16
        ret
.size   sm4_v8_ctr32_encrypt_blocks,.-sm4_v8_ctr32_encrypt_blocks