福清建设局网站郑州整站网站优化

背景：

最近用到一块推理加速卡时，推理输入的数据是 float16 类型，而我们平常用到的数据是 float 类型，也就是 float32类型，这需要输入数据时float32 转 float16，解析输出数据时 float16 转 float。

参考：

1. 彻底搞懂float16与float32的计算方式
2. float32转float16

正文：
方式一：
CPU平台：ARM
操作系统：Ubuntu 20.04
CMakeLists.txt

cmake_minimum_required(VERSION 3.10)
project(cpp)set(CMAKE_CXX_STANDARD 14)
set(CMAKE_SYSTEM_NAME Linux)SET(CMAKE_CXX_FLAGS_DEBUG "$ENV{CXXFLAGS} -O0 -Wall -g2 -ggdb -Wno-dev")
SET(CMAKE_BUILD_TYPE "Release")
#add_compile_options(-W)add_executable(test_arm test_arm.cpp)

test_arm.cpp

#include <iostream>
#include <arm_neon.h>int main()
{// float32 -->> float16float f32 = 3.14159265358979323846f;unsigned short f16;float32x4_t tmp = vld1q_dup_f32(&f32);float16_t res = vget_lane_f16(vcvt_f16_f32(tmp), 0);f16 = *reinterpret_cast<uint16_t*>(&res);std::cout << f32 << std::endl;std::cout << f16 << std::endl;// float16 -->> float32float f321;float16_t tmp1 = *reinterpret_cast<float16_t*>(&f16);float32x4_t res1 = vcvt_f32_f16(vld1_dup_f16(&tmp1));vst1q_lane_f32(&f321, res1, 0);std::cout << f321 << std::endl;return 0;
}

打印结果：

3.14159
16968
3.14062

上面 float32 -->> float16 代码中，通过 vld1q_dup_f32 函数将 f32 中的值复制到一个四元素向量 tmp 中。然后使用 vcvt_f16_f32 函数将 tmp 中的值转换为一个16位浮点数，并使用 vget_lane_f16 函数从该浮点数中取出第 0 个元素作为结果。最后，它使用 reinterpret_cast 将结果转换为一个16位无符号短整型，并将其存储到 f16 中。

float16 -->> float32代码中，使用 reinterpret_cast 将 f16 转换为一个16位浮点数变量tmp。接着，使用 vld1_dup_f16 函数将 tmp 中的值装载到一个四元素向量中，并使用vcvt_f32_f16 函数将该向量中的16位浮点数值转换为32位浮点数。最后，使用vst1q_lane_f32将结果写回 f321 变量。