mvc4 做网站,哈尔滨建站,wordpress去除标签层级,网站访客记录 是后台做吗Gemma介绍 Gemma简介
Gemma是谷歌于2024年2月21日发布的一系列轻量级、最先进的开放语言模型#xff0c;使用了与创建Gemini模型相同的研究和技术。由Google DeepMind和Google其他团队共同开发。 Gemma提供两种尺寸的模型权重#xff1a;2B和7B。每种尺寸都带有经过预训练使用了与创建Gemini模型相同的研究和技术。由Google DeepMind和Google其他团队共同开发。 Gemma提供两种尺寸的模型权重2B和7B。每种尺寸都带有经过预训练pre-trained和经过指令调制instruction-tuned的变体。旨在为开发人员和研究者提供一个“轻量级、最先进的开源模型系列”Gemma提供了2B和7B两种不同规模的版本每种都包含了预训练基础版本和经过指令优化的版本并且无需数据量化处理拥有高达8K tokens的处理能力。
预训练模型可以用于各种自然语言处理任务例如文本生成、翻译、问答和摘要。指令调制模型经过微调可以执行特定任务例如编写代码、撰写不同类型的创意内容、回答开放式问题等。
Gemma模型可以在您的笔记本电脑、工作站或Google Cloud上运行并可轻松部署到Vertex AI和Google Kubernetes EngineGKE。
Gemma优势
Gemma具有以下优势
性能领先Gemma在多个基准测试中都取得了最先进的成果都优于Meta的Llama 2。易于使用Gemma提供简单易用的API可轻松集成到您的应用程序中。可扩展性Gemma可以根据您的需要进行扩展以满足各种规模的需求。开放性Gemma是开源的您可以自由使用和修改。模型较小尽管其参数数量较少但在关键基准测试中表现出色并且超过了一些更大的模型。*适用范围广拥有独特的运行环境可以在各种类型的设备上工作包括笔记本电脑、台式机、物联网设备、移动设备以及云端平台等。与Hugging Face平台无缝集成可以让AIGC爱好者更好的去使用。
Gemma应用
Gemma可以应用于各种自然语言处理任务包括
文本生成翻译问答摘要代码生成撰写创意内容回答开放式问题
总结
Gemma是谷歌发布的一系列轻量级、最先进的开放语言模型具有性能领先、易于使用、可扩展性和开放性等优势。Gemma可以应用于各种自然语言处理任务具有广阔的应用前景。
以下是一些Gemma的应用案例
新闻写作Gemma可以用于自动生成新闻报道例如体育比赛的赛况报道、公司财报的分析报道等。产品描述生成Gemma可以用于自动生成产品描述例如电商网站上的商品详情页。聊天机器人Gemma可以用于构建聊天机器人为用户提供个性化的服务。教育Gemma可以用于开发教育应用程序例如帮助学生学习语言或编写代码。
测试环境
硬件环境 小米 11 ultrark3588 测试板软件环境 小米11 android 13rk3588 android 13
环境准备
安装最新版 android studio下载android sdk 需要包含ndk-bundle *下载gemma.cpp设置ANDROID_NDK 路径
模型下载准备
available on kaggle 我下载的是2b-it-sfp模型选择gemma.cpp可运行版本模型
编译 git clone --recursive https://github.com/google/gemma.cppcd gemma.cppcmake -G Ninja -Bbuild_ninja_arm64 -DCMAKE_BUILD_TYPERelease -DCMAKE_TOOLCHAIN_FILE$ANDROID_NDK/build/cmake/android.toolchain.cmake \
-DANDROID_ABIarm64-v8a -DANDROID_PLATFORMandroid-21 -DANDROID_ARM_NEONON -DCMAKE_INSTALL_PREFIXpwd/build_ninja_arm64/android_install -DHWY_ENABLE_TESTSOFF .cmake --build build_ninja_arm64
拷贝到设备运行
用usb链接计算机或者使用无线链接到手机列出设备
adb devicesList of devices attached
172.16.0.89:5555 device
拷贝执行程序和模型 # 拷贝执行程序adb push ./build_ninja_arm64/gemma /data/local/tmp # 拷贝库adb push build_ninja_arm64/3rdparty/sentencepiece/src/libsentencepiece.so /data/local/tmp# 先解压再拷贝模型tar -xvf gemma_model_2b_cxx_sfp.tar.gzadb push gemma_model_2b_cxx_sfp/2b-it-sfp.sbs /data/local/tmpadb push gemma_model_2b_cxx_sfp/tokenizer.spm /data/local/tmp
运行 export LD_LIBRARY_PATH/data/local/tmp/./gemma --tokenizer tokenizer.spm --compressed_weights ./2b-it-sfp.sbs --model 2b-it
