Model Card: LLAMA3.3 70B

Descripción General

• Nombre del Modelo: LLAMA3.3.

• Tipo de Modelo: Generación de texto.

• Desarrollado por: Meta.

• Tamaño en Parámetros: 70B.

Uso Previsto

Casos de Uso Recomendados

• Llama 3.3 está pensado para uso comercial y de investigación en varios idiomas.

• Admite la capacidad de aprovechar los resultados de sus modelos para mejorar otros modelos, incluida la generación y destilación de datos sintéticos.

• Los modelos de solo texto ajustados a las instrucciones están pensados ​​para un chat tipo asistente.

Casos de Uso No Recomendados

• Cualquier uso que viole leyes o regulaciones aplicables, incluyendo leyes de cumplimiento comercial.

• Usos prohibidos específicamente por:

  • La Política de uso aceptable de Llama 3.3

  • La Licencia comunitaria de Llama 3.3

• Implementación del modelo de forma aislada sin medidas de seguridad adicionales a nivel de sistema. El modelo debe ser parte de un sistema de IA más amplio con las protecciones necesarias.

• Cualquier implementación sin realizar previamente:

  • Pruebas de seguridad adaptadas al caso de uso específico

  • Los ajustes necesarios para la aplicación particular

  • La evaluación de riesgos correspondiente

Factores y Métricas de Rendimiento

Datos de Entrenamiento

• Llama 3.3 se entrenó previamente con aproximadamente 15 billones de tokens de datos de fuentes disponibles públicamente. Los datos de ajuste incluyen conjuntos de datos de instrucciones disponibles públicamente, así como más de 25 millones de ejemplos generados sintéticamente.

  Frescura de los datos: los datos previos al entrenamiento tienen fecha de corte en diciembre de 2023.

Métricas de Evaluación

• *TBD graphic

Limitaciones y Sesgos

Limitaciones Técnicas

Al igual que en el desarrollo de software estándar, los desarrolladores son responsables de la integración de LLM con las herramientas y los servicios de su elección. Deben definir una política clara para su caso de uso y evaluar la integridad de los servicios de terceros que utilizan para conocer las limitaciones de seguridad al utilizar esta capacidad. Consulte la Guía de uso responsable para conocer las mejores prácticas sobre la implementación segura de las medidas de seguridad de terceros.

Multilingüismo : Llama 3.3 admite 7 idiomas además del inglés: francés, alemán, hindi, italiano, portugués, español y tailandés. Llama puede generar texto en otros idiomas que no cumplan con los umbrales de rendimiento de seguridad y utilidad. Recomendamos enfáticamente a los desarrolladores que utilicen este modelo para conversar en idiomas no admitidos sin implementar ajustes y controles del sistema en consonancia con sus políticas y las mejores prácticas compartidas en la Guía de uso responsable.

Consideraciones Éticas y de Seguridad

Directrices de Seguridad

• Llama es una tecnología fundamental diseñada para usarse en una variedad de casos de uso. En la página web Historias de la comunidad , se pueden encontrar ejemplos de cómo se han implementado de manera responsable los modelos Llama de Meta. Su enfoque es construir los modelos más útiles que permitan que el mundo se beneficie del poder de la tecnología, alineando la seguridad de nuestro modelo para los casos de uso genéricos que abordan un conjunto estándar de daños. Luego, los desarrolladores están en el asiento del conductor para adaptar la seguridad a su caso de uso, definiendo su propia política e implementando los modelos con las salvaguardas necesarias en sus sistemas Llama. Puede consultar la Guía de uso responsable para obtener más información.
• Llama 3.3 instrucciones

  Nuestros principales objetivos al realizar ajustes de seguridad son brindar a la comunidad de investigación un recurso valioso para estudiar la solidez de los ajustes de seguridad, así como ofrecer a los desarrolladores un modelo disponible, seguro y potente para diversas aplicaciones a fin de reducir la carga de trabajo de los desarrolladores para implementar sistemas de IA seguros. Para obtener más detalles sobre las mitigaciones de seguridad implementadas, lea el artículo de Llama 3.

• Ajuste de datos Empleamos un enfoque multifacético para la recopilación de datos, combinando datos generados por humanos de nuestros proveedores con datos sintéticos para mitigar los posibles riesgos de seguridad. Hemos desarrollado muchos clasificadores basados ​​en modelos de lenguaje grandes (LLM) que nos permiten seleccionar cuidadosamente indicaciones y respuestas de alta calidad, lo que mejora el control de calidad de los datos.

• Rechazos y tono Basándonos en el trabajo que comenzamos con Llama 3, pusimos un gran énfasis en los rechazos modelo a indicaciones benignas, así como en el tono de rechazo. Incluimos indicaciones adversas y limítrofes en nuestra estrategia de datos de seguridad, y modificamos nuestras respuestas a los datos de seguridad para seguir las pautas de tono.

• Sistemas Llama 3.3

  Los modelos de lenguaje de gran tamaño, incluido Llama 3.3, no están diseñados para implementarse de forma aislada, sino que deben implementarse como parte de un sistema de IA general con medidas de seguridad adicionales según sea necesario. Se espera que los desarrolladores implementen medidas de seguridad del sistema al crear sistemas de agentes. Las medidas de seguridad son fundamentales para lograr la alineación adecuada entre utilidad y seguridad, así como para mitigar los riesgos de seguridad inherentes al sistema y a cualquier integración del modelo o sistema con herramientas externas.

• Como parte de nuestro enfoque de lanzamiento responsable, proporcionamos a la comunidad medidas de seguridad que los desarrolladores deben implementar con los modelos de Llama u otros modelos de lenguaje de gran tamaño, incluidos Llama Guard 3, Prompt Guard y Code Shield. Todas nuestras demostraciones de implementaciones de referencia contienen estas medidas de seguridad de forma predeterminada para que los desarrolladores puedan beneficiarse de la seguridad a nivel de sistema de forma inmediata.