Savoxism/paraphrase-multilingual-MiniLM-L12-v2-SFT

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Savoxism/paraphrase-multilingual-MiniLM-L12-v2-SFT")
# Run inference
sentences = [
    'cơ sở dữ liệu về cư trú là tài sản quốc gia do bộ công an thống nhất quản lý đúng hay sai',
    'Cơ sở dữ liệu về cư trú 1. Cơ sở dữ liệu về cư trú được xây dựng để phục vụ công tác quản lý nhà nước về cư trú, là tài sản quốc gia do Bộ Công an thống nhất quản lý. 2. Cơ sở dữ liệu về cư trú phải bảo đảm kết nối với Cơ sở dữ liệu quốc gia về dân cư và cơ sở dữ liệu khác theo quy định của pháp luật, đáp ứng chuẩn về cơ sở dữ liệu và tiêu chuẩn, quy chuẩn kỹ thuật công nghệ thông tin. 3. Việc thu thập, lưu trữ, xử lý, bảo vệ và khai thác, sử dụng dữ liệu về cư trú phải đáp ứng các yêu cầu sau đây: a) Ứng dụng công nghệ thông tin để thu thập, lưu trữ, xử lý thông tin về cư trú đầy đủ, nhanh chóng, chính xác; bảo đảm an toàn dữ liệu theo đúng nguyên tắc, định dạng hệ cơ sở dữ liệu; b) Bảo đảm an toàn các thiết bị lưu trữ thông tin, tài liệu về cư trú; c) Bảo vệ an ninh mạng, an ninh thông tin về cư trú trên mạng máy tính; bảo đảm an toàn thông tin, tài liệu lưu trữ trong Cơ sở dữ liệu về cư trú; phòng, chống các hành vi tấn công, xâm nhập, đánh cắp thông tin, phá hoại hoặc làm hư hỏng dữ liệu về cư trú; d) Mọi sự truy nhập đến Cơ sở dữ liệu về cư trú để thay đổi thông tin về cư trú của công dân phải được sự phê duyệt của thủ trưởng cơ quan đăng ký cư trú hoặc cơ quan khác có thẩm quyền; đ) Cơ quan, tổ chức, cá nhân không được cung cấp, trao đổi, sao chép, in trái phép thông tin, tài liệu từ Cơ sở dữ liệu về cư trú. 4. Chính phủ quy định chi tiết việc xây dựng, quản lý, sử dụng Cơ sở dữ liệu về cư trú, thông tin trong Cơ sở dữ liệu về cư trú và việc cung cấp, trao đổi thông tin, tài liệu từ Cơ sở dữ liệu về cư trú cho cơ quan, tổ chức, cá nhân.',
    'Trách nhiệm quản lý nhà nước về cư trú 1. Chính phủ thống nhất quản lý nhà nước về cư trú trong phạm vi cả nước. 2. Bộ Công an chịu trách nhiệm trước Chính phủ thực hiện quản lý nhà nước về cư trú và có trách nhiệm sau đây: a) Xây dựng và trình Chính phủ ban hành hoặc ban hành theo thẩm quyền văn bản quy phạm pháp luật về cư trú; b) Chỉ đạo và tổ chức thực hiện các văn bản quy phạm pháp luật về cư trú; tổ chức việc đăng ký, quản lý cư trú trên toàn quốc, cập nhật thông tin về cư trú vào Cơ sở dữ liệu quốc gia về dân cư, Cơ sở dữ liệu về cư trú; c) Đình chỉ, bãi bỏ theo thẩm quyền hoặc kiến nghị cấp có thẩm quyền bãi bỏ quy định về quản lý cư trú trái với quy định của Luật này; d) Ban hành, in ấn và quản lý tờ khai thay đổi thông tin cư trú và các giấy tờ, tài liệu, biểu mẫu, sổ sách về cư trú; đ) Trang bị máy móc, phương tiện, thiết bị; bố trí, đào tạo, bồi dưỡng cán bộ làm công tác quản lý cư trú; e) Thống kê nhà nước về cư trú, tổng kết, nghiên cứu khoa học về quản lý cư trú, tổ chức tuyên truyền, phổ biến, giáo dục pháp luật về cư trú; g) Kiểm tra, thanh tra, giải quyết khiếu nại, tố cáo và xử lý vi phạm pháp luật về cư trú theo quy định của pháp luật; h) Hợp tác quốc tế về quản lý cư trú. 3. Bộ, cơ quan ngang Bộ, trong phạm vi nhiệm vụ, quyền hạn của mình, có trách nhiệm thực hiện quản lý nhà nước về cư trú theo sự phân công của Chính phủ. 4. Ủy ban nhân dân các cấp, trong phạm vi nhiệm vụ, quyền hạn của mình, có trách nhiệm sau đây: a) Tổ chức thực hiện các văn bản quy phạm pháp luật về cư trú tại địa phương; b) Chỉ đạo việc phối hợp giữa các cơ quan hữu quan ở địa phương về quản lý cư trú; c) Tổ chức tuyên truyền, phổ biến, giáo dục pháp luật về cư trú; d) Kiểm tra, thanh tra, giải quyết khiếu nại, tố cáo và xử lý vi phạm pháp luật về cư trú theo quy định của pháp luật.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,000 training samples
• Columns: sentence_0, sentence_1, and sentence_2
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	sentence_2
  type	string	string	string
  details	min: 8 tokens mean: 27.44 tokens max: 68 tokens	min: 43 tokens mean: 116.26 tokens max: 128 tokens	min: 33 tokens mean: 121.63 tokens max: 128 tokens

• Samples:

  sentence_0	sentence_1	sentence_2
  mục tiêu của giáo dục nghề nghiệp là gì	Mục tiêu của giáo dục nghề nghiệp Giáo dục nghề nghiệp nhằm đào tạo nhân lực trực tiếp cho sản xuất, kinh doanh và dịch vụ, có năng lực hành nghề tương ứng với trình độ đào tạo; có đạo đức, sức khỏe; có trách nhiệm nghề nghiệp; có khả năng sáng tạo, thích ứng với môi trường hội nhập quốc tế; bảo đảm nâng cao năng suất, chất lượng lao động; tạo điều kiện cho người học sau khi hoàn thành khóa học có khả năng tìm việc làm, tự tạo việc làm hoặc học trình độ cao hơn.	Giải thích từ ngữ Trong Luật này, các từ ngữ dưới đây được hiểu như sau: 1. Giáo dục chính quy là giáo dục theo khóa học trong cơ sở giáo dục để thực hiện một chương trình giáo dục nhất định, được thiết lập theo mục tiêu của các cấp học, trình độ đào tạo và được cấp văn bằng của hệ thống giáo dục quốc dân. 2. Giáo dục thường xuyên là giáo dục để thực hiện một chương trình giáo dục nhất định, được tổ chức linh hoạt về hình thức thực hiện chương trình, thời gian, phương pháp, địa điểm, đáp ứng nhu cầu học tập suốt đời của người học. 3. Kiểm định chất lượng giáo dục là hoạt động đánh giá, công nhận cơ sở giáo dục hoặc chương trình đào tạo đạt tiêu chuẩn chất lượng giáo dục do cơ quan, tổ chức có thẩm quyền ban hành. 4. Niên chế là hình thức tổ chức quá trình giáo dục, đào tạo theo năm học. 5. Tín chỉ là đơn vị dùng để đo lường khối lượng kiến thức, kỹ năng và kết quả học tập đã tích lũy được trong một khoảng thời gian nhất định. 6. Mô-đun là đơn vị học tập được tích hợp giữa kiến thức, kỹ...
  hành vi nào sau đây không thuộc hành vi bị nghiêm cấm về cư trú	Các hành vi bị nghiêm cấm về cư trú 1. Cản trở công dân thực hiện quyền tự do cư trú. 2. Lạm dụng việc sử dụng thông tin về nơi thường trú, nơi tạm trú làm điều kiện để hạn chế quyền, lợi ích hợp pháp của công dân. 3. Đưa, môi giới, nhận hối lộ trong việc đăng ký, quản lý cư trú. 4. Không tiếp nhận, trì hoãn việc tiếp nhận hồ sơ, giấy tờ, tài liệu, thông tin đăng ký cư trú hoặc có hành vi nhũng nhiễu khác; không thực hiện, thực hiện không đúng thời hạn đăng ký cư trú cho công dân khi hồ sơ đủ điều kiện đăng ký cư trú; xóa đăng ký thường trú, đăng ký tạm trú trái với quy định của pháp luật. 5. Thu, quản lý, sử dụng lệ phí đăng ký cư trú trái với quy định của pháp luật. 6. Tự đặt ra thời hạn, thủ tục, giấy tờ, tài liệu, biểu mẫu trái với quy định của pháp luật hoặc làm sai lệch thông tin, sổ sách, hồ sơ về cư trú. 7. Cố ý cấp hoặc từ chối cấp giấy tờ, tài liệu về cư trú trái với quy định của pháp luật. 8. Lợi dụng việc thực hiện quyền tự do cư trú để xâm phạm lợi ích của Nhà nước, quyề...	Giải thích từ ngữ Trong Luật này, các từ ngữ dưới đây được hiểu như sau: 1. Chỗ ở hợp pháp là nơi được sử dụng để sinh sống, thuộc quyền sở hữu hoặc quyền sử dụng của công dân, bao gồm nhà ở, tàu, thuyền, phương tiện khác có khả năng di chuyển hoặc chỗ ở khác theo quy định của pháp luật. 2. Cư trú là việc công dân sinh sống tại một địa điểm thuộc đơn vị hành chính cấp xã hoặc đơn vị hành chính cấp huyện ở nơi không có đơn vị hành chính cấp xã (sau đây gọi chung là đơn vị hành chính cấp xã). 3. Cơ sở dữ liệu về cư trú là cơ sở dữ liệu chuyên ngành, tập hợp thông tin về cư trú của công dân, được số hóa, lưu trữ, quản lý bằng cơ sở hạ tầng thông tin, được kết nối, chia sẻ với Cơ sở dữ liệu quốc gia về dân cư và cơ sở dữ liệu khác theo quy định của pháp luật. 4. Cơ quan đăng ký cư trú là cơ quan quản lý cư trú trực tiếp thực hiện việc đăng ký cư trú của công dân, bao gồm Công an xã, phường, thị trấn; Công an huyện, quận, thị xã, thành phố thuộc tỉnh, thành phố thuộc thành phố trực thuộc tr...
  thời hạn quản lý người sử dụng trái phép chất ma túy là bao lâu kể từ ngày chủ tịch ủy ban nhân dân cấp xã phường ra quyết định quản lý	Quản lý người sử dụng trái phép chất ma túy 1. Quản lý người sử dụng trái phép chất ma túy là biện pháp phòng ngừa nhằm giúp người sử dụng trái phép chất ma túy không tiếp tục sử dụng trái phép chất ma túy, phòng ngừa các hành vi vi phạm pháp luật của họ. Quản lý người sử dụng trái phép chất ma túy không phải là biện pháp xử lý hành chính. 2. Thời hạn quản lý người sử dụng trái phép chất ma túy là 01 năm kể từ ngày Chủ tịch Ủy ban nhân dân cấp xã ra quyết định quản lý. 3. Nội dung quản lý người sử dụng trái phép chất ma túy bao gồm: a) Tư vấn, động viên, giáo dục, giúp đỡ người sử dụng trái phép chất ma túy để họ không tiếp tục sử dụng trái phép chất ma túy; b) Xét nghiệm chất ma túy trong cơ thể; c) Ngăn chặn người sử dụng trái phép chất ma túy có hành vi gây mất trật tự, an toàn xã hội. 4. Trong thời hạn 03 ngày làm việc kể từ ngày nhận được kết quả xét nghiệm dương tính của người cư trú tại địa phương, Chủ tịch Ủy ban nhân dân cấp xã có trách nhiệm ra quyết định và tổ chức quản lý n...	Biện pháp can thiệp giảm tác hại đối với người sử dụng trái phép chất ma túy và người nghiện ma túy 1. Biện pháp can thiệp giảm tác hại đối với người sử dụng trái phép chất ma túy và người nghiện ma túy là biện pháp làm giảm tác hại liên quan đến hành vi sử dụng trái phép chất ma túy gây ra cho bản thân, gia đình và cộng đồng. 2. Biện pháp can thiệp giảm tác hại đối với người sử dụng trái phép chất ma túy và người nghiện ma túy bao gồm: a) Điều trị nghiện các chất dạng thuốc phiện bằng thuốc thay thế; b) Các biện pháp khác theo quy định của Chính phủ.

• Loss: TripletLoss with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.COSINE",
      "triplet_margin": 0.5
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• num_train_epochs: 4
• fp16: True
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 4.1.0
• Transformers: 4.52.4
• PyTorch: 2.6.0+cu124
• Accelerate: 1.8.1
• Datasets: 3.6.0
• Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}