Hugging Face's logo

newmindai
/
ColmmBERT-small-TR

Sentence Similarity
Safetensors
sentence-transformers
Turkish
PyLate
modernbert
ColBERT
feature-extraction
Generated from Trainer
dataset_size:910904
loss:Contrastive
text-embeddings-inference
Model card Files
xet
Community

PyLate model based on ozayezerceli/mmBERT-small-TR

This is a PyLate model finetuned from ozayezerceli/mmBERT-small-TR on the msmarco-tr dataset. It maps sentences & paragraphs to sequences of 128-dimensional dense vectors and can be used for semantic textual similarity using the MaxSim operator.

Model Details

Model Description

  • Model Type: PyLate model
  • Base model: ozayezerceli/mmBERT-small-TR
  • Document Length: 180 tokens
  • Query Length: 32 tokens
  • Output Dimensionality: 128 tokens
  • Similarity Function: MaxSim
  • Training Dataset:
  • Language: tr

Model Sources

Full Model Architecture 

ColBERT(
  (0): Transformer({'max_seq_length': 179, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
  (1): Dense({'in_features': 384, 'out_features': 128, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity', 'use_residual': False})
)

Usage

First install the PyLate library:

pip install -U pylate

Retrieval

Use this model with PyLate to index and retrieve documents. The index uses FastPLAID for efficient similarity search.

Indexing documents

Load the ColBERT model and initialize the PLAID index, then encode and index your documents:

from pylate import indexes, models, retrieve

# Step 1: Load the ColBERT model
model = models.ColBERT(
    model_name_or_path="pylate_model_id",
)

# Step 2: Initialize the PLAID index
index = indexes.PLAID(
    index_folder="pylate-index",
    index_name="index",
    override=True,  # This overwrites the existing index if any
)

# Step 3: Encode the documents
documents_ids = ["1", "2", "3"]
documents = ["document 1 text", "document 2 text", "document 3 text"]

documents_embeddings = model.encode(
    documents,
    batch_size=32,
    is_query=False,  # Ensure that it is set to False to indicate that these are documents, not queries
    show_progress_bar=True,
)

# Step 4: Add document embeddings to the index by providing embeddings and corresponding ids
index.add_documents(
    documents_ids=documents_ids,
    documents_embeddings=documents_embeddings,
)

Note that you do not have to recreate the index and encode the documents every time. Once you have created an index and added the documents, you can re-use the index later by loading it:

# To load an index, simply instantiate it with the correct folder/name and without overriding it
index = indexes.PLAID(
    index_folder="pylate-index",
    index_name="index",
)

Retrieving top-k documents for queries

Once the documents are indexed, you can retrieve the top-k most relevant documents for a given set of queries. To do so, initialize the ColBERT retriever with the index you want to search in, encode the queries and then retrieve the top-k documents to get the top matches ids and relevance scores:

# Step 1: Initialize the ColBERT retriever
retriever = retrieve.ColBERT(index=index)

# Step 2: Encode the queries
queries_embeddings = model.encode(
    ["query for document 3", "query for document 1"],
    batch_size=32,
    is_query=True,  #  # Ensure that it is set to False to indicate that these are queries
    show_progress_bar=True,
)

# Step 3: Retrieve top-k documents
scores = retriever.retrieve(
    queries_embeddings=queries_embeddings,
    k=10,  # Retrieve the top 10 matches for each query
)

Reranking

If you only want to use the ColBERT model to perform reranking on top of your first-stage retrieval pipeline without building an index, you can simply use rank function and pass the queries and documents to rerank:

from pylate import rank, models

queries = [
    "query A",
    "query B",
]

documents = [
    ["document A", "document B"],
    ["document 1", "document C", "document B"],
]

documents_ids = [
    [1, 2],
    [1, 3, 2],
]

model = models.ColBERT(
    model_name_or_path="pylate_model_id",
)

queries_embeddings = model.encode(
    queries,
    is_query=True,
)

documents_embeddings = model.encode(
    documents,
    is_query=False,
)

reranked_documents = rank.rerank(
    documents_ids=documents_ids,
    queries_embeddings=queries_embeddings,
    documents_embeddings=documents_embeddings,
)

Training Details

Training Dataset

msmarco-tr

  • Dataset: msmarco-tr at ffad30a
  • Size: 910,904 training samples
  • Columns: query, positive, and negative
  • Approximate statistics based on the first 1000 samples:
    query positive negative
    type string string string
    details
    • min: 5 tokens
    • mean: 12.04 tokens
    • max: 32 tokens
    • min: 24 tokens
    • mean: 31.98 tokens
    • max: 32 tokens
    • min: 25 tokens
    • mean: 31.98 tokens
    • max: 32 tokens
  • Samples:
    query positive negative
    sinir dokusundaki miyelin kılıfı nerede Miyelin, bir tabaka oluşturan akson dielektrik (elektriksel olarak yalıtkan) malzemeyi çevreleyen yağlı bir beyaz maddedir, miyelin kılıfı, genellikle sadece bir nöronun aksonu etrafında bulunur. Sinir sisteminin düzgün çalışması için gereklidir. Bir tür glial hücrenin bir dış büyümesidir. Miyelin kılıfının üretimi miyelinasyon olarak adlandırılır. İnsanlarda, miyelin kılıfı 14'üncü haftada başlar. İnsanlarda, dört temel doku tipi vardır: epitel dokusu, bağ dokusu, kas dokusu ve sinir dokusu. Her genel doku tipi içinde, belirli doku tipleri vardır. Bunu bir futbol takımı gibi düşünün.Her biri sahada kendi 'iş' olan bireysel oyuncular vardır.n insanlar, dört temel doku tipi vardır: epitel dokusu, bağ dokusu, kas dokusu ve sinir dokusu. Bu genel doku tipinde, her bir genel doku tipinde vardır.
    Okulların Makine Mühendisliğini Sundukları Şeyler Makine Mühendisliği Teknolojisi Dereceleri için Üst Okullar. Pennsylvania Eyalet Üniversitesi - Harrisburg, Purdue Üniversitesi ve Houston Üniversitesi, makine mühendisliği teknolojisi (MET) alanında lisans derecesi sunan üç okuldur. Bu üniversitelerdeki MET programları hakkında daha fazla bilgi edinmek için okumaya devam edin. Mühendis tanımı, motorların veya makinelerin tasarımında, yapımında ve kullanımında veya çeşitli mühendislik dallarından herhangi birinde eğitimli ve yetenekli bir kişi: bir makine mühendisi; bir inşaat mühendisi. Daha fazla bilgi için bkz.
    kim navigatör karıştırma valfleri taşır BRADLEY THERMOSTATIC MIXING VANAS. Bradley Corporation, armatür ve sıhhi tesisat ürünlerinin üretiminde lider, dört hat üretir. termostatik karıştırma valfleri (TMVs). Bradley Navigator Yüksek Düşük termostatik karıştırma valfleri vardır. Dıştan gelen talebin çok düşük olduğu uygulamalar için idealdir. Hidrolik Valfler. Eaton valfleri, tüm dünyadaki pazarlarda müşterilerimiz için rekabet avantajı sağlar. Geniş bir seçenek yelpazesinde benzersiz kalite sunan yüksek değerli hidrolik valf ürünlerimiz, gerçek endüstri liderlerinin tüm özelliklerini ve performans seviyelerini içerir. Endüstriyel Valfler.
  • Loss: pylate.losses.contrastive.Contrastive

Evaluation Dataset

msmarco-tr

  • Dataset: msmarco-tr at ffad30a
  • Size: 9,202 evaluation samples
  • Columns: query, positive, and negative
  • Approximate statistics based on the first 1000 samples:
    query positive negative
    type string string string
    details
    • min: 5 tokens
    • mean: 11.96 tokens
    • max: 32 tokens
    • min: 25 tokens
    • mean: 31.98 tokens
    • max: 32 tokens
    • min: 23 tokens
    • mean: 31.96 tokens
    • max: 32 tokens
  • Samples:
    query positive negative
    Ermin hangi hayvandır 1 Aslında ermine kelimesi beyaz kürklü bir hayvanı ifade ederken, sırt üstü kahverengi kürklü ve karnında baş ve beyaz kürklü bireyler için stoat kullanılır. Dünyada kaç hayvan türü var? İşte kaba bir sayım ve bilim adamlarının sayılara nasıl ulaştıklarına dair kısa bir açıklama. Dünyada kaç hayvan türü var? İşte kaba bir sayım ve bilim adamlarının sayılara nasıl ulaştıklarına dair kısa bir açıklama. Kaç hayvan türü var? https://www.thoughtco.com/how-many-animal-türleri-on-planet-130923 Strauss, Bob.
    Abacus nereden çıktı Abacus: Kısa Bir Tarih. Abacus, kökeni Yunanca abax veya abakon (masa veya tablet anlamına gelir) kelimelerinden gelen ve muhtemelen kum anlamına gelen Semitik abq kelimesinden kaynaklanan Latince bir kelimedir. Abacus, büyük sayıları saymak için kullanılan birçok sayma cihazından biridir. Hücre apeksinde, bir flagellum için çapa alanı olan bazal gövdedir. Bazal cisimler, dokuz periferik mikrotübül üçlüsü ile centrioles'inkine benzer bir alt yapıya sahiptir (görüntünün alt merkezindeki yapıya bakınız).
    Başın arkasında radyasyon tedavisi yüz kızarıklığına neden olur mu Radyasyon Terapisinin En Yaygın Yan Etkileri. Cilt reaksiyonu: Radyasyon tedavisinin yaygın bir yan etkisi, tedavi edilen vücut bölgesinde cilt tahrişidir. Cilt reaksiyonu, hafif kızarıklık ve kuruluktan (güneş yanığına benzer) bazı hastalarda cildin şiddetli soyulmasına (desquamation) kadar değişebilir. Bu açıklama amfizemi işaret edebilir. Bu, sigara içme geçmişiniz varsa daha da muhtemeldir. Radyasyon terapisi bilinen nedenlerden biri değildir. Bu konuda daha fazla cevap almak ve semptomlarınızı çözmeye yardımcı olmak için bir pulmonologla takip etmenizi isteyeceğim. Umarım bu, sorgunuzu tamamen ele alır. Sigara içme geçmişiniz varsa, daha da fazla umut eder. Radyasyon terapisi, bu sorunun çözümüne yardımcı olmanızı ve bu sorunun cevabını takip etmenizi isterim.
  • Loss: pylate.losses.contrastive.Contrastive

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 64
  • per_device_eval_batch_size: 64
  • learning_rate: 3e-06
  • num_train_epochs: 1
  • fp16: True

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 64
  • per_device_eval_batch_size: 64
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 3e-06
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 1
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: True
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch_fused
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • hub_revision: None
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • liger_kernel_config: None
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {}
  • learning_rate_mapping: {}

Training Logs

Click to expand
Epoch Step Training Loss
0.0001 1 3.6259
0.0070 100 1.7933
0.0141 200 1.0846
0.0211 300 0.891
0.0281 400 0.7889
0.0351 500 0.709
0.0422 600 0.6436
0.0492 700 0.6129
0.0562 800 0.5485
0.0632 900 0.5111
0.0703 1000 0.45
0.0773 1100 0.4241
0.0843 1200 0.4065
0.0913 1300 0.3881
0.0984 1400 0.3655
0.1054 1500 0.3529
0.1124 1600 0.351
0.1194 1700 0.32
0.1265 1800 0.3284
0.1335 1900 0.32
0.1405 2000 0.3108
0.1475 2100 0.2908
0.1546 2200 0.2925
0.1616 2300 0.2891
0.1686 2400 0.2899
0.1756 2500 0.2728
0.1827 2600 0.2799
0.1897 2700 0.2633
0.1967 2800 0.2861
0.2038 2900 0.257
0.2108 3000 0.2464
0.2178 3100 0.2532
0.2248 3200 0.2547
0.2319 3300 0.2359
0.2389 3400 0.2498
0.2459 3500 0.2497
0.2529 3600 0.2662
0.2600 3700 0.2654
0.2670 3800 0.2408
0.2740 3900 0.233
0.2810 4000 0.2294
0.2881 4100 0.2399
0.2951 4200 0.2237
0.3021 4300 0.2266
0.3091 4400 0.2169
0.3162 4500 0.2204
0.3232 4600 0.226
0.3302 4700 0.219
0.3372 4800 0.1988
0.3443 4900 0.2139
0.3513 5000 0.2274
0.3583 5100 0.2029
0.3653 5200 0.212
0.3724 5300 0.2081
0.3794 5400 0.2164
0.3864 5500 0.2053
0.3935 5600 0.2007
0.4005 5700 0.2089
0.4075 5800 0.1835
0.4145 5900 0.211
0.4216 6000 0.1963
0.4286 6100 0.1871
0.4356 6200 0.1911
0.4426 6300 0.1875
0.4497 6400 0.1866
0.4567 6500 0.1914
0.4637 6600 0.1815
0.4707 6700 0.1883
0.4778 6800 0.1795
0.4848 6900 0.2023
0.4918 7000 0.1855
0.4988 7100 0.1886
0.5059 7200 0.1899
0.5129 7300 0.1926
0.5199 7400 0.1746
0.5269 7500 0.1932
0.5340 7600 0.1958
0.5410 7700 0.2029
0.5480 7800 0.1798
0.5550 7900 0.1831
0.5621 8000 0.1844
0.5691 8100 0.1883
0.5761 8200 0.1762
0.5832 8300 0.1731
0.5902 8400 0.1741
0.5972 8500 0.1729
0.6042 8600 0.1714
0.6113 8700 0.1829
0.6183 8800 0.1797
0.6253 8900 0.1856
0.6323 9000 0.1824
0.6394 9100 0.1759
0.6464 9200 0.1808
0.6534 9300 0.1743
0.6604 9400 0.1684
0.6675 9500 0.186
0.6745 9600 0.1759
0.6815 9700 0.1878
0.6885 9800 0.1612
0.6956 9900 0.1717
0.7026 10000 0.1802
0.7096 10100 0.1773
0.7166 10200 0.155
0.7237 10300 0.1567
0.7307 10400 0.1686
0.7377 10500 0.1726
0.7447 10600 0.1751
0.7518 10700 0.1769
0.7588 10800 0.1779
0.7658 10900 0.1629
0.7729 11000 0.1673
0.7799 11100 0.1725
0.7869 11200 0.1705
0.7939 11300 0.1742
0.8010 11400 0.1714
0.8080 11500 0.1586
0.8150 11600 0.1566
0.8220 11700 0.1853
0.8291 11800 0.1699
0.8361 11900 0.1574
0.8431 12000 0.1678
0.8501 12100 0.1691
0.8572 12200 0.1649
0.8642 12300 0.1599
0.8712 12400 0.1631
0.8782 12500 0.16
0.8853 12600 0.1635
0.8923 12700 0.1601
0.8993 12800 0.1701
0.9063 12900 0.1457
0.9134 13000 0.1654
0.9204 13100 0.1615
0.9274 13200 0.1719
0.9344 13300 0.1737
0.9415 13400 0.1695
0.9485 13500 0.1606
0.9555 13600 0.1615
0.9626 13700 0.171
0.9696 13800 0.1613
0.9766 13900 0.1577
0.9836 14000 0.1753
0.9907 14100 0.1658
0.9977 14200 0.1612

Framework Versions

  • Python: 3.12.12
  • Sentence Transformers: 5.1.1
  • PyLate: 1.3.4
  • Transformers: 4.56.2
  • PyTorch: 2.8.0+cu128
  • Accelerate: 1.10.1
  • Datasets: 4.0.0
  • Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084"
}

PyLate 

@misc{PyLate,
title={PyLate: Flexible Training and Retrieval for Late Interaction Models},
author={Chaffin, Antoine and Sourty, Raphaël},
url={https://github.com/lightonai/pylate},
year={2024}
}
Downloads last month
10
Safetensors
Model size
0.1B params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for newmindai/ColmmBERT-small-TR

Base model

newmindai/mmBERT-small-TR
Finetuned
(1)
this model

Dataset used to train newmindai/ColmmBERT-small-TR

Collection including newmindai/ColmmBERT-small-TR