Chunking semantico + late chunking para RAG con Chonkie en 15 lineas

# pip install "chonkie[semantic]" # Combina SemanticChunker (corta donde el significado deriva) # con LateChunker (embebe el doc completo y luego recorta, # asi cada chunk conserva contexto de todo el documento). # Reporta +20-30% de MRR sobre fixed-size 512 en corpus tecnicos. from chonkie import SemanticChunker, LateChunker from chonkie.embeddings import SentenceTransformerEmbeddings emb = SentenceTransformerEmbeddings( model="minishlab/potion-base-8M", # 8M params, corre en CPU ) # 1) Corta cuando la similitud coseno entre frases adyacentes # cae por debajo del umbral. 0.7-0.8 va bien en docs tecnicos. semantic = SemanticChunker( embedding_model=emb, threshold=0.75, min_sentences=2, # evita chunks de una frase suelta max_chunk_size=512, # tope duro por si el tema es largo ) # 2) LateChunker embebe el DOC entero y luego recorta: # cada chunk lleva contexto global sin re-embedding manual. late = LateChunker(embedding_model=emb, chunk_size=384) def chunk_for_rag(doc: str): coarse = semantic.chunk(doc) # cortes semanticos fine = [c for x in coarse for c in late.chunk(x.text)] return fine # listo para vector DB