Tüm araştırmalar

Bir AI İsteği Nasıl Çalışır: Request'ten response'a 70 katman

Kullanıcı 'gönder'e bastığı andan ekranda akan ilk token'a, oradan tool çağrısı döngüsüne ve faturalanan usage kaydına kadar — bir LLM isteğinin yaşam döngüsünü uçtan uca açan harita. Tokenizer, embedding, attention, KV cache, sampling, streaming, MoE, speculative decoding ve ajan döngüsü dahil.

  1. İstemci tarafı: tuştan HTTP'ye
    01

    Klavye, tuş ve input event

    Kullanıcı yazar; tarayıcı her tuş için keydown/input event üretir, React state'e işler.

    Uygulanabilirlik %100Temas %99
  2. 02

    Textarea state ve optimistic UI

    Mesaj listesine 'gönderiliyor' rolüyle hemen eklenir; typing indicator açılır. Algılanan gecikme yarıya iner.

    Uygulanabilirlik %100Temas %95
  3. 03

    İstemci validasyonu

    Boş mesaj, çok uzun input, dosya boyutu, dil/karakter kontrolleri client'ta — sunucuya gitmeden uyarı.

    Uygulanabilirlik %100Temas %85
  4. 04

    Auth token ekleme

    Supabase session/JWT veya cookie; Authorization: Bearer ... header'ı isteğe iliştirilir.

    Uygulanabilirlik %100Temas %95
  5. 05

    Konuşma geçmişinin paketlenmesi

    useChat / fetch: önceki mesajlar, attachments, conversation_id ile JSON gövdesi hazırlanır.

    Uygulanabilirlik %100Temas %90
  6. 06

    Fetch / EventSource çağrısı

    POST /api/chat — genellikle streaming için fetch + ReadableStream ya da SSE. AbortController ile iptal hazır.

    Uygulanabilirlik %100Temas %99
  7. 07

    DNS ve TLS handshake

    Domain çözümlenir, TLS 1.3 ile şifreli kanal kurulur; ilk byte'a kadar 50–200ms gecikme buradan.

    Uygulanabilirlik %100Temas %90
  8. 08

    HTTP/2 veya HTTP/3 üzerinden gönderim

    Header sıkıştırma, multiplexing; istek edge'e ulaşır. Mobilde HTTP/3 (QUIC) belirgin hızlanma sağlar.

    Uygulanabilirlik %100Temas %80
  9. Ağ ve gateway: tarayıcıdan model sunucusuna
    09

    CDN / edge POP

    Cloudflare, Fastly, Vercel Edge — istek kullanıcıya en yakın noktada karşılanır, gerekirse origin'e taşınır.

    Uygulanabilirlik %100Temas %95
  10. 10

    Rate limit ve abuse koruması

    IP, kullanıcı, organizasyon başına dakika/dakika token limitleri; aşıldıysa 429 döner, hiç modele gitmez.

    Uygulanabilirlik %100Temas %90
  11. 11

    WAF ve içerik filtreleri

    Prompt injection, jailbreak, PII sızıntısı için pre-filter; bazı isteği reddeder ya da maskeler.

    Uygulanabilirlik %85Temas %60
  12. 12

    API gateway / load balancer

    İstek doğru servise yönlendirilir; model adı, region, quota'ya göre upstream seçilir.

    Uygulanabilirlik %100Temas %85
  13. 13

    Auth doğrulama (sunucu)

    JWT imza, exp, audience kontrol; kullanıcı kimliği ve plan bilgisi context'e eklenir.

    Uygulanabilirlik %100Temas %95
  14. 14

    AI gateway katmanı

    Lovable AI Gateway, OpenRouter, Portkey: provider seç, fallback, retry, cost guard, logging tek noktadan.

    Uygulanabilirlik %100Temas %90
  15. 15

    Model routing

    Aynı 'gpt-5' isteği latency/cost/availability'ye göre farklı bölgeye veya yedek provider'a yönlendirilir.

    Uygulanabilirlik %95Temas %80
  16. 16

    Provider'a iletim

    OpenAI/Anthropic/Google API'sine kimlik doğrulanmış HTTPS isteği; üst sınır: ~1MB gövde, dakika limiti.

    Uygulanabilirlik %100Temas %95
  17. Prompt inşası: sistem, hafıza, RAG, tools
    17

    System prompt yüklenmesi

    Ürünün kişiliği, kuralları, format kısıtları — her istekte sabit önek. Lovable'ın sistem prompt'u buraya örnek.

    Uygulanabilirlik %100Temas %95
  18. 18

    Konuşma geçmişinin enjeksiyonu

    Sıralı mesajlar role:user/assistant olarak diziye eklenir; sıra önemli, bağlamı tek başına bu kurar.

    Uygulanabilirlik %100Temas %95
  19. 19

    Hafıza / memory hooks

    Kullanıcı tercihleri, geçmiş özetler, persona — 'index' düzeyinde mesajlara monte edilir.

    Uygulanabilirlik %90Temas %70
  20. 20

    RAG: retrieval

    Sorudan embedding üretilir, vektör DB'de top-k benzer dokuman çekilir (ms cinsinden).

    Uygulanabilirlik %100Temas %85
  21. 21

    RAG: re-ranking

    Cross-encoder veya LLM ile yeniden sıralama; top-k'dan en alakalı 3–5 parça seçilir.

    Uygulanabilirlik %90Temas %70
  22. 22

    Bağlam penceresine sığdırma

    Token bütçesi (örn. 128k); aşılırsa eski mesajlar özetlenir veya kırpılır. 'lost in the middle' riski.

    Uygulanabilirlik %100Temas %90
  23. 23

    Tool / function şemaları

    JSON schema ile tanımlı fonksiyonlar prompt'a eklenir; model bunları 'çağırabileceğini' bilir.

    Uygulanabilirlik %100Temas %80
  24. 24

    Multimodal eklerin hazırlanması

    Görseller base64/url, ses/wav, PDF parse → tek bir messages dizisinde parts olarak paketlenir.

    Uygulanabilirlik %100Temas %70
  25. 25

    Output format kısıtı

    response_format: json_schema, structured output, grammar (xgrammar/outlines) — modeli geçerli JSON'a hapseder.

    Uygulanabilirlik %100Temas %80
  26. 26

    Caching kararı

    Aynı sistem prompt'u veya doküman bloku için prompt caching (Anthropic/OpenAI/Google); 90%'a varan tasarruf.

    Uygulanabilirlik %100Temas %85
  27. Tokenizasyon ve embedding
    27

    Tokenizer (BPE / SentencePiece)

    'Merhaba dünya' → [12, 5821, 1532]. Türkçe genelde 1.5–2x daha çok token. Maliyetin atomu burası.

    Uygulanabilirlik %100Temas %99
  28. 28

    Özel token'lar

    <|im_start|>, <|tool_call|>, BOS/EOS — modeli rol ve sınır olarak konuşmanın yapısına yönlendirir.

    Uygulanabilirlik %100Temas %85
  29. 29

    Token ID dizisi

    Tüm mesajlar tek bir int32 dizisine düşer; uzunluk = context length. KV cache buna göre allocate edilir.

    Uygulanabilirlik %100Temas %95
  30. 30

    Embedding lookup

    Her token ID, d_model boyutlu (örn. 4096) bir vektöre map'lenir. Öğrenilebilir parametre matrisi.

    Uygulanabilirlik %100Temas %90
  31. 31

    Pozisyon enkodlaması (RoPE)

    Rotary embedding ile her token'ın 'kaçıncı' olduğu vektöre döndürülür; uzun bağlamın matematiksel temeli.

    Uygulanabilirlik %100Temas %85
  32. 32

    Batch ve padding

    GPU verimli çalışsın diye birden çok istek batch'lenir; continuous batching ile dinamik karışım (vLLM, TGI).

    Uygulanabilirlik %100Temas %80
  33. 33

    Cihaz transferi

    Tensor CPU'dan GPU/TPU'ya kopyalanır; pinned memory ile latency azaltılır.

    Uygulanabilirlik %100Temas %85
  34. 34

    Precision (fp16/bf16/fp8/int4)

    Çıkarım için quantization; 7B model 4-bit'te 4GB'a iner, hız 2–4x artar, kalite çok az düşer.

    Uygulanabilirlik %100Temas %85
  35. Transformer ileri geçişi
    35

    Layer normalization

    Her katmanın girdisi normalize edilir; eğitimi ve çıkarımı stabilize eder.

    Uygulanabilirlik %100Temas %80
  36. 36

    Q, K, V projeksiyonları

    Her token'dan üç vektör üretilir: ne soruyor (Q), neyim (K), ne taşıyorum (V).

    Uygulanabilirlik %100Temas %90
  37. 37

    Self-attention skorları

    Q · Kᵀ / √d — her token, geçmiş tüm token'lara ne kadar 'baktığını' hesaplar. Modelin kalbi.

    Uygulanabilirlik %100Temas %95
  38. 38

    Causal mask

    Bir token sadece kendisinden öncekilere bakabilir; otoregresif üretimi mümkün kılan kısıt.

    Uygulanabilirlik %100Temas %90
  39. 39

    Softmax ve V ağırlıklı toplam

    Skorlar olasılığa çevrilir, V'lerin ağırlıklı toplamı yeni temsil olur.

    Uygulanabilirlik %100Temas %85
  40. 40

    Multi-head attention

    Aynı işlem n_heads paralel kafayla yapılır; farklı 'ilişki tipleri' (sözdizimi, referans, mantık) yakalanır.

    Uygulanabilirlik %100Temas %85
  41. 41

    KV cache

    Önceki token'ların K ve V'leri saklanır; her yeni token sadece kendi Q'sunu hesaplar. Streaming bunu mümkün kılar.

    Uygulanabilirlik %100Temas %95
  42. 42

    FlashAttention / paged attention

    Bellek-verimli attention kernel'leri; uzun bağlamı GPU'da pratik kılan optimizasyon.

    Uygulanabilirlik %100Temas %85
  43. 43

    MLP / feed-forward blok

    Her token bağımsız olarak iki linear + aktivasyondan geçer. Modelin parametrelerinin ~⅔'ü burada.

    Uygulanabilirlik %100Temas %80
  44. 44

    Mixture of Experts (MoE) routing

    Token başına sadece 2/64 expert aktive olur; aynı kalite, parametrenin küçük bir bölümünün hesabı.

    Uygulanabilirlik %95Temas %70
  45. 45

    Residual ve katman istifi

    Her blok x = x + f(x) ile öncekine eklenir; 80–120 kez tekrar — modelin 'derinliği' bu.

    Uygulanabilirlik %100Temas %90
  46. 46

    Final LayerNorm + LM head

    Son temsil, kelime dağarcığı büyüklüğünde bir vektöre (logits) çevrilir. Bir sonraki token'ın 'oy pusulası'.

    Uygulanabilirlik %100Temas %90
  47. Sampling: olasılıktan tek token'a
    47

    Logits

    Her olası token için ham skor (vocab_size, örn. 200k). Henüz olasılık değil.

    Uygulanabilirlik %100Temas %90
  48. 48

    Temperature

    Logits / T. T=0 deterministik (en yüksek), T=1 olduğu gibi, T>1 daha yaratıcı/dağınık.

    Uygulanabilirlik %100Temas %90
  49. 49

    Top-k / top-p (nucleus)

    Sadece en olası k token veya kümülatif p olasılığa kadar olanlar; uzun kuyruğun budanması.

    Uygulanabilirlik %100Temas %85
  50. 50

    Repetition / frequency penalty

    Geçmişte sık geçen token'ların skorunu düşürür; 'aynı şeyi tekrar etme' davranışı.

    Uygulanabilirlik %100Temas %80
  51. 51

    Softmax

    Cezalandırılmış logits → olasılık dağılımı. Toplamı 1.0.

    Uygulanabilirlik %100Temas %90
  52. 52

    Token örnekleme

    Multinomial sample veya argmax — bir token seçilir. Her şeyin döndüğü nokta.

    Uygulanabilirlik %100Temas %95
  53. 53

    Stop conditions

    EOS, max_tokens, stop sequences, kullanıcı abort'u — döngü buradan kırılır.

    Uygulanabilirlik %100Temas %90
  54. 54

    Speculative decoding

    Küçük 'taslak' model ileri tahminler yapar, büyük model paralel doğrular; 2–3x hızlanma.

    Uygulanabilirlik %95Temas %70
  55. Streaming, tool-call ve çok adımlı döngü
    55

    Token → byte → SSE chunk

    Her seçilen token detokenize edilir, UTF-8 byte'ları SSE 'data:' satırı olarak gateway'e push'lanır.

    Uygulanabilirlik %100Temas %95
  56. 56

    Backpressure ve flush

    İstemci yavaşsa buffer dolar; sunucu yazma hızını ayarlar, bağlantı düşerse generation iptal edilir.

    Uygulanabilirlik %100Temas %80
  57. 57

    İstemci stream parse

    useChat / AI SDK chunk'ları birleştirir, 'parts' dizisine ekler; her tick'te React re-render eder.

    Uygulanabilirlik %100Temas %90
  58. 58

    Markdown'ın incremental render'ı

    Yarım kod bloğu, açılmamış ** — parser bunu tolere etmeli; ReactMarkdown her chunk'ta yeniden çağrılır.

    Uygulanabilirlik %100Temas %90
  59. 59

    Tool call üretimi

    Model JSON formatında {name, arguments} verir; istemci/sunucu bunu tool çağrısı olarak yorumlar.

    Uygulanabilirlik %100Temas %85
  60. 60

    Tool yürütme

    Veritabanı, HTTP, dosya — yan etkili işlem. needsApproval ile kullanıcı onayı, hata yönetimi şart.

    Uygulanabilirlik %100Temas %90
  61. 61

    Tool sonucunun geri enjeksiyonu

    Sonuç role:tool mesajı olarak konuşmaya eklenir; bir sonraki model çağrısının bağlamına girer.

    Uygulanabilirlik %100Temas %90
  62. 62

    Çok adımlı döngü (stopWhen)

    Model tekrar konuşur, tekrar tool çağırır; stepCountIs ya da finishReason='stop' ile döngü biter.

    Uygulanabilirlik %100Temas %85
  63. 63

    Paralel tool çağrıları

    Aynı turn'de N tool aynı anda çağrılabilir; Promise.all + zaman aşımı + kısmi hata tolerasyonu gerekir.

    Uygulanabilirlik %95Temas %80
  64. 64

    Yanıt sonlanması ve UI commit

    finish event geldiğinde typing indicator kapanır, mesaj 'done' duruma geçer, DB'ye yazılır.

    Uygulanabilirlik %100Temas %95
  65. Sonrası: log, fatura, eval, öğrenme
    65

    Mesaj kalıcılaştırma

    onFinish hook: kullanıcı + asistan mesajları DB'ye, tool çağrıları metadata olarak yazılır.

    Uygulanabilirlik %100Temas %90
  66. 66

    Usage ve faturalandırma

    input_tokens, output_tokens, cached_tokens — gateway maliyeti hesaplar, kullanıcı quota'sından düşer.

    Uygulanabilirlik %100Temas %95
  67. 67

    Observability ve trace

    LangSmith, Helicone, Datadog: her adım (prompt, tool, latency, hata) trace'lenir. Debug'ın tek yolu.

    Uygulanabilirlik %100Temas %80
  68. 68

    Safety post-filter

    Yanıt PII, telif, zararlı içerik için tarandıktan sonra kullanıcıya gider; bazı tokenlar maskelenebilir.

    Uygulanabilirlik %90Temas %65
  69. 69

    Eval ve A/B karşılaştırması

    Production trafiği örneklenir, alternatif modeller/prompt'larla karşılaştırılır; regresyon erken yakalanır.

    Uygulanabilirlik %90Temas %70
  70. 70

    Geri besleme → bir sonraki model

    Thumbs up/down, düzeltmeler RLHF/DPO veri setine girer; haftalar sonra yeni model versiyonunda geri döner. Döngü kapanır.

    Uygulanabilirlik %85Temas %75