Lexical Analysis

1. Lexical Analysis Derleyici Teorisine Giriş Sözlüksel Çözümleme

2. Programlama Dilleri Gerçekleştirimleri • Programlama dillerinin gerçekleştirimleri iki farklı yolla olabilir: • Yorumlayıcılar (Interpreter) bir programın az veya hiç ön işleme yapılmadan, platformdan bağımsız olarak çalıştırılmasını sağlar. • Derleyiciler (Compiler) programı yoğun bir ön işlemeden geçirir ve 2-20 kat arası daha hızlı çalışmayı sağlar. Platforma özgü kod üretirler. • Bazı dillerde bu iki yolun bir kombinasyonu kullanılır.

3. Derleyiciler Tarihi • Üzerinde assembly dili ile program yazılabilen ilk bilgisayarlar 1950’lerde üretildiler. • Ancak assembly ile hızlı kod yazımı ve büyük projelerin geliştirilmesi çok uzun zaman alıyordu. • 1953’te John Backus ilk yorumlayıcıyı üretti ancak bu assembly kodundan daha yavaş çalışıyordu. • 1956’da Backus ve arkadaşları, FORTRAN dilinin ilk derleyicisini ürettiğinde ise hız sorunu aşılmış oldu.

4. Otomatik Çeviri Paradigması Ara Dil transfer analiz üretim doğrudan çeviri Kaynak Dil Hedef Dil

5. Modern Derleyiciler • Günümüzde derleyiciler de otomatik çeviri paradigmasına uygun olarak geliştirilirler. Bu sebeple iki ana bileşenden oluşurlar: • Analiz işlemleri için kullanılan ön uç (front end), kaynak programlama dilini işler ve bundan bir ara gösterim elde eder. • Üretim aşaması ise arka uç (back end) bileşeninde kodun optimizasyonu ve hedef dile dönüştürülmesiyle gerçekleşir. • Hedef dil genelde assembly olur. Böylece yüksek seviye bir programlama dilinin makine düzeyine indirgenmesi sağlanır.

6. Bir Derleyicinin Yapısı Kaynak Dil Lexical Analyzer Syntax Analyzer Ön Uç Semantic Analyzer Ara Kod Üreticisi Ara Kod Kod Optimizasyonu Arka Uç Hedef Dil Üreticisi Hedef Dil

7. Derleme Örneği Kaynak Dil Kaynak Dil: cur_time = start_time + cycles * 60 Lexical Analyzer Lexical Analiz: ID(1)ASSIGN ID(2)ADD ID(3)MULT INT(60) Syntax Analyzer Anlamsal Analiz: ASSIGN ID(1) ADD ID(2) MULT ID(3) int2real INT(60) Sözdizim Analizi: ASSIGN ID(1) ADD ID(2) MULT ID(3) INT(60) Semantic Analyzer Ara Kod Üreticisi Ara Kod Kod Optimizasyonu Hedef Dil Üreticisi Hedef Dil

8. Derleme Örneği Kaynak Dil Ara Kod: temp1 = int2real(60) temp2 = id3 * temp1 temp3 = id2 + temp2 id1 = temp3 Optimize Edilmiş Kod: temp1 = id3 * 60.0 id1 = id2 + temp1 Lexical Analyzer Hedef Dil: MOVF id3, R2 MULF #60.0, R2 MOVF id2, R1 ADDF R2, R1 MOVF R1, id1 Syntax Analyzer Optimizasyon: Semantic Analyzer Adım1: temp1 = 60.0 temp2 = id3 * temp1 temp3 = id2 + temp2 id1 = temp3 Ara Kod Üreticisi Ara Kod Adım2: temp2 = id3 * 60.0 temp3 = id2 + temp2 id1 = temp3 Kod Optimizasyonu Hedef Dil Üreticisi Adım3: temp2 = id3 * 60.0 id1 = id2 + temp2 Hedef Dil

9. \n e l s e ; \n \t z = 0 ; \n e n d i f ; Lexical Analiz (1) if (i==j); z=1; else; z=0; endif; • Yukarıdaki kod parçası bizim için anlamlı ifadelerden oluşsa da bilgisayar için aşağıdaki gibi bir karakter katarından başka bir şey ifade etmez. i f _ ( i = = j ) ; \n \t z = 1 ;

10. Lexical Analiz (2) • Yüksek seviyeli bir dille yazılan kodun çalıştırılabilmesi için en düşük seviyede bilgisayarın işleyebileceği komutlar dizisi haline getirilmesi gereklidir. • Bu sebeple kaynak kodu oluşturan karakter katarı anlamlı alt parçalara ayrıştırılmalıdır. • Alt parçalara token (belirtke), bunları ayrıştırma işlemine de lexical analiz denir. • Lexical analiz işleminin çıktısı olan tokenlar bir sonraki aşama olan sözdizimsel analiz bileşenine aktarılır.

11. Lexical Analiz (3) • Token sözdizimsel bir kategori belirtir. • Bu kategoriler doğal diller için “isim”, “sıfat”, “fiil” vb. olabilirken, programlama dilleri için “matematiksel sembol” veya “anahtar kelime” gibi alt ifadeler olurlar. • Token belirten bir alt karakter katarı lexeme olarak adlandırılır. • Programlama dili içinde kullanılması mümkün olan tüm lexemeler tanımlanırken örüntüler (pattern) kullanılır. • Örüntüler düzenli ifadeler (regular expressions) kullanılarak tanımlanır. • Bu aşamada düzenli ifadelerin kullanılmasının sebebi işlenen karakter katarı içinde kabul edilebilir bir token bulabilmenin bazen geriye dönük arama da gerektirebilmesidir.

12. Lexical Analiz (4) • Bir lexical analiz aracı şu 3 şeyi yapabilmelidir: • Bütün boşlukları ve açıklamaları temizlemeli, • Karakter katarı içindeki tüm tokenlar bulunmalı, • Bulunan token için lexeme ve bulunduğu satır numarası gibi özellikler döndürülmelidir. Lexeme Token sum IDENTIFIER = ASSIGN_OP 3 NUMBER + ADD_OP 2 NUMBER ; SEMICOLON sum=3+2;

13. Düzenli İfadeler • Sonlu durum otomatları (FSA) ile tanımlanabilen dilleri ifade etmede kullanılırlar. • Eğer A bir düzenli ifade ise, L(A) bu ifade ile tanımlanan dildir. • L(“if”|”then”|”else”) dili sadece “if”, “then” ve “else” ifadelerini tanıyabilen bir dil belirtir. • Lexical analiz işleminde tarayıcı (scanner), kaynak kodun içinde önceden düzenli ifadelerle tanımlanmış anahtar kelimeleri arar ve bunların token tiplerini belirler.

14. Düzenli İfadelerin Tasarımı • Tanımladığımız düzenli ifadeler dil içerisindeki tüm ifadeleri kapsamalıdır. Bu sebeple şu durumlar dikkate alınmalıdır: • Bir düzenli ifade özel bir token tipinin tüm durumlarını ifade etmelidir. • Belirsizliği önlemek için en uzun olan eşleme seçilir. • Eş uzunluklu belirsizlik durumlarında ilk eşleme seçilir. • n adet farklı token tipi olduğu varsayıldığında n farklı düzenli ifade kullanılmalıdır. Bir token tipini tanıyan düzenli ifade Rn ile gösterilirse, tüm tokenları tanıyan düzenli ifade topluluğu R şöyle ifade edilir: R = R1 | R2 | … | Rn

15. Lex ve Yacc (1) • Yapısal programlamada ortaya çıkan iki temel görev vardır: • Girdiyi anlamlı alt parçalara ayırmak • Bu alt parçalar arasındaki ilişkiyi ortaya koymak • Düzenli ifadeler veya sonlu durum otomatları ilk aşama için yeterli düzeyde olsa da ikinci aşamada ortaya çıkabilecek özyinelemeli örüntüleri tanımlamak için yeterli güce sahip değildir. İkinci aşama için kullanılan ayrıştırıcı (parser) yığıt (stack) gibi yapılardan faydalanmalıdır. • Bu işlemleri otomatik olarak gerçekleştirmeye yarayan çeşitli araçlar vardır. • Lex, ilk aşamadaki token ayrıştırma işlemini düzenli ifadeler kullanarak gerçekleştirecek C veya C++ kodunu otomatik olarak üreten bir yazılımdır. • Yacc ise Lex tarafından üretilen çıktıyı alarak sözdizimsel kurallarla ayrıştırma işlemini gerçekleştirecek kodu üreten bir yazılımdır. • Bu iki yazılımın açık kaynak sürümleri flex ve bison’dır.

16. Lex ve Yacc (2) • Lex içinde kullanılan düzenli ifadeler, Chomsky hiyerarşisi içinde düzenli diller sınıfındadır. • Yacc ise ayrıştırma işlemi için Backus – Naur Form (BNF) adı verilen ve Chomsky hiyerarşisi içinde Bağlam Bağımsız Diller (Context-Free) sınıfında olan bir gösterim kullanmaktadır. • select_command ::= "select" [ "all" | "distinct" ] ( "*" | ( displayed_column { ","displayed_column } ) ) "from" ( selected_table { ","selected_table } ) [ “ where"condition ] { connect_clause } { group_clause } { set_clause } { order_clause } { update_clause }

17. Flex Kullanımı • Lexical analizde kullanmak üzere bir tarayıcı üretmek için öncelikle .lex uzantılı bir yapılandırma dosyası üretmek gerekir. • Bu dosya kullanılarak flex ile komut istemi üzerinden gerekli C veya C++ kodu üretilir. flex deneme.lex • Üretilen kod derlenerek lexical analiz işlemi yapılabilir. gcc lex.yy.c –o main

18. Lex Program Yapısı • Bütün lex programları yanyana iki % işareti kullanılarak birbirinden ayrılan 3 bölümden oluşur. • Tanım (definition) bölümü: C kodunun üstünde olması istenen tüm kod buraya yazılır. Bütün kod “%{“ ile “%}” arasında yer almalıdır. Kullanılması zorunlu değildir. • Kurallar (rules) bölümü: Burada örüntüler ve bu örüntülerle karşılaşıldığında yapılacak işlemler tanımlanır. • Kullanıcı alt-programları (user sub-routines) bölümü: Lex oluşturduğu koda bu alt-programları kopyalar.

19. Örnek – 1 %% [\t ]+ /* boşlukları atla*/; Pazartesi|Salı|Çarşamba|Perşembe|Cuma { printf("%s haftaiçibirgündür.", yytext); } Cumartesi|Pazar { printf("%s haftasonubirgündür.", yytext); } [a-zA-Z]+ { printf("%s gündeğildir.", yytext); } %% intyywrap(void) { return 1; } int main(void) { yylex(); return 0;}

20. Örnek – 2 %{ int line_num = 1; %} %% [\t ]+ /* Boşlukları atla */; \n { line_num++; } [+-]?[0-9]+(\.[0-9]+)?([eE][+-]?[0-9]+)? {printf(“satır no: %d \n", line_num);} %% int yywrap(void) { return 1; } int main(void) { yylex();return 0; }

21. Özet • Derleyiciler yüksek seviye bir programlama dilini düşük seviye bir dile dönüştürme işlemini gerçekleştirirler. • Bu dönüşüm işleminin ilk aşaması lexical analizdir. • Lexical analiz işlemleri düzenli diller sınıfında bir dil tanımlama aracı olan düzenli ifadeler ile yapılabilir. • Düzenli ifadelerin tanımlarından oluşan bir kod kullanılarak flex yazılımıyla gerekli C veya C++ kodu üretilebilir. • Lexical analiz işlemleri sonucunda belirlenen tokenlar derleyicinin sözdizim analizi yapan parçasına aktarılır.