Abstract: The main objective of the project is to increase the recognition rate by establishing a multimodal biometric recognition system that uses two different biometric characteristics, as bio-signals. Today, institutions use biometric recognition systems quite often to provide security for many areas such as information security and physical security. The importance of these systems increases day by day in the direction of technological development and increasing demand. Recognition systems based on biometric characteristics are more reliable, because of the possibility of forgetting or losing knowledge in the recognition systems based on knowledge (eg: password) and the possibility of being stolen or guessed by third persons in the biometric recognition based on possessed (eg: card). However, the fraud techniques are also developing in the direction of technological developments and biometric characteristics cannot be renewed in case of imitation, hence the use of multiple biometrics recognition system may be a solution to this problem. At the same time, the use of multiple biometrics increases in the security of systems. In this thesis, a biometric recognition system, which uses the Electrocardiogram (ECG) and speech signals of the person, was created. Since there was not enough time and possibility, an artificial database was generated with obtaining these signals from various sources. First, the MIT-BIH Arrhythmia Database was used for ECG signals. This database consists of 48 ECG signals, which belong to 22 females and 26 males. In accordance with this database, a database was created for the speech signals, which were obtained from the website, given in [1]. The features of the biometric signals were extracted by AC / DCT (Autocorrelation/Discrete Cosine Transform) method for ECG signals and by Mel Frequency Cepstrum Coefficients (MFCCs) method for speech signals. The data, which were obtained from the feature extraction, were then classified by the Gaussian Mixture Model (GMM) method. The scores, which were obtained from the classification process, were fused as a single individual’s data, and the decision-making step was passed. Recognition rates were obtained in the decision making step. The recognition rate for the ECG signal was %87.50 and 42 persons were matched correctly. The recognition rate for 2 seconds speech signals was %58.33 and 28 persons were matched correctly. Normalization was applied before the fusion of these two datasets. The recognition rate after the fusion was %70.83 and 34 persons were matched correctly. However, when the recognition rates are considered, it has been observed that the recognition rate, which obtained after the fusion, is lower than recognition rate of the ECG signals. Therefore, instead of 2 seconds speech signals, 10 seconds speech signals were used. In this case, the recognition rate of the speech signals was %97.9 and 47 persons were matched correctly. Then, normalization was applied again and two datasets were fused. After the fusion, the rate of recognition reached %95.8 and 46 persons were matched correctly.

Özet: Projenin temel amacı kişinin iki farklı biyometrik karakteristiğini kullanan bir çoklu biyometrik tanıma sistemi kurarak tanıma oranını yükseltmektir. Günümüzde kurumlar bilgi güvenliii ve fiziksel güvenlik gibi birçok alanda güvenliği sağlamak için biyometrik tanıma sistemlerini oldukça sık kullanmaktadır. Teknolojinin gelişimi ve artan talep doğrultusunda da bu sistemlerin önemi gün geçtikçe artmaktadır. Kişinin bildiği (ör: şifre) veya sahip olduğu (ör: kart) bilgiye veya nesnenin varlığına dayanan tanıma sistemlerinde, kişinin bunları unutabilme, kaybedebilme veya üçüncü kişiler tarafından çalınabilme veya tahmin edilebilme olasılığından dolayı biyometrik karakteristiklere dayanan tanıma sistemleri daha güvenilirdir. Fakat teknolojik gelişmeler doğrultusunda dolandırıcılık teknikleri de gelişmektedir, dolayısıyla biyometrik karakteristikler taklit edilmesi durumunda yenilenemeyeceği için tanıma sistemlerinde birden fazla biyometriğin kullanılması bu sorunun çözümü olabilir. Aynı zamanda birden fazla biyometriğin kullanılması sistemlerin güvenliğini daha artırmaktadır. Bu tezde kişinin Elektrokardiyogram (EKG) ve ses işaretlerini kullanan biyometrik tanıma sistemi oluşturulmuştur. Yeterli zaman ve imkan olmadığından dolayı bu işaretler çeşitli kaynaklardan elde edilerek yapay bir veri tabanı oluşturulmuştur. Öncelikle, EKG işaretleri için MIT-BIH Arrhythmia Database’i kullanılmıştır. Bu veri tabanı 22 kadın ve 26 erkek olmak üzere toplamda 48 kişinin EKG işaretlerinden oluşmaktadır. Bu veri tabanına uygun olarak ses işaretleri için internet sitesinden [1] elde edilen ses kayıtları ile bir veri tabanı oluşturulmuştur. Bu tezde kullanılan biyometrik işaretlerin öznitelikleri ise EKG işaretleri için ¨ OK/AKD (¨Ozilinti Katsayıları/Ayrık Kosinüs Dönüşümü) yöntemi ve ses işaretleri için Mel Frekans Kepstral Katsayları (MFKK) kullanılarak çıkarılmıştır. öznitelik çıkarımından elde edilen veriler daha sonra Gaussian Karışım Modeli (GKM) yöntemi ile sınıflandırılmıştır. Sınıflandırılma işleminden elde edilen veriler tek bir bireyin verileriymiş gibi birleştirilerek karar verme adımına geçilmiştir. Karar verme adımında tanıma oranları elde edilmiştir. EKG işareti için tanıma oranı %87.50 olup, 42 kişi dğru eşleşmiştir. 2 saniyelik ses işaretleri çcin tanıma oranı %58.33 olup, 28 kişi doğru eşleşmiştir. Bu iki veri seti birleştirilmeden önce normalizasyon yapılmıştır. Birleştirme sonrası elde edilen tanıma oranı %70.83 olup, 34 kişi doğru eşleşmiştir. Fakat tanıma oranlarına bakıldığında birleşmeden sonra elde edilen tanıma oranının EKG işareti için elde edilen orana göre düşük olduğu gözlemlenmiştir. Bundan dolayı 2 saniyelik ses işaretleri yerine 10 saniyelik ses işaretleri kullanılmıştır. Bu durumda ses işaretlerinin tanıma oranı %97.9 olup, 47 kişi doğru eşleşmiştir. Daha sonra tekrar normalizasyon yapılıp iki veri seti birleştirilmiştir. Birleşme sonrası elde edilen tanıma oranı ise %95.8 ulaşmış ve 46 kişi doğru eşleşmiştir.