Skip to content

Лучший поисковой движок на Диком Западе #5

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Open
grishchenkoalexey2004 wants to merge 11 commits into
base: main
Choose a base branch
from
Open

Лучший поисковой движок на Диком Западе #5

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
11 commits
Select commit Hold shift + click to select a range
07acf68
Started working on boolean logic search engine
Mar 27, 2024
b1c949f
Implemented poliz convertation for query tokens
Mar 27, 2024
4e00fb4
Implemented poliz evaluation, and final result printout
Mar 28, 2024
feccb4d
Added transformation to lowercase
Mar 28, 2024
a5d0a7a
Implemented result printout in csv file format
Mar 28, 2024
bfa3d08
Created baseline version of boolean search engine
Mar 28, 2024
8e684cf
Changed the structure of calculation process
Mar 31, 2024
4ec593a
Fixed last empty line bug in csv output file
Mar 31, 2024
81f7259
Started writing implementation of soft bool search
Mar 31, 2024
5ee3723
Finished implementation of soft bool search
Mar 31, 2024
353162a
Edited description of soft boolean search strategy
Mar 31, 2024
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 2 additions & 0 deletions .gitignore
View file
Open in desktop
Original file line number Diff line number Diff line change
@@ -0,0 +1,2 @@
data/
test.bat
50 changes: 2 additions & 48 deletions README.md
View file
Open in desktop
Original file line number Diff line number Diff line change
@@ -1,53 +1,7 @@
# boolean_search_hw_framework
# Поисковой движок работающий на логике булева поиска

## что здесь
Данный репозитрий содержит базовые скрипты необходимые для выполнения домашнего задания для раздела "Индексация и булев" поиск курса "Информационный поиск"
## Автор: Грищенко Алексей

## Как выполнить задание
Для выполнения домашнего задания нужно создать обратный индекс для набора документов и найти документы по запросам.

Соответственно нужно реализовать логику для следующих объектов:
```
Index -- создание обратного индекса
QueryTree -- загрузка запроса и поиск в обратном индексе
SearchResults -- сбор результатов и создание файла с ответами.
```
Результат решения должен быть представлен в виде csv файла следующего вида:

```
ObjectId,Relevence
1,1
```
где ObjectId -- номер пары документ-запрос, Relevance -- 1 - документ попадает в множество ответов для данного запроса, 0 -- не попадает.

Затем, файл с ответами нужно отправить на соревнование в kaggle для оценки качества.
Подробные описания файлов с тестовыми данными есть на страничке соревнования.

Скрипт с решением следует отправить в виде pull request для данного репозитория.

Для унификации, решения будут проверяться с использованием docker контейнеров, скрипты с командой запуска докера и ожидаемой версией python есть в этом же репозитории.

Для запуска контейнера нужно в корне репозитория создать каталог data и туда скопировать файлы
```
docs.txt
objects.enumerate.txt
queries.enumerate.txt
```
из ресурсов соревнования.
```
Файл docs.txt содержит документы
Файл queries.enumerate.txt содержит запросы
Файл objects.enumerate.txt содержит соответствие ObjectId паре запрос-документ
```
Формат objects.enumerate.txt:

```
ObjectId,QueryId,DocumentId
1,1,D0000003
..
```

если для решения будет использован скрипт запуска докера из репозитория, то результат -- output.csv -- появится в каталоге где находится скрипт.

## состав репозитория

Expand Down
Loading